© module+ / moduleplus.ch

DIE KREATIVEN

Mit dem Fotografen und Filmemacher Reto Troxler und dem international tätigen Videokünstler und VJ Devon Miles konnte Beat Toniolo zwei absolute Experten auf ihrem Gebiet für die Herausforderung der visuellen Komplexität und der Darstellung der vier Jahreszeiten am Rheinfall gewinnen. Sie waren von der Projektentwicklung über die Vorproduktion, die Dreharbei- ten, die visuelle Darstellung mit 3D-Animationen und Visual Effects bis hin zur Postproduktion in die Entstehung der RHYALITY eingebunden.

© module+ / moduleplus.ch

Reto Troxler hat bereits in der Vergangenheit mit Beat Toniolo gearbeitet und mit ihm den Film „Z Kiew redt me Mundaart – Albert Bächtolds phantastische Reise“ gedreht, ebenso hat er für die Solothurner Filmtage, das Festival Stars in Town oder das Museum Konstruktiv in Zürich gearbeitet. Er brachte die perfekte inhaltliche Expertise, das Gespür für Kunst und Kultur und eine einzigartige Kreativität und Bildsprache mit ins Team.

Aus Chiang Mai über Frankfurt, Mailand, Leipzig und gefühlte 1000 andere Stationen glücklicherweise in Schaffhausen gelandet, beeindruckt Devon Miles als innovativer VJ-Künstler und bespielt Clubs und Festivals weltweit. Bild und Ton haben schon in der Frühzeit des Menschen eine enge Verbindung gehabt und einander ergänzt. Um diese Symbiose geht es Devon Miles. Er versucht, die Idee und die Emotion der Musik in Bilder oder Bilder in Musik zu fassen und einen Bildstrom fließen zu lassen, der den Betrachter in seinen Bann zieht und für einen Moment aus seiner Realität in eine Parallelwelt aus Klang, Farbe und Formen entführt. Devon Miles, ein ausgewiesener Immersive-Art-Spezialist und Beat Toniolo haben 2017 in Leipzig für die Inszenierung „Ist der Augenblick ein Ufer?“ im dortigen Experimentierraum Kunstkraftwerk zusammengearbeitet, die eine Fülle von Klängen, Worten und Bewegungen zu Installation, Performance und Revue vereinte. Devon Miles ist für die RHYALITY Beat Toniolo nach Schaffhausen gefolgt. Reto Troxler und Devon Miles, zwei erfahrene, hochqualifizierte, künstlerisch visierte, experimentierfreudige, neugierige Künstler sind Teil und maßgeblich am Sein der RHYALITY beteiligt.

© module+ / moduleplus.ch

Interview
Wir sprachen mit Reto Troxler, Devon Miles und Beat Toniolo

Wie viele Tage und Nächte haben Sie bis zu Ihrem Ja zum Rhyality- Projekt überschlafen und nachdenken müssen?
Reto Troxler: Als ich vor ca. drei Jahren das erste Mal von diesem speziellen Immersive-Art-Projekt gehört habe, fand ich es sofort sehr spannend! Zumal ich zu diesem Zeitpunkt den effektiven Aufwand noch massiv unterschätzt hatte und die Herausforderung zu verlockend war, waren wir eigentlich sofort mit im Boot. Das Projekt hat aber seit der ersten Idee bis zur jetzigen konkreten Umsetzung einen riesigen Prozess durchgemacht und hat sich von einem überschaubaren Rahmen zu einem einzigartigen „Mammut-Projekt“ gemausert.

Devon Miles: Ich habe sofort zugesagt.

Bei Ihnen müssen die Ideen, Farben und Bilder im Kopf förmlich explodiert sein, dass Sie extra wegen Rhyality von Leipzig inzwischen nach Schaffhausen gezogen sind?
Devon Miles: Das hat sich erst relativ spät ergeben, die Projektarbeit wurde im Verlauf immer intensiver, auch die technische Umsetzung erforderte am Ende so viel Zeit, dass es mir am sinnvollsten erschien, hierher zu ziehen, um das Projekt vor Ort mit den Künstlern und Technikern zu Ende zu führen. Wir sehen die Show auch als Auftakt zu weiteren Produktionen, welche über die nächsten Jahre folgen werden, da ist es natürlich von Vorteil, ortsansässig zu sein.

© module+ / moduleplus.ch

Was fasziniert Sie an der Idee von Beat Toniolo?
Reto Troxler: Die dritte Dimension! Jedes klassische Filmprojekt – mag es noch so komplex aufgebaut sein – wird schlussendlich auf einer zweidimensionalen Fläche präsentiert und ist als solches auch gewissermaßen in der Vorbereitung schon zweidimensional konzipiert. Dass wir nun als Filmproduktion die Möglichkeit erhalten, ein immersives 360°-Kino mit unseren Bildern und Sounds, unserem Film zu bespielen und das 360° inklusive Boden und Decke ... das reizt und fasziniert uns natürlich sehr!

Devon Miles: Einen Moment in Raum und Zeit abzubilden, wie ihn der normale Tourist selten erleben kann, und so eine neue Perspektive auf das Naturschauspiel zu bieten, den Blick zu schärfen für die vielen Details, die normalerweise übersehen werden.

© module+ / moduleplus.ch

Können Sie die Phasen der Produktion skizzieren, die so ein Projekt von der ersten Projektbesprechung bis zur Feinabstimmung, an der Sie gerade sitzen, durchlaufen?

Reto Troxler: Preproduction: Ideenfindung/gemeinsame Brainstormings – Ausarbeitung des groben Konzepts – Ausarbeitung des Detailkonzepts – Erstellung Drehbuch und Shotlist – Recherchen Machbarkeit/Umsetzung Technik und Software – Organisation der Technik (robuste Outdoor-Gehäuse für vier DSLR-Kameras, Drohne mit 14 GoPro-Kameras) inkl. ausgiebiger Testphase – Montage und Inbetriebnahme der Technik am Rheinfall

Production:
Filmeinsätze und Tonaufnahmen am Rheinfall während jeder Tages- und Jahreszeit mit 360°-Drohne (max. Takeoff-Gewicht: 15 kg) und diversen Super 35 Videokameras sowie Spezial-Zeitraffer mit diversen Nikon DSLRs. Dafür haben sich sechs Kameraleute und zwei Tonmeister während über zwölf Monaten von Februar 2019 bis Mai 2020 frühen Morgenstunden, eisigen Kälten und nassen Füßen, aber auch unsagbar schönen Stimmungen und Begegnungen mit der Natur ausgesetzt.

Postproduction:
Bildbearbeitung der 2 Mio. RAW-Fotos des Zeitraffers – Stitching der Flugaufnahmen: 14 Kameras ergeben ein 360°-Video – Vorauswahl aller vorhandenen Aufnahmen – Musikalische Auf- nahmen für den Soundtrack – Schnitt in eine immersive 40min- und eine 20min-Version – immersives Composing/Colorgrading/immersive Vertonung durch Sounddesigner – finale Renderings über mehrere Arbeitsstationen mit insgesamt 36 Prozessorkernen (kleine Renderfarm)

Was waren die Herausforderungen an Sie, Ihr Team und vor allen an die Technik?
Reto Troxler: Es war von Anfang an ein sehr ehrgeiziges Projekt, was den Zeitraum, aber auch die künstlerischen wie technischen Anforderungen angeht. Schnell war klar, dass Standard- oder 08/15-Lösungen wenig zielführend sind und wir uns während des gesamten Projekts immer wieder neu erfinden mussten. Da die immersive Darstellungsform – besonders mit echten 360°-Filmaufnahmen und 3D-Audio – noch ein sehr junges Medium ist, gibt es wenig bis keine vorgefertigten Lösungen, die genau auf unsere Anforderungen gepasst hätten. Durch gutes Abwegen der Möglichkeiten und einigem Trial & Error sind wir der optimalen Lösung immer mehr auf die Spur gekommen, Schritt für Schritt. Eine weitere Herausforderung waren die enormen Speichermengen und hohen Rechenkapazitäten, welche für dieses Projekt notwendig sind. So brauchen nur schon die unbearbeiteten RAW-Daten aller vier Zeitraffer-Kameras nach zwölf Monaten etwa 120TB an Speicherplatz, dazu kommen nochmals je 50TB für unkomprimiertes Videomaterial und fertig bearbeitete Outputs (ohne Backup gerechnet). Die enorme Videoauflösung von 16.000x8.000 Pixeln der 360°-Aufnahmen stellt natürlich ebenso hohe Anforderungen an die Rechenleistung unserer Arbeitsstationen, welche wir für dieses Projekt noch kurzerhand alle bis ans technische Maximum aufgerüstet hatten.

© module+ / moduleplus.ch

Können Sie die Phasen der Produktion skizzieren, die so ein Projekt von der ersten Projektbesprechung bis zur Feinabstimmung, an der Sie gerade sitzen, durchlaufen?

Reto Troxler: Preproduction: Ideenfindung/gemeinsame Brainstor- mings – Ausarbeitung des groben Kon- zepts – Ausarbeitung des Detailkonzepts – Erstellung Drehbuch und Shotlist – Recherchen Machbarkeit/Umsetzung Technik und Software – Organisation der Technik (robuste Outdoor-Gehäuse für vier DSLR-Kameras, Drohne mit 14 GoPro-Kameras) inkl. ausgiebiger Test- phase – Montage und Inbetriebnahme der Technik am Rheinfall

Production:
Filmeinsätze und Tonaufnahmen am Rheinfall während jeder Tages- und Jahreszeit mit 360°-Drohne (max. Takeoff-Gewicht: 15 kg) und diversen Super 35 Videokameras sowie Spezial-Zeitraffer mit diversen Nikon DSLRs. Dafür haben sich sechs Kameraleute und zwei Tonmeister während über zwölf Monaten von Februar 2019 bis Mai 2020 frühen Morgenstunden, ei- sigen Kälten und nassen Füßen, aber auch unsagbar schönen Stimmungen und Begegnungen mit der Natur ausgesetzt.

Postproduction:
Bildbearbeitung der 2 Mio. RAW-Fotos des Zeitraffers – Stitching der Flugaufnahmen: 14 Kameras ergeben ein 360°-Video – Vorauswahl aller vorhan- denen Aufnahmen – Musikalische Auf- nahmen für den Soundtrack – Schnitt in eine immersive 40min- und eine 20min-Version – immersives Composing/Colorgrading/immersive Vertonung durch Sounddesigner – finale Renderings über mehrere Arbeitsstationen mit insgesamt 36 Prozessorkernen (kleine Renderfarm)

Was waren die Herausforderungen an Sie, Ihr Team und vor allen an die Technik?
Reto Troxler: Es war von Anfang an ein sehr ehrgeiziges Projekt, was den Zeitraum, aber auch die künstlerischen wie technischen Anforderungen angeht. Schnell war klar, dass Standard- oder 08/15-Lösungen wenig zielführend sind und wir uns während des gesamten Projekts immer wieder neu erfinden muss- ten. Da die immersive Darstellungsform – besonders mit echten 360°-Filmaufnahmen und 3D-Audio – noch ein sehr junges Medium ist, gibt es wenig bis keine vorgefertigten Lösungen, die genau auf unsere Anforderungen gepasst hätten. Durch gutes Abwegen der Möglichkeiten und einigem Trial & Error sind wir der optimalen Lösung immer mehr auf die Spur gekommen, Schritt für Schritt. Eine weitere Herausforderung waren dieenormen Speichermengen und hohen Rechenkapazitäten, welche für dieses Projekt notwendig sind. So brauchen nur schon die unbearbeiteten RAW-Daten aller vier Zeitraffer-Kameras nach zwölf Monaten etwa 120TB an Speicherplatz, dazu kommen nochmals je 50TB für unkomprimiertes Videomaterial und fertig bearbeitete Outputs (ohne Backup gerechnet). Die enorme Videoauflösung von 16.000x8.000 Pixeln der 360°-Aufnahmen stellt natürlich ebenso hohe Anforderungen an die Rechenleistung unserer Arbeitsstationen, welche wir für dieses Projekt noch kurzerhand alle bis ans technische Maximum aufgerüstet hatten.

© module+ / moduleplus.ch

Wie konnten Sie die Firma Nikon für eine Zusammenarbeit gewinnen?
Reto Troxler: Durch Light & Byte wurde der Kontakt zu Nikon hergestellt und wir durften mit unserem Projekt vor- sprechen. Ich denke, die Leute von Nikon haben unsere Motivation förmlich gespürt und den künstlerischen Wert einer solchen immersiven Installation sofort erkannt. Sie waren generell sehr hilfsbereit und konnten uns in all unseren Anliegen unterstützen. Unter anderem mit mehreren hochauflösen- den D850-Vollformat-Kameras und unseren Wunsch-Brennweiten dazu. Für uns natürlich ein Glücksfall, da wir selbst seit über zehn Jahren fast nur Nikon-Kameras verwenden und dieses System sehr schätzen.

An welchem Punkt sind Sie als Spezialist für die 3D-Animation und Effekte als Visual Artist eingebun- den worden?
Devon Miles: Mein Team hat am Anfang zunächst die Projektierung der Technik und Raumgestaltung zusammen mit den Architekten beratend begleitet, im Zuge der Erstellung von Storyboard und Drehbuch haben wir dann Ende 2019 begonnen, die 3D-Inserts und visual effects mit Reto und Beat zu planen, deren Umsetzung begann Anfang 2020 und nähert sich nun der Vollendung.

Die Projektbeschreibung spricht von den fünf Sinnen, die Rhyality anspricht. Sehen, Hören, Fühlen, Riechen und Tasten. Was und wie bildet man sie greif- und fühlbar ab, wie erschließen Sie die Dimensionen, lassen Sie real werden?
Devon Miles: Zunächst werden ja hauptsächlich Auge und Ohr angesprochen, das Holphonix Soundsystem, welches in der Schweiz hier zum ersten Mal zum Einsatz kommt, ermöglicht eine nahezu lebensechte Simulation von Sounds als lokalisierbare Klangphänomene. Das voll immersive Videosystem fügt Wand, Boden und Deckenprojektionen zu einem nahtlosen durchgängigen Bild zusammen.

Zurzeit entsteht ein Raum im Raum in der SIG Halle in Neuhausen. Wie muss man sich dies vorstellen, was wird da alles reingepackt?
Devon Miles: Die erste voll immersi- ve Halle in der Schweiz mit 28 4K-Videoprojektoren. Bildübertragung durch High-Speed-Glasfaser, Point-to-Point-Verbindungen, Wellenfeld Synthesis Audio System mit 90 Lautsprechern für echten dreidimensionalen Raumklang, sieben Avolites AI Media Server mit Notch Realtime Engine, ebenfalls zum ersten Mal in der Schweiz eingesetzt. Die Technik ist so verbaut, dass man die Geräte nicht direkt sieht und der Besucher sich ganz auf das audiovisuelle Erlebnis konzentrieren kann.