|
Was zeigt das Bild dem Ton : Zur audio-visuellen Kopplung Julean Simon, 2007
Im alltaeglichen Medienkonsum (z.B. beim Fernsehen) erscheint uns die
Kopplung von Bild und Ton als mehr oder minder selbstverstaendlich und
als natuerlich (im Sinne von authentisch). Videomacher gehen zumeist vom Bild aus, auch wenn der Ton bereits vorliegt; meine Wurzeln liegen eher im Musikalischen, aus dem ich das Visuelle entwickle. Ich spiele seit einiger Zeit ein elektronisches Blasinstrument, dessen Stimmen detailreich programmiert und mit welchem in echtzeit komplexe musikalische Strukturen gespielt werden koennen, wie dies vor allem mit einem Blasinstrument bislang nicht moeglich war. Da mir dieser Aspekt des spontanen Erzeugens wichtig ist, verwende ich Video z.B. um den Generierungsprozess zu dokumentieren. Denn heute wird grundsaetzlich und auch zurecht angenommen, dass elektronische Musik drag-drop aus kommerziellen Klangbibliotheken, quantisiert in Sequenzern zusammenbastelt und dann im Playbackverfahren als "live elektronik" abgefahren wird. Also nutze ich die Authentizitaet der Dokumentation, die synchroner Ton zum Bild suggeriert.
video> Studies for Electronic Percussion 2007 Ein Grundtyp der AV-Kopplung ist der Talking-Head - der Sprecher. Das Bild vermittelt Grundmerkmale der Persoenlichkeit (Alter, Geschlecht, Rasse, Schicht,..) und der momentanen Befindlichkeit (Ausdruck, Gestik,..), der Ton vermittelt ebenfalls zum Teil andere Grundmerkmale (Nationalitaet, Sprachzugehoerigkeit,..) und der aktuellen Befindlichkeit (Sprechverhalten, Sprachduktus, Stimmcharakter,...) und nicht zuletzt die verschiedenen inhaltlichen Ebenen. Ton und Bild sind auf diese Weise weitgehend ineinander verschraenkt, ergaenzen sich oder kontrastieren und ergeben dadurch einen komplexen Gesamteindruck der als authentisch wahrgenommen wird. Ist die Tonspur auch nur minimal gegenueber der Bildspur verschoben irritiert uns die fehlende Lippensynchronizitaet. Wird eine Uebersetzung mittels Schrift oder Sprecherstimme ueberlagert, verlagern oder aendern sich die Objekte der Aufmerksamkeit. Beim folgenden Ausschnitt handelt es sich um das Format eines Video-Briefs,
der sich mit diesem Grundtypus der AV-Kopplung auseinandersetzt. Zu sehen
ist ein Talking-Head - der Ton kommt jedoch aus dem Off (Kontrast zwischen
Sprechgestus und Gesichtsausdruck). Der Talking-Head tippt den gesprochenen
Text und dieser erscheint synchron am Bildschirm und ueberlagert allmaehlich
den Talking-Head. Der Text wird also ins visuelle zurueckgebogen.
Die typische Medienproduktion geht vom
Bild aus und legt den Ton an. Das hat film-historische und produktions-organsiatorische
oder -technische Gruende (z.B. der Ton erscheint dem Techniker als sekundaer
gegenueber dem Bild, Tonbearbeitung ist meist schneller und billiger,
erscheint somit als variabler). Der zeitliche Verlauf der Bilder liefert
die jeweiligen Einsaetze fuer den Ton und der Charakter der Bilder/Szenen/Story
bestimmt den Charakter des Tons: also die Art der zu waehlenden Musik
wird aus dem vorliegenden Bild abgeleitet. Diese Produktionsweise wurde
auch fuer den Dokumentarfilm, die TV-Werbung und Video/Computerspiele
uebernommen.
Im kommerziellen (MTV-style) Musikvideo
laeuft die Vorgangsweise umgekehrt, da die Musik zuerst produziert wird.
Hier dienen musikalische Cues (z.B. Beats, Breaks, Keywords, etc.) dazu,
das Bild anzulegen und das Musikgenre bestimmt die Art der Bilder. Darueber
hinaus bestimmen natuerlich der Markt und die angepeilten Verbreitungsmodalitaeten
weitgehend, was in den Produkten zu hoeren und zu sehen ist.
Einige Vertreter im Bereich Experimentalfilm arbeiten
explizit an der Visualisierung von Musik. Historisch gesehen ist vor
allem der Filmemacher Oskar Fischinger (1) zu nennen, der mit abstrakten
Animationen zumeist klassische Musik zu "Licht-Musik" machte. Ein anderer waere
der schottisch-kanadische Kuenstler Norman McLaren (2) der Filmmaterial
manuell bearbeitete. Sein bekanntester Film "Neighbours" (1952)
gilt als eine der gelungensten Kopplungen von Bild und Ton. Die Beziehung zwischen Tonhoehe und Farbe (genauer
zwischen pitchclass und 12-teiliger Farbkreis) wurde z.B. vom Komponisten
Josef Matthias Hauer (3) thematisiert und der Maler und Komponisten
Hans Florey (4) hat ein Theoriegebilde auf der Basis der Hauer'schen
Dodekaphonie und Tropenlehre entwickelt. Auch wenn die Genannten auf
das sinnliche Empfinden der Farb-Tonkombinationen wertlegen, wuerde
ich den Ansatz dennoch als "abstrakte
Kopplung" bezeichnen, da die Ton-Farb-Beziehung im Wesen regelbasiert
ist, wobei die Regeln auch noch einen gleichsam mathematischen Univeralitaetsanspruch
im Sinne einer "harmonikalen Ganzheit" haben.
video > "Dodeca Chromatica" Eine ganze Reihe von bekannten Koepfen haben sich
mehr oder minder intensiv mit einer "Unifying Theory" im Bereich der Ton-Farb-Beziehung
beschaeftigt, etwa Newton, Euler, Goethe, Wagner, Helmholtz, Scriabin,
Ostwald, Theremin und Einstein. Und es gab auch Internationale Kongresse,
z.B. "Farbe-Ton-Forschungen" in Deutschland 1927-1931. In diesem Zusammenhang waere auch die "synaestetische Kopplung" zu erwaehnen. Synaestesie (6) ist eine Kopplung unterschiedlicher Sinne, die bei etwa 2% der Bevoelkerung auftritt. Z.B. haben Buchstaben fuer manche bestimmte Farben. Diese konkrete Zuordnung ist zwar fuer das Indiviuum meist stabil, aber fuer Individuen, die diese spezielle Synaestesie zeigen eher unterschiedlich. Das Phenomen ist neuro-biologisch noch nicht aufgeklaert, manche Theorien sprechen von falscher oder zusaetzlicher - jedenfalls von a-typischer neuronale Vernetzung. Es gibt verschiedene Forschungsergebnisse die auf sogenannte "crossmodale Zellen" verweisen, also Zellen, die sowohl auf auditive wie visuelle Stimuli reagieren. (z.B. in der Dyslexie-Forschung (7) werden solche Zellen im hinteren Schlaefenlappen verortet; sie erzeugen eine "supramodale Raumrepraesentation"). Neben der Grundlagenforschung gibt es technische
Umsetzungen einer "Synesthetic
sonification" (8) die Bilder in Soundscans umgewandeln. z:B "the
Voice"(9) ein Device fuer Blinde. Es erfordert vom Nutzer das Erlernen
dieses Mappings, das x/y-Werte eines Bildes mit der Scanzeit gegen Frequenz,
sowie hell auf laut korreliert. Der Nutzer hat es allerdings mit Artefakten
dieses Mappings zu tun, z.B. eine helle Flaeche am oberen Bildrand erzeugt
einen dominanten Ton, ist aber vielleicht nur unbedeutender Hintergrund.
Vor allem bedarf es einer enormen Lernfaehigkeit des Gehoers um auf diese
Weise etwa einen Kreis von einem Quadrat zu unterscheiden, geschweige
denn sich ueberlagernde oder bewegende Figuren.
Ein Bereich in dem dies angestrebt wird ist die Kooperation von improvisierter Musik und improvisierter Tanz. Mein Verhaeltnis zum Taenzer ist dabei aehnlich dem zu einem Mitmusiker bei frei-improvisierter Musik, d.h. ich versuche Intensitaeten und Strukturen zu erkennen, diese musikalisch aufzugreifen oder kontrapunktisch zu kontrastieren, so wie es der Taenzer mit seinen Mitteln auch tut. Indem beide gleichzeitig ihre jeweiligen Inbezugnahmen wiederum ins Geschehen einbringen, entsteht eine dynamisch wechselwirkende Interaktion - eine Kopplung - die das Reizvolle an freier Improvisation ist.
video> sintra session
video> 13 schauer
Ich moechte diesen Typus "generative
Kopplung" nennen,
da sie auf die Entstehung von Musik und Tanz direkt einwirkt, diese also
generiert. Man kann - und das wird haeufig praktiziert - das Risiko
reduzieren, indem die Musik z.B. flaechig gehalten oder mit einem durchgehenden
Rhythmus versehen wird. A-tonale, a-rhythmische Musik und voellig freie
Tanzfiguren sind schwierig zu koppeln, weil der naechste Moment kaum
vorhersehbar ist. Dadurch wird auch die Strukturierung auf hoeherer Ebene
eine komplexe Aufgabe.
video> nda Durch mein elektronisches Blasinstrument habe ich die
Moeglichkeit Computergrafik in echtzeit zu steuern.
video> demomaterial (3D-grafik:enkidu) Weitere Experimente befassten sich mit der echtzeit-Steuerung
von Video, z.B. das Projekt "Dom Na Litejnom": Das Videomaterial
bestand aus einer 30minuetigen Kamerafahrt aus einem Bus in St. Petersburg
waehrend eines Staus, verursacht durch die Ankunft von Georg W. Bush
(2001?). Die Geschwindigkeit des Videos wurde durch bestimmte Parameter
der synthetischen Cellostimme live gesteuert. Dann habe ich im Playbackverfahren
hintereinander weitere drei Stimmen darueber gespielt und die entsprechenden
Videospuren einander ueberlagert, wobei ich sowohl das akustische als
auch das visuelle der bereits aufgenommenen Spuren als kontextuellen
Rahmen fuer das momentane Spiel nutzte.
video> dom
video> grand Bei diesen Projekten geht es um "visuelles feedback" um die Rekursivitaet der Arbeitsweise die der Musiker unmittelbar spuert. Fuer das Publikum vermutlich kaum unterscheidbar von MTV Stil. Derzeit schreibe ich an einer Reihe von Programmen die den Musiker beim
Ueben unterstuetzen sollen, zunaechst hinsichtlich Metrum, Rhythmus,
Patterns also zeitbasierte Aspekte des Spiels.
computerprogramm> metrada
Ein weiteres Programm besteht im wesentliche aus
einem beweglichen Zeiger den man durch exaktes Spiel moeglichst mittig
halten muss, man kann also von einer "regulativen
Kopplung" sprechen.
computerprogramm> metropendel Ich teste diese Programme ausgiebig im Selbstversuch und ich habe viel
dabei gelernt, spieltechnisch, wie in wahrnehmungspsychologischer Hinsicht. Dies waere entsprechend eine "prohibitive Kopplung": ungenaues Spiel wird sanktioniert, indem das Programm das MIDI-signal eines falschgetime-ten Tons nicht an den Syntesizer sendet. Es geht nicht darum falsche Toene zu eliminieren, vielmehr ist es sehr unangenehm - aber psychologisch interessant - wenn ein Ton, den man anblaest, ploetzlich nicht kommt. Es hat den Charakter einer "Bestrafung" im Lernprozess - daher prohibitive Kopplung. Die Umkehrung, also die Belohnung der korrekt getime-ten Toene durch schoenen Klang, hoehere Lautstaerke, schoene Farben, etc. ist natuerlich auch denkbar und heute eher paedagogisch und politisch korrekt (- aber weniger eindruecklich). Abschliessend: was zeigt das Bild dem Ton? cross-modal Kopplung - generative
Kopplung - strukturiert - umwertung / Kopplung ist plastisch gestaltbar,
redundante Kopplung - cross-modal mapping FOOTNOTES (1) Oskar Fischinger (1900-1967), zB. "An Optical Poem" (1938) zu Franz Liszts Ungarische Rhapsody No.2, oder "Motion Painting No.1" (1949) zu Bachs "Brandenburg Konzert Nr.3". (2) Norman McLaren (1914-1987), z.B "Begone Dull Care" (1949) O. Peterson, oder "Lines: Horizontal" (1962) zur Musik von P. Seeger. (3) Josef Matthias Hauer, 1917 Theoretische Schrift: "Farbenkreis der Temperatur", Manuskript (4) Hans Florey: Es ist die Tropenlehre von Joseph Matthias Hauer, dem Erfinder der Zwölftonmusik, die sich Florey zum Vorbild nahm und die er für sich als Sprachmittel in beiden Medien fruchtbar machte. Hauers Farbkreisel stellte Florey einen eigenen 144-teiligen Farbkreis gegenüber (Werner Wolf, 2006) (5) Valentin Afanasiev, 2004 Russkaya classica: "Sound-Colour Musical Structure" (6) Synaestesieforschung z.B. http://leonardo.info/isast/spec.projects/synesthesiabib.html oder Richard E.Cytowic Farben hören, Töne schmecken - Die bizarre Welt der Sinne, Dtv Verlag, München 1996 (7) Andrea Facoetti, et al, 2002: "Auditory and visual automatic attention deficits in developmental dyslexia" (8) synesthetic sonification Java-Applet http://www.artificialvision.com/javoice.htm (9) artificial synestesia http://www.artificialvision.com/asynesth.htm (11) Amy Wilkerson, et al, 2000: "Expanding Cross-Modal Research Using Auditory Glides and Stereoscopic Depth", http://hubel.sfasu.edu/research/cm.html
|