Was zeigt das Bild dem Ton : Zur audio-visuellen Kopplung

Julean Simon, 2007
(NMI 2007 Berlin, Akademie d. Wissenschaften)


Abstrakt:
Das Verhaeltnis zwischen Ton und Bild ist ein altes und doch aktuelles Thema in der Medienpraxis und -theorie. Neue interaktive Techniken legen es nahe, die Moeglichkeiten und Effekte der Kopplung immer wieder erneut zu untersuchen. Insbesondere die Dynamik von visuellem Feedback in der freien Improvisation oder wechselseitige Rueckkopplung in Musik-Tanz Interaktion moechte ich anhand von Aussschnitten aus eigenen Musik-Videoarbeiten, Installationen und Computerprogrammen illustrieren.

Im alltaeglichen Medienkonsum (z.B. beim Fernsehen) erscheint uns die Kopplung von Bild und Ton als mehr oder minder selbstverstaendlich und als natuerlich (im Sinne von authentisch).
Gleichzeitig wissen wir, dass die Medienproduktion die beiden Elemente getrennt, also isoliert und a-synchron verarbeitet. Ebenso gilt, dass fuer die Reproduktions- und Wiedergabetechnologien eine Reihe von Parametern mehr oder minder nutzerbestimmbar ist (z.B. Sprachauswahl bei DVDs). Wir empfinden also die Kopplung von Bild und Ton durch Assymmetrien und Diskontinuitaeten nicht gefaehrdet (z.B. Kommentar aus dem Off. Wir erwarten auch nicht, dass eine Lautstaerkeerhoehung gleichzeitig ins Bild zoomt) . Im Gegenteil, vielschichtig verschraenkte Medienaufbereitungen erhalten laut psychologischer Forschung mehr Aufmerksamkeit (obwohl zu diskutieren ist welcher Typ Aufmerksamkeit hier gemessen wurde). Der Bereich der sich mit der medialen Aufbereitung beschaeftigt ist das Medien- oder Informationsdesign, viele Einfluesse und Ansaetze bezog die kommerzielle Medienpraxis jedoch aus dem Experimentalfilm und der Medienkunst.
Ich moechte mich im folgenden also mit der Beziehung zwischen Ton und Bild beschaeftigen und einige Typen herausarbeiten und mit Ausschnitten aus eigenen Arbeiten illustrieren (ich beschaeftigte mich in den 80er Jahren mit Musik, Video- und Computerkunst, war von 1988-2002 in der Forschung und Softwareentwicklung taetig und mache seit 2002 hauptsaechlich elektronische Musik und Visuals).

Videomacher gehen zumeist vom Bild aus, auch wenn der Ton bereits vorliegt; meine Wurzeln liegen eher im Musikalischen, aus dem ich das Visuelle entwickle. Ich spiele seit einiger Zeit ein elektronisches Blasinstrument, dessen Stimmen detailreich programmiert und mit welchem in echtzeit komplexe musikalische Strukturen gespielt werden koennen, wie dies vor allem mit einem Blasinstrument bislang nicht moeglich war. Da mir dieser Aspekt des spontanen Erzeugens wichtig ist, verwende ich Video z.B. um den Generierungsprozess zu dokumentieren. Denn heute wird grundsaetzlich und auch zurecht angenommen, dass elektronische Musik drag-drop aus kommerziellen Klangbibliotheken, quantisiert in Sequenzern zusammenbastelt und dann im Playbackverfahren als "live elektronik" abgefahren wird. Also nutze ich die Authentizitaet der Dokumentation, die synchroner Ton zum Bild suggeriert.


studies

video> Studies for Electronic Percussion 2007

Ein Grundtyp der AV-Kopplung ist der Talking-Head - der Sprecher. Das Bild vermittelt Grundmerkmale der Persoenlichkeit (Alter, Geschlecht, Rasse, Schicht,..) und der momentanen Befindlichkeit (Ausdruck, Gestik,..), der Ton vermittelt ebenfalls zum Teil andere Grundmerkmale (Nationalitaet, Sprachzugehoerigkeit,..) und der aktuellen Befindlichkeit (Sprechverhalten, Sprachduktus, Stimmcharakter,...) und nicht zuletzt die verschiedenen inhaltlichen Ebenen. Ton und Bild sind auf diese Weise weitgehend ineinander verschraenkt, ergaenzen sich oder kontrastieren und ergeben dadurch einen komplexen Gesamteindruck der als authentisch wahrgenommen wird. Ist die Tonspur auch nur minimal gegenueber der Bildspur verschoben irritiert uns die fehlende Lippensynchronizitaet. Wird eine Uebersetzung mittels Schrift oder Sprecherstimme ueberlagert, verlagern oder aendern sich die Objekte der Aufmerksamkeit.

Beim folgenden Ausschnitt handelt es sich um das Format eines Video-Briefs, der sich mit diesem Grundtypus der AV-Kopplung auseinandersetzt. Zu sehen ist ein Talking-Head - der Ton kommt jedoch aus dem Off (Kontrast zwischen Sprechgestus und Gesichtsausdruck). Der Talking-Head tippt den gesprochenen Text und dieser erscheint synchron am Bildschirm und ueberlagert allmaehlich den Talking-Head. Der Text wird also ins visuelle zurueckgebogen.
Kurz zum inhaltlichen: Wir hatten Mitte der 80er eine Punkband, die (wie die Residents) anonym auftraten und es ging um eine Festivaleinladung. Der Festivalleiter bestand darauf, dass er uns vorher bei einem privaten Essen kennenlernt, was wir ablehneten, worauf die Verhandlungen eingestellt wurden. Der Videobrief ist eine ironische Provokation, in seiner Form aber eine experimentelle Performance zur Authentizitaetsfrage.

kos kapitel
video > "koskapitel, das" 1986,

Die typische Medienproduktion geht vom Bild aus und legt den Ton an. Das hat film-historische und produktions-organsiatorische oder -technische Gruende (z.B. der Ton erscheint dem Techniker als sekundaer gegenueber dem Bild, Tonbearbeitung ist meist schneller und billiger, erscheint somit als variabler). Der zeitliche Verlauf der Bilder liefert die jeweiligen Einsaetze fuer den Ton und der Charakter der Bilder/Szenen/Story bestimmt den Charakter des Tons: also die Art der zu waehlenden Musik wird aus dem vorliegenden Bild abgeleitet. Diese Produktionsweise wurde auch fuer den Dokumentarfilm, die TV-Werbung und Video/Computerspiele uebernommen.
Der folgende Ausschnitt stammt aus einem Dokumentarfilm von1987. Es ist ein langes Interview mit einer jungen Frau die damals auf der Flucht war. Der einstuendige Monolog wird gelegentlich durch Bildsequenzen mit Musik unterbrochen - damals spielte ich noch Saxophon.

oui1 oui2 oui3
oui4 oui5 oui6
video> oui ou non

Im kommerziellen (MTV-style) Musikvideo laeuft die Vorgangsweise umgekehrt, da die Musik zuerst produziert wird. Hier dienen musikalische Cues (z.B. Beats, Breaks, Keywords, etc.) dazu, das Bild anzulegen und das Musikgenre bestimmt die Art der Bilder. Darueber hinaus bestimmen natuerlich der Markt und die angepeilten Verbreitungsmodalitaeten weitgehend, was in den Produkten zu hoeren und zu sehen ist.
Experimentelle Musikvideos kuemmern sich darum weit weniger. Im folgenden geht es u.a. darum mittels eines Tischtennisspielers eine Rhythmisierung sowohl akustisch wie auch visuell in die Musik miteinzubeziehen. Ausserdem verwendete ich Computergrafiken, die ich muehsam am Commodore64 erzeugt hatte - wir befinden uns in den fruehen Achzigerjahren.

t1 t2 t3
video> tabletennis performance document


Spielfilme, Musikvideos, Werbung sind tendenzell narrativ, die Kopplung mit Ton unterstuetzt ebenfalls tendenzell das Narrative, sie traegt die "grossen Gefuehle" bei. Ich wuerde dies eine "narrative Kopplung" nennen, wobei das Prinzip der Narration darin besteht Sinn zu generieren, indem der Sinn von bereits etablierter Geschichten/Bildern angezapft wird.
Im naechsten Ausschnitt haben wir es mit einer Art narrativen Kopplung zu tun. Die Musik stammt von 1983 von meinem Saxophon-Klavierduo mit dem 12-Ton Spezialisten Haimo Puschnigg. 1986 schrieb ich ein skuriles Drehbuch, erhielt Filmfoerderung und drehte diesen Pseudo-Spielfilm mit Musikvideo-Charakter.

z1 z2 z3 z4
video> zoo concret1

Einige Vertreter im Bereich Experimentalfilm arbeiten explizit an der Visualisierung von Musik. Historisch gesehen ist vor allem der Filmemacher Oskar Fischinger (1) zu nennen, der mit abstrakten Animationen zumeist klassische Musik zu "Licht-Musik" machte. Ein anderer waere der schottisch-kanadische Kuenstler Norman McLaren (2) der Filmmaterial manuell bearbeitete. Sein bekanntester Film "Neighbours" (1952) gilt als eine der gelungensten Kopplungen von Bild und Ton.
Man koennte die in dieser Richtung entwickelte als "symbolische Kopplung" bezeichnen, da sie musikalische Motive/Phrasen mit visuellen Zeichen/Gesten koppelt; sie arbeitet also kleinteiliger als die narrative Kopplung und zielt offenbar auf eine Intensitaetserhoehung ab.
Diese Technik wird zeitgleich auch im Unterhaltungstrickfilm (Tom and Jerry, etc) sowie in Comedies (Laurel and Hardy, Buster Keaton, Marx Brothers, etc.) eingesetzt, wobei hier das Visuelle das Ausgangsmaterial und dominanter Sinntraeger ist, waehrend Geraeusche als Verstaerkungs- und Dynamisierungseffekt und hauptsaechlich redundant eingesetzt werden.

Die Beziehung zwischen Tonhoehe und Farbe (genauer zwischen pitchclass und 12-teiliger Farbkreis) wurde z.B. vom Komponisten Josef Matthias Hauer (3) thematisiert und der Maler und Komponisten Hans Florey (4) hat ein Theoriegebilde auf der Basis der Hauer'schen Dodekaphonie und Tropenlehre entwickelt. Auch wenn die Genannten auf das sinnliche Empfinden der Farb-Tonkombinationen wertlegen, wuerde ich den Ansatz dennoch als "abstrakte Kopplung" bezeichnen, da die Ton-Farb-Beziehung im Wesen regelbasiert ist, wobei die Regeln auch noch einen gleichsam mathematischen Univeralitaetsanspruch im Sinne einer "harmonikalen Ganzheit" haben.
David Wohlhart und ich haben diese Hauer-Floreysche Kopplung in den 80ern auf einem Amiga-Rechner umgesetzt, dazu ein Screenshot, da das Programm mangels Hardware nicht vorfuehrbar ist.

dode

video > "Dodeca Chromatica"

Eine ganze Reihe von bekannten Koepfen haben sich mehr oder minder intensiv mit einer "Unifying Theory" im Bereich der Ton-Farb-Beziehung beschaeftigt, etwa Newton, Euler, Goethe, Wagner, Helmholtz, Scriabin, Ostwald, Theremin und Einstein. Und es gab auch Internationale Kongresse, z.B. "Farbe-Ton-Forschungen" in Deutschland 1927-1931.
Schon Aristoteles wies darauf hin, dass die als mehr oder minder angenehm wahrgenommene Kombination von Farben zueinander aehnlich der von Toenen in Akkorden zu sein scheint.
Valentin Afanasiev (5) hat neuerdings auf dieser Basis ein System der Ton-Farbbeziehung vorgestellt, wobei die Verwandtschaft und Spannung, also Konsonanz und Dissonanz die wesentlichen Ordnungskriterien sind. Als maximal dissonant werden zwei direkt benachbarte Toene (kleine Sekund) wahrgenommen und im Gegensatz dazu die weitest entfernernten Farben im Farbenkreis (also Komplementaerfarben). Visuelle und auditive Information wird in verschiedenen Gehirnregionen verarbeitet und es gibt bislang hoechstens Stueckweise neurobiologische Grundlagen fuer eine "Unifying Theory". Ich wuerde das System von Afanasiev somit als eine "aesthetische Kopplung" bezeichnen.

In diesem Zusammenhang waere auch die "synaestetische Kopplung" zu erwaehnen. Synaestesie (6) ist eine Kopplung unterschiedlicher Sinne, die bei etwa 2% der Bevoelkerung auftritt. Z.B. haben Buchstaben fuer manche bestimmte Farben. Diese konkrete Zuordnung ist zwar fuer das Indiviuum meist stabil, aber fuer Individuen, die diese spezielle Synaestesie zeigen eher unterschiedlich. Das Phenomen ist neuro-biologisch noch nicht aufgeklaert, manche Theorien sprechen von falscher oder zusaetzlicher - jedenfalls von a-typischer neuronale Vernetzung. Es gibt verschiedene Forschungsergebnisse die auf sogenannte "crossmodale Zellen" verweisen, also Zellen, die sowohl auf auditive wie visuelle Stimuli reagieren. (z.B. in der Dyslexie-Forschung (7) werden solche Zellen im hinteren Schlaefenlappen verortet; sie erzeugen eine "supramodale Raumrepraesentation").

Neben der Grundlagenforschung gibt es technische Umsetzungen einer "Synesthetic sonification" (8) die Bilder in Soundscans umgewandeln. z:B "the Voice"(9) ein Device fuer Blinde. Es erfordert vom Nutzer das Erlernen dieses Mappings, das x/y-Werte eines Bildes mit der Scanzeit gegen Frequenz, sowie hell auf laut korreliert. Der Nutzer hat es allerdings mit Artefakten dieses Mappings zu tun, z.B. eine helle Flaeche am oberen Bildrand erzeugt einen dominanten Ton, ist aber vielleicht nur unbedeutender Hintergrund. Vor allem bedarf es einer enormen Lernfaehigkeit des Gehoers um auf diese Weise etwa einen Kreis von einem Quadrat zu unterscheiden, geschweige denn sich ueberlagernde oder bewegende Figuren.
Natuerlich liegt es nahe zunaechst linear die offensichtlichen Kandidaten (Frequenz, Amplitude,..) auf entsprechende visuelle Parameter zu mappen um auf diese Weise eine moeglichst Inhaltsneutrale "cross-modale" Konvertierung zu erhalten. Andererseits arbeitet das visuelle System bereits mit Inhaltlichkeit, z.B. Objektidentitaet, obwohl Objektfarbe und -form sich aendert. Diese ist aus den entsprechenden Audiodaten nur mit grossem Aufwand - wenn ueberhaupt - berechenbar, geschweige denn in eine Sonifizierung wahrnehmbar.
In der Recherche finden sich zahlreiche Versuche Musik mit mehr oder minder rigiden Mappings zu codifizieren, also zu visualisieren (10). Die Visualisierung von akustischen Phaenomenen , z.B. in der Tontechnik mit einfachen Mappings (z.B. Oszillograf, Sonograf) bietet brauchbare Hilfen. Ausgewaehlte Aspekte oder Zustaende werden dabei objektiviert, werden zu eigenen Groessen verselbstaendigt und transformieren den urspruenglichen Sachverhalt. Natuerlich entstehen so auch Artefakte andererseits erschliessen sich auf diese Weise neue Welten: Fraktale Grafiken haben die entsprechenden analytischen Funktionen nicht nur bebildert sondern eine eigene Begrifflichkeit geliefert - etwa "Selbstaehnlichkeit".
Die Visualisierung von Musik hat natuerlich eine lange Geschichte, etwa in den verschiedenen Notationsformen. Es finden sich auch viele zeitgenoessische Beispiele coputergestuetzter Visualisierung. Viele klammern sich meiner Meinung nach zu sehr an die Hoffnung eine Art audio-visuelle Redundanz zu erzielen. Der Mehrwert der audio-visuellen Kopplung liegt aber in vielen Faellen darin wie Klang und visuelle Form sich wechselseitig umwerten und aufladen.


* * *


Im folgenden wollen wir uns der audio-visuellen Kopplung zuwenden, die in Echtzeit, im Moment der Entstehung erzeugt und wirksam wird. Sie ist dann nicht vorrangig eine Kopplung auf der Ebene der Monage sondern Teil des Musizierens oder der Darstellung.

Ein Bereich in dem dies angestrebt wird ist die Kooperation von improvisierter Musik und improvisierter Tanz. Mein Verhaeltnis zum Taenzer ist dabei aehnlich dem zu einem Mitmusiker bei frei-improvisierter Musik, d.h. ich versuche Intensitaeten und Strukturen zu erkennen, diese musikalisch aufzugreifen oder kontrapunktisch zu kontrastieren, so wie es der Taenzer mit seinen Mitteln auch tut. Indem beide gleichzeitig ihre jeweiligen Inbezugnahmen wiederum ins Geschehen einbringen, entsteht eine dynamisch wechselwirkende Interaktion - eine Kopplung - die das Reizvolle an freier Improvisation ist.

s1 s2

video> sintra session


Tanztheater verwendet fast immer ein ausgewaehltes Musikstueck (eine Konserve); das betrifft erstaunlich oft auch frei improvisierten Tanz. Wenn sowohl Musik als auch Tanz gleichzeitig frei improvisiert und noch nichtmal vorher abgesprochen werden, muessen die strukturierenden (choreographischen und kompositorischen) Massnamen in echtzeit vorgenommen werden.
Wenn ich mit einem Stueck beginne habe ich zumeist eine grobe Struktur im Sinn, die aus einem ungefaehren Ablauf besteht und aus prototypischen musikalischen Materialien mit welchen gearbeitet werden soll. In jedem Moment in dem man Ton an Ton, Phrase an Phrase setzt orientiert man sich an dem unmittelbar und weiter vergangenem und plant den weiteren Verlauf. Im Zusammenspiel mit einem Mitmusiker oder Taenzer ist die Planung mehr oder minder hypothetisch und haengt davon ab wie gut jeder versteht was der andere vorhat. Man kann die Abstimmungszyklen unterschiedlich lang halten, kann kleinteilig aufeinander reagieren oder in grossen Boegen. Darueber hinaus muss neben dem wechselseitigen Interagieren die Konsistenz des Stuecks gelingen - also die Ergebnisse einzelnen Reagierens muessen sich ins Ganze integrieren lassen.

schau2 sch1

video> 13 schauer

 

Ich moechte diesen Typus "generative Kopplung" nennen, da sie auf die Entstehung von Musik und Tanz direkt einwirkt, diese also generiert.
Auch wenn am Schneidetisch Toene zu Bildern oder in der Choreografie zu Toenen Bewegungen montiert werden entsteht neuer Sinn und es ist erstaunlich wie unterschiedliche Kombinationen unterschiedliche Aussagen bewirken. Dieser Vorgang unterscheidet sich jedoch erheblich von der Echtzeit-Interaktion.

Man kann - und das wird haeufig praktiziert - das Risiko reduzieren, indem die Musik z.B. flaechig gehalten oder mit einem durchgehenden Rhythmus versehen wird. A-tonale, a-rhythmische Musik und voellig freie Tanzfiguren sind schwierig zu koppeln, weil der naechste Moment kaum vorhersehbar ist. Dadurch wird auch die Strukturierung auf hoeherer Ebene eine komplexe Aufgabe.

n1 n2

video> nda

Durch mein elektronisches Blasinstrument habe ich die Moeglichkeit Computergrafik in echtzeit zu steuern.

e1 e2 e3
e4 e5 e6

video> demomaterial (3D-grafik:enkidu)

Weitere Experimente befassten sich mit der echtzeit-Steuerung von Video, z.B. das Projekt "Dom Na Litejnom": Das Videomaterial bestand aus einer 30minuetigen Kamerafahrt aus einem Bus in St. Petersburg waehrend eines Staus, verursacht durch die Ankunft von Georg W. Bush (2001?). Die Geschwindigkeit des Videos wurde durch bestimmte Parameter der synthetischen Cellostimme live gesteuert. Dann habe ich im Playbackverfahren hintereinander weitere drei Stimmen darueber gespielt und die entsprechenden Videospuren einander ueberlagert, wobei ich sowohl das akustische als auch das visuelle der bereits aufgenommenen Spuren als kontextuellen Rahmen fuer das momentane Spiel nutzte.

d1 d2 d3

video> dom


grand() ist eine Computerinstallation, die u.a. auf der ARCO06 in Madrid gezeigt wurde. Sie besteht aus Bildschirmen Lautsprechern und Vibrationsaktuatoren.

g1 g2 g3

video> grand

Bei diesen Projekten geht es um "visuelles feedback" um die Rekursivitaet der Arbeitsweise die der Musiker unmittelbar spuert. Fuer das Publikum vermutlich kaum unterscheidbar von MTV Stil.

Derzeit schreibe ich an einer Reihe von Programmen die den Musiker beim Ueben unterstuetzen sollen, zunaechst hinsichtlich Metrum, Rhythmus, Patterns also zeitbasierte Aspekte des Spiels.
Beim Ueben mit Metronom ist oft zu beobachten, dass eventuell in den ersten Minuten auf das Metronomsignal wirklich geachtet wird, danach lernt man es zu ignorieren, bzw. sich nicht aus dem Spiel bringen zu lassen, wenn man daneben liegt. Es schien mir vielversprechend durch eine Visualisierung der Differenz zwischen gespieltem Ton und Metronomsignal die Aufmerksamkeit darauf und die Einschaetzung zu verbessern. Dieser Eindruck wird bestaetigt durch psychologische Studien (z.B. Wilkerson (11)) die tendenziell besagen, dass visuelle Klassifikation schneller und genauer stattfindet als auditive.

met1 met2 met3

computerprogramm> metrada

 

Ein weiteres Programm besteht im wesentliche aus einem beweglichen Zeiger den man durch exaktes Spiel moeglichst mittig halten muss, man kann also von einer "regulativen Kopplung" sprechen.

m4

computerprogramm> metropendel

Ich teste diese Programme ausgiebig im Selbstversuch und ich habe viel dabei gelernt, spieltechnisch, wie in wahrnehmungspsychologischer Hinsicht.
z.B.: ein anderes Programm beruht auf der Illusion, dass Toene die hinreichend zeitnahe an einem Lichtreiz auftreten, diesen verstaerken (moeglicherweise wechselseitig). Das Metronom ist einfach nur ein blinkender Bildschirm; wenn der Spieler im Takt ist, erscheinen ihm die hellen Bildsignale als heller.

Dies waere entsprechend eine "prohibitive Kopplung": ungenaues Spiel wird sanktioniert, indem das Programm das MIDI-signal eines falschgetime-ten Tons nicht an den Syntesizer sendet. Es geht nicht darum falsche Toene zu eliminieren, vielmehr ist es sehr unangenehm - aber psychologisch interessant - wenn ein Ton, den man anblaest, ploetzlich nicht kommt. Es hat den Charakter einer "Bestrafung" im Lernprozess - daher prohibitive Kopplung. Die Umkehrung, also die Belohnung der korrekt getime-ten Toene durch schoenen Klang, hoehere Lautstaerke, schoene Farben, etc. ist natuerlich auch denkbar und heute eher paedagogisch und politisch korrekt (- aber weniger eindruecklich).

Abschliessend: was zeigt das Bild dem Ton? cross-modal Kopplung - generative Kopplung - strukturiert - umwertung / Kopplung ist plastisch gestaltbar, redundante Kopplung - cross-modal mapping

FOOTNOTES

(1) Oskar Fischinger (1900-1967), zB. "An Optical Poem" (1938) zu Franz Liszts Ungarische Rhapsody No.2, oder "Motion Painting No.1" (1949) zu Bachs "Brandenburg Konzert Nr.3".

(2) Norman McLaren (1914-1987), z.B "Begone Dull Care" (1949) O. Peterson, oder "Lines: Horizontal" (1962) zur Musik von P. Seeger.

(3) Josef Matthias Hauer, 1917 Theoretische Schrift: "Farbenkreis der Temperatur", Manuskript

(4) Hans Florey: Es ist die Tropenlehre von Joseph Matthias Hauer, dem Erfinder der Zwölftonmusik, die sich Florey zum Vorbild nahm und die er für sich als Sprachmittel in beiden Medien fruchtbar machte. Hauers Farbkreisel stellte Florey einen eigenen 144-teiligen Farbkreis gegenüber (Werner Wolf, 2006)

(5) Valentin Afanasiev, 2004 Russkaya classica: "Sound-Colour Musical Structure"

(6) Synaestesieforschung z.B. http://leonardo.info/isast/spec.projects/synesthesiabib.html oder Richard E.Cytowic Farben hören, Töne schmecken - Die bizarre Welt der Sinne, Dtv Verlag, München 1996

(7) Andrea Facoetti, et al, 2002: "Auditory and visual automatic attention deficits in developmental dyslexia"

(8) synesthetic sonification Java-Applet http://www.artificialvision.com/javoice.htm

(9) artificial synestesia http://www.artificialvision.com/asynesth.htm
EIn wesentliches Problem meineserachtens resultiert aus unserem alltags-logischen Kurzschlussdenken, dass die Farbe oder der Ton (als begriffliche Entitaeten) Teil einer objektiven Aussenwelt waeren und ueber unser sensuelles Instrumentarium wahrgenommen Einfluss auf unsere Gefuehlswelt nehmen. Farben und Toene sind vielmehr Begriflichkeiten die in der neuralen Verarbeitung entstehen.
(10) z.B. Ursonate/Schwitters, etc. http://www.jackox.net/ oder "Light-Music" http://www.centerforvisualmusic.org/library/GaleyevCorr.htm

(11) Amy Wilkerson, et al, 2000: "Expanding Cross-Modal Research Using Auditory Glides and Stereoscopic Depth", http://hubel.sfasu.edu/research/cm.html

 

c