sehepunkte 15 (2015), Nr. 9

Birgit Huemer: Semiotik der digitalen Medienkunst

Birgit Huemers Buch ist als Beitrag zur kunstwissenschaftlichen Forschung in zweierlei Hinsicht bemerkenswert. Erstens betrachtet die Autorin Kunst aus der Perspektive ihres Fachbereichs, der angewandten Sprachwissenschaft. Zweitens beschäftigt sie sich mit digitaler Medienkunst, einer Kunstform, mit der sich auch viele Kunsthistoriker schwer tun. Zwar sind seit der Pionierstudie von Söke Dinkla zahlreiche sowohl historisch [1] als auch stärker theoretisch argumentierende Publikationen [2] zum Thema erschienen, dennoch stellt die Fundierung digitaler Kunst auf komplexe Technologie und Prozessualität für die traditionell bildanalytisch orientierte Kunstgeschichte nach wie vor eine Herausforderung dar. Wir dürfen also gespannt sein, ob es der Sprachwissenschaft gelingt, der Kunstgeschichte die Medienkunst näher zu bringen. Dies erscheint zunächst einmal durchaus möglich, zeichnet sich doch die digitale Medienkunst durch Prozessualität und Fundierung auf logische Systeme aus - beides Charakteristika mit deutlichen Parallelen in der Sprache.

Einschränkend muss vorangeschickt werden, dass es der Autorin nicht um digitale Medienkunst im Allgemeinen geht, sondern um "multimodal gestaltete interaktive digitale Kunstinstallationen" (18). Hier bezieht sie sich vornehmlich auf zwischen 2004 und 2009 entstandene Werke, etwa 'Listening Post' von Ben Rubin & Mark Hansen, oder 'Bystander' von Ross Gibson & Kate Richards, die in den verschiedenen Kapiteln wiederholt als Beispiele herangezogen werden.

Der Interaktivität und Multimodalität solcher Werke soll dabei durch den Rückgriff auf zwei spezifische semiotische Ansätze Rechnung getragen werden, die Systemisch Funktionale Linguistik und die Multimodale Theorie. Die Systemisch Funktionale Linguistik sei, so Huemer, für die Analyse interaktiver Medienkunst aufgrund ihres handlungs- und kommunikationstheoretischen Ansatzes besonders geeignet. Durch ihn habe sich die linguistische Auseinandersetzung mit Interaktion "von einer rein formalen Betrachtung der Sprache als Mittel zur Interaktion hin zu einer handlungsorientierten und funktional ausgerichteten Forschung entwickelt" (51).

In guter sprachwissenschaftlicher Tradition wird demnach die Entwicklung einer möglichst strukturierten Methode der Beschreibung angestrebt, stellt doch, so die Autorin "eine Interpretation, die sich nachvollziehbarer Kategorien bedient, die einem funktionalen Erklärungsmodell entstammen, für die Kunstbetrachtung eine zusätzliche Möglichkeit dar, Interpretationen greifbarer zu machen und weniger persönlich motiviert erscheinen zu lassen." (83)

Im Rahmen kurzer Einführungen in die digitale Medienkunst, Theorien der Interaktivität und Semiotik gibt die Autorin zunächst eine knappe, aber angemessene Darstellung interaktiver Kunst als Produkt eines Zusammenspiels von Kunstwerk, Umgebung, Künstlerin und Künstler und Publikum und arbeitet deutlich deren prozessuale Charakteristika heraus: "Das Kunstwerk wird somit zu einem Prozess der Veränderung, der sich in einem permanenten Kreislauf aus Datensammlung, Dekontextualisierung der Daten, Reorganisation der Daten und neuer Manifestation bewegt und in dem sich die Disjunktion zwischen Produktion und Rezeption teilweise aufhebt" (55). Zudem identifiziert sie verschiedene "Qualitäten der Interaktion", nämlich die der Rezeption, der Steuerung oder Auswahl, der Teilnahme oder Produktion und des wechselseitigen Austauschs (65). Während bisherige Analysen multimodaler Werke sich auf passiv rezipierbare Werke beschränkt hätten, will die Autorin Ansätze ergänzen, die der Prozessualität von Kunstwerken gerecht würden (86).

In der folgenden, kurzen Erläuterung von Grundlagen der Semiotik betont Huemer in Referenz auf Jakobson und Eco die besondere Qualität künstlerischer Zeichensysteme, die häufig auf Autoreflexivität und Ambiguität basierten. Auch hier seien jedoch semiotische Konventionen als Referenz nötig: "Diese Annahme rechtfertigt die semiotische Praxis einer Kunstbetrachtung, die diese Strukturen analysiert und deren Gebrauch interpretiert." (79)

Anschließend widmet sich die Autorin ausführlicher der Systemisch Funktionalen Linguistik und den Herausforderungen der Multimodalität. Für erstere bemüht sie (unter anderem) die Theorie von Michael Halliday [3], der Sprache als "Instrument zur Erfüllung sozialer Funktionen" und als Ausdruck und Metapher für soziale Prozesse sehe (80). Leitende Kategorien ihrer Analyse werden dann auch Hallidays drei Metafunktionen der Sprache: die ideationale, die interpersonale, und die textuale Metafunktion, die sich für den Kunstwissenschaftler grob in inhaltliche, kommunikative (rezeptionsorientierte) und formale Funktionen übersetzen lassen.

Da das vorgestellte sozialsemiotische Sprachmodell "allgemeine soziale Handlungsmuster" beschreibe, ließe es sich, so Huemer, auf andere Zeichensysteme übertragen und ermögliche einen "Vergleich von Zeichensystemen innerhalb eines Textes oder Werkes [...], womit ein produktiver Beitrag für die Interpretation verschiedenster Kommunikationsformen geleistet wird" (83) - hier wird die Verbindung zur Multimodalen Theorie gelegt.

Nach dieser allgemeinen Einführung, die die ersten beiden Kapitel sowie den Beginn des dritten Kapitels in Anspruch nimmt, analysiert die Autorin im verbleibenden Teil des dritten Kapitels systematisch die für interaktive Medienkunst relevanten Modi Sprache, Bild, Sound, und Raum. Diese Betrachtungen beginnen stets mit der Diskussion allgemeiner Charakteristika der jeweiligen Modi im Rückgriff auf Halliday, aber unter Hinzuziehung ergänzender Theorien; anschließend folgt eine Anwendung auf exemplarische Werke der Medienkunst.

Da die Systemisch Funktionale Linguistik eher alltagssprachliche als literarische Texte im Fokus habe, greift Huemer für die Behandlung des Modus der Sprache beispielsweise ergänzend auf Jakobsons Sprachmodell zur Poesie und Grammatik zurück, welches Mehrdeutigkeit, Parallelismus und Ähnlichkeitsrelationen wie Symmetrie und Äquivalenz berücksichtige (102). Sie kommt unter anderem zu dem Schluss, dass in der Medienkunst bei sprachlichen Zeichen der Schwerpunkt eher auf der äußeren Form liegt "als darauf, komplexe Erfahrungen abzubilden oder soziale Beziehungen herzustellen" (105). Diese Schlussfolgerung kann man sicher diskutieren, denkt man an das ebenfalls zur Reihe ihrer Fallbeispiele zählende 'Room of One's Own' von Lynn Hershman, in dem die weibliche Protagonistin, bzw. das Werk, die Betrachter adressiert und des Voyeurismus beschuldigt, oder an viele, nicht zu den Fallbeispielen der Autorin zählende Arbeiten der Netzkunst, die ebenfalls komplexe Systeme der Kommunikation oder Narration inszenieren.

Auch in den anschließenden Unterkapiteln zu den Modi Bild, Sound, und Raum werden jeweils weitere, spezifische Theorien herangezogen, insbesondere die Schriften des Linguisten und Kommunikationswissenschaftlers Theo van Leeuwen. [4] Während die Autorin für alle Modi interessante potentielle Analysekriterien zusammenstellt, wäre sicher etwa in Bezug auf das Bild eine ausführlichere Diskussion aktueller Theorien der Bildwissenschaft selbst interessant gewesen, die eben auch die Grenzen einer Bildsemiotik ausführlich diskutieren. [5] Denn die Autorin ist sich der Grenzen eines Versuchs der Systematisierung durchaus bewusst, wenn sie etwa resümiert, dass Medienkunst "keine Norm für eine bestimmte visuelle Darstellungsart setzt, sondern dem Einsatz visueller Ressourcen große Freiheit lässt" (144), oder "dass Sound in der digitalen Medienkunst auf so vielfältige Art und Weise verwendet wird, dass neben diesen generellen Aussagen eine genaue Betrachtung und Interpretation, die sich auf das jeweilige Kunstwerk beziehen, unerlässlich ist" (171f.).

Abgeschlossen wird das Kapitel durch die Vorstellung eines Analyserasters für intermodale Beziehungen, das, wiederum rückgreifend auf van Leeuwen [6] semiotische Ressourcen für 'Kompositionen in der Zeit' (Rhythmen und Bewegungen), 'Kompositionen im Raum' (räumliche Positionen und Publikumsorientierung einzelner Modi), 'Semantische Verbindungen' (Ähnlichkeit, Kontrast, meronymische, hyponymische und metaphorische Beziehungen) und den Dialog (Handlungspaare, turn taking, Hierarchie und Gleichstellung, Monofonie und Polyfonie, Synchronität und Asynchronität) identifiziert (206).

Bietet somit bereits das dritte Kapitel eine große Anzahl verschiedener Kategorien der Analyse multimodaler Kunst, so widmet sich Huemer im vierten Kapitel des Buches noch einmal intensiver einzelnen, ausgewählten, intermodalen Gestaltungsprinzipien, nämlich "Opposition und Verstärkung", "Transformation, Modifikation und Übertragung", der "Auflösung physischer Grenzen" und "Kohärenz". Wie sich bereits an verschiedenen Stellen des dritten Kapitels andeutete, mündet auch die interessante Diskussion möglicher Formen der Kohärenzbildung in der Schlussfolgerung der Autorin, dass digitale Installationen "im Vergleich zu anderen 'Texten' wenig kohäsiv" seien und durch ihre offene Form wenig Ähnlichkeit mit narrativen Strukturen hätten. Dies könne die Rezeption erschweren und erfordere "vom Publikum nicht nur eine Bereitschaft, sich auf eine wenig strukturierte Gestalt einzulassen, sondern mitunter auch eine aktive Beteiligung am Kunstprozess." (281)

Diese Äußerung macht exemplarisch die Grenzen der vorliegenden Studie deutlich: die Widerständigkeit der Kunst gegenüber Versuchen der strukturalen Systematisierung einerseits, und die nach wie vor große Herausforderung einer hinreichenden Berücksichtigung interaktiver Prozesse. Denn die anfangs deutlich beschriebenen "Qualitäten der Interaktion" werden letztlich nur partiell in das entwickelte Modell einbezogen, etwa im Unterkapitel zur Semiotik des Raums. Während die Rezensentin aufgrund ihres eigenen Forschungsschwerpunkts (der Interaktionsästhetik) hier möglicherweise allzu sensibilisiert sein mag, bleibt doch in jedem Fall die Frage nach der Reichweite semiotischer Ansätze für die Analyse bildender Kunst neueren Datums. Dies umso mehr, als die Autorin selbst wiederholt auf die Grenzen von Versuchen der Systematisierung hinweist. Es sei auch daran erinnert, dass die Autorin bereits zu Beginn des Buches auf die Ambiguität und Auto-Reflexivität künstlerischer Zeichensysteme hingewiesen hat, aufgrund derer eine Strukturanalyse wie die von ihr angestrebte als Voraussetzung (!) für eine nähere Beschäftigung mit spezifisch künstlerischen Aspekten der Bedeutungsoffenheit vorgestellt wird.

Unter dieser Prämisse kann die Lektüre des Buches - möglicherweise gerade für den nicht aus der Sprachwissenschaft stammenden Leser - äußerst gewinnbringend sein. Sicher mögen einige Schlussfolgerungen zu bestimmten Werken, oder nicht ganz überzeugend angewandte kunstwissenschaftliche Termini (etwa der 'Kunstmarkt' oder die 'Installation') diskutabel sein. Dennoch können die sehr detaillierten Ausführungen zu im weitesten Sinn semiotischen Strukturen verschiedenster Modi, und insbesondere die Erarbeitung eines differenzierten Vokabulars der Analyse (meist in Übertragung aus der Sprachwissenschaft) für die Analyse komplexer, prozessualer und multimodaler Werke von großem Nutzen sein - wenn sie als möglicher Bestandteil und nicht als Königsweg der Werkanalyse gesehen werden.

Die eingangs gestellte Frage, ob die Sprachwissenschaft der Kunstgeschichte die Medienkunst erklären könne, ist also mit einem klaren Jein zu beantworten. Sie kann einen wertvollen Beitrag zur Entwicklung eines differenzierten Vokabulars leisten, mittels dessen multimodale und prozessuale Werke besser analysiert werden können, besonders wenn sie um phänomenologische und rezeptionsästhetische Ansätze ergänzt wird. Die in der Gegenwartskunstgeschichte übliche Berücksichtigung der potentiellen Bedeutungsoffenheit und Multireferenzialität einzelner Werke sollte ohnehin als selbstverständlich vorausgesetzt werden. Unter diesen Voraussetzungen können Ansätze der Sprachwissenschaft entscheidend dazu beitragen, hybriden, interaktiven, prozessualen und / oder multimodalen Kunstwerken, an denen das traditionelle visuell beschreibende Vokabular der Kunstgeschichte scheitert, besser gerecht zu werden.

Anmerkungen:

[1] Unter anderem Söke Dinkla: Pioniere interaktiver Kunst. Myron Krueger, Jeffrey Shaw, David Rokeby, Lynn Hershman, Grahame Weinbren, Ken Feingold, Ostfildern-Ruit 1997; Oliver Grau: Virtuelle Kunst in Geschichte und Gegenwart. Visuelle Strategien, Berlin 2001; Edward A. Shanken: Art and Electronic Media, London 2009.

[2] Unter anderem Mark B. N. Hansen: Bodies in Code. Interfaces with Digital Media, New York / London 2006; Katja Kwastek: Ästhetik der Interaktivität in der Digitalen Kunst, Cambridge, MA 2013; Anna Munster: Materializing New Media: Embodiment in Information Aesthetics, Hanover 2006; Roberto Simanowski: Digitale Medien in der Erlebnisgesellschaft. Kultur - Kunst - Utopien, Reinbek bei Hamburg 2008.

[3] Michael Halliday: Language as Social Semiotic. The Interpretation of Language and Meaning, London 1978; Michael Halliday / Hasan Ruqaiya: Language, Context and Text: Aspects of Language in a Social Semiotic Perspective, Oxford 1991.

[4] Gunther Kress / Theo van Leeuwen: Multimodal Discourse. The Modes and Media of Contemporary Communication, London 2001; Theo van Leeuwen: Speech, Music, Sound, London 1999.

[5] Eine nach wie vor schlüssige Übersicht liefert beispielsweise Steffen Bogens online verfügbarer Vortrag "Einführung in die Bildsemiotik", http://www.uni-konstanz.de/FuF/Philo/LitWiss/KunstWiss/forschung/bogen/ring1.htm.

[6] Theo van Leeuwen: Introducing Social Semiotics, London 2005.