Direkt zum Seiteninhalt springen

Inhalt

Gefördert von

Helmut Fischer Stiftung

Projektbeschreibung

Die KI hat die Computer-Vision und Bildgenerierung enorm weiterentwickelt. Aber wie versteht eine KI Bilder? Und kann sie zum Beispiel das, was sie „sieht“, mit verschiedenen anderen bekannten Konzepten verbinden? Und wenn sie Neues erzeugt, kann man sie dann als kreativ bezeichnen? Wir bringen neuronalen Netze bei, Bilder und Musik zu interpretieren. Dann koppeln wir sie durch ein weiteres neuronales Netz, das Linien, Formen und Farben in Rhythmus und Höhe (und umgekehrt) übersetzt.

Informationen organisieren

Babys bringen sich selbst das Sehen bei: Sie lernen, Farben, Formen und Gegenstände zu unterscheiden, lange bevor sie wissen, um was für einen Gegenstand es sich dabei handelt. Die Autoencoder, neuronale Netze, können dasselbe tun: Am Anfang wissen sie nichts, aber sie bringen sich selbst bei, z.B. visuelle Informationen zu gewinnen, zu codieren und zu decodieren.

Das Unsichtbare sehen, das Unhörbare hören

In Wolfgang Heckls Installation „Atomare Klangwelten“ (2018) wurden Rastertunnelmikroskop-Bilder Pixel für Pixel von einem Algorithmus in Musiknoten übersetzt. Das Mikroskop zeigt, was unsichtbar war, der Algorithmus spielt, was keinen Ton hatte. Von einem ähnlichen Prinzip ausgehend, stellen wir nun ein Abbild zwischen Farben und Noten her, die Farbbilder in Musik umwandelt, und umgekehrt.

Bitte seien Sie kreativ

Obwohl solche Pixel-Note-Maps leicht verständlich sind, erzeugen sie selten bezaubernde Bilder oder angenehme Musik. Wir können aber diese beständigen audiovisuellen Verknüpfungen nutzen, um der KI beizubringen, wie man Bilder und Musik verbinden kann. Die KI ist nun in der Lage, Farben frei mit neuen musikalischen Ideen assoziieren, d.h. sie übersetzen Musikbeispiele in abstrakte Bilder und komponieren umgekehrt von Bildern inspirierte Melodien. Ein Mensch, der so etwas tut, wäre zweifellos kreativ. Sind die Maschinen es auch?

Veranstaltungen

Two-media interpolation

Die Bilder morphen kontinuierlich ineinander, während die Tonspur die wechselnden Formen und Farben widerspiegelt.

Weitere Forschungsprojekte