Quadrat mit generierten Farben. Unterschiedliche Helligkeit. Außen ist es dunkler als im inneren Bereich. — Bild: Deutsches Museum | Karl Wienand

Digitale Technik- und Wissenskulturen

Bilder hören und Musik sehen mit KI

Dieses Projekt befindet sich an der Schnittstelle zwischen Technologie und Kunst. Wir trainieren neuronale Netze, um Informationen in Bildern und Musik zu interpretieren und zu koppeln. Damit ist KI in der Lage, abstrakte Bilder aus Musik zu erzeugen und Musik aus Bildern zu komponieren.

Inhalt

Gefördert von

Helmut Fischer Stiftung

Projektbeschreibung

Die KI hat die Computer-Vision und Bildgenerierung enorm weiterentwickelt. Aber wie versteht eine KI Bilder? Und kann sie zum Beispiel das, was sie „sieht“, mit verschiedenen anderen bekannten Konzepten verbinden? Und wenn sie Neues erzeugt, kann man sie dann als kreativ bezeichnen? Wir bringen neuronalen Netze bei, Bilder und Musik zu interpretieren. Dann koppeln wir sie durch ein weiteres neuronales Netz, das Linien, Formen und Farben in Rhythmus und Höhe (und umgekehrt) übersetzt.

Grafik mit zwei neutronalen Netzen. Das erste interpretiert Bilder und Musik. Das zweite neuronale Netz übersetzt Linien, Formen und Farben in Rhythmus und Höhe. — Bild: Deutsches Museum | Karl Wienand

Informationen organisieren

Babys bringen sich selbst das Sehen bei: Sie lernen, Farben, Formen und Gegenstände zu unterscheiden, lange bevor sie wissen, um was für einen Gegenstand es sich dabei handelt. Die Autoencoder, neuronale Netze, können dasselbe tun: Am Anfang wissen sie nichts, aber sie bringen sich selbst bei, z.B. visuelle Informationen zu gewinnen, zu codieren und zu decodieren.

Rastertunnelmikroskop-Bilder werden Pixel für Pixel von einem Algorithmus in Musiknoten übersetzt. — Bild: Deutsches Museum | Karl Wienand

Das Unsichtbare sehen, das Unhörbare hören

In Wolfgang Heckls Installation „Atomare Klangwelten“ (2018) wurden Rastertunnelmikroskop-Bilder Pixel für Pixel von einem Algorithmus in Musiknoten übersetzt. Das Mikroskop zeigt, was unsichtbar war, der Algorithmus spielt, was keinen Ton hatte. Von einem ähnlichen Prinzip ausgehend, stellen wir nun ein Abbild zwischen Farben und Noten her, die Farbbilder in Musik umwandelt, und umgekehrt.

Bitte seien Sie kreativ

Obwohl solche Pixel-Note-Maps leicht verständlich sind, erzeugen sie selten bezaubernde Bilder oder angenehme Musik. Wir können aber diese beständigen audiovisuellen Verknüpfungen nutzen, um der KI beizubringen, wie man Bilder und Musik verbinden kann. Die KI ist nun in der Lage, Farben frei mit neuen musikalischen Ideen assoziieren, d.h. sie übersetzen Musikbeispiele in abstrakte Bilder und komponieren umgekehrt von Bildern inspirierte Melodien. Ein Mensch, der so etwas tut, wäre zweifellos kreativ. Sind die Maschinen es auch?

Inhaltskarussell überspringen