Digitale Technik- und Wissenskulturen
Bilder hören und Musik sehen mit KI
Dieses Projekt befindet sich an der Schnittstelle zwischen Technologie und Kunst. Wir trainieren neuronale Netze, um Informationen in Bildern und Musik zu interpretieren und zu koppeln. Damit ist KI in der Lage, abstrakte Bilder aus Musik zu erzeugen und Musik aus Bildern zu komponieren.
Inhalt
Gefördert von
Helmut Fischer Stiftung
- Digitale Technik- und Wissenskulturen
Projektbeschreibung
Die KI hat die Computer-Vision und Bildgenerierung enorm weiterentwickelt. Aber wie versteht eine KI Bilder? Und kann sie zum Beispiel das, was sie „sieht“, mit verschiedenen anderen bekannten Konzepten verbinden? Und wenn sie Neues erzeugt, kann man sie dann als kreativ bezeichnen? Wir bringen neuronalen Netze bei, Bilder und Musik zu interpretieren. Dann koppeln wir sie durch ein weiteres neuronales Netz, das Linien, Formen und Farben in Rhythmus und Höhe (und umgekehrt) übersetzt.
Informationen organisieren
Babys bringen sich selbst das Sehen bei: Sie lernen, Farben, Formen und Gegenstände zu unterscheiden, lange bevor sie wissen, um was für einen Gegenstand es sich dabei handelt. Die Autoencoder, neuronale Netze, können dasselbe tun: Am Anfang wissen sie nichts, aber sie bringen sich selbst bei, z.B. visuelle Informationen zu gewinnen, zu codieren und zu decodieren.
Das Unsichtbare sehen, das Unhörbare hören
In Wolfgang Heckls Installation „Atomare Klangwelten“ (2018) wurden Rastertunnelmikroskop-Bilder Pixel für Pixel von einem Algorithmus in Musiknoten übersetzt. Das Mikroskop zeigt, was unsichtbar war, der Algorithmus spielt, was keinen Ton hatte. Von einem ähnlichen Prinzip ausgehend, stellen wir nun ein Abbild zwischen Farben und Noten her, die Farbbilder in Musik umwandelt, und umgekehrt.
Bitte seien Sie kreativ
Obwohl solche Pixel-Note-Maps leicht verständlich sind, erzeugen sie selten bezaubernde Bilder oder angenehme Musik. Wir können aber diese beständigen audiovisuellen Verknüpfungen nutzen, um der KI beizubringen, wie man Bilder und Musik verbinden kann. Die KI ist nun in der Lage, Farben frei mit neuen musikalischen Ideen assoziieren, d.h. sie übersetzen Musikbeispiele in abstrakte Bilder und komponieren umgekehrt von Bildern inspirierte Melodien. Ein Mensch, der so etwas tut, wäre zweifellos kreativ. Sind die Maschinen es auch?
Veranstaltungen
- Creative AI x Music: Talk + Piano Concert
11. Oktober 2019
Two-media interpolation
Die Bilder morphen kontinuierlich ineinander, während die Tonspur die wechselnden Formen und Farben widerspiegelt.