Bild aus dem von den Autoren erstellten YouTube-Video (siehe unten).
Ein von Forschern der University of Waterloo entwickeltes System ermöglicht es Menschen, mit Gruppen von Robotern zusammenzuarbeiten, um von Musik inspirierte Kunstwerke zu schaffen.
Bei der neuen Technologie handelt es sich um Roboter mit mehreren Rädern in der Größe von Fußbällen, die farbiges Licht hinterlassen, während sie sich in einem festen Bereich auf dem Boden bewegen und auf wichtige Merkmale der Musik reagieren, darunter Tempo und Akkordfolge.
Eine Kamera zeichnet die koordinierten Lichtspuren auf, die sich durch diesen Bereich schlängeln, der als Leinwand für die Schaffung eines „Gemäldes“ oder einer visuellen Darstellung des emotionalen Inhalts eines bestimmten Musikstücks dient.
„Im Grunde haben wir einen Roboterschwarm so programmiert, dass er auf der Grundlage musikalischer Eingaben malt“, sagte Dr. Gennaro Notomista, Professor für Elektro- und Computertechnik an der Waterloo University.
„Das Ergebnis ist ein zusammenhängendes System, das nicht nur musikalische Eingaben verarbeitet, sondern auch mehrere Malroboter koordiniert, um adaptive, ausdrucksstarke Kunst zu schaffen, die die emotionale Essenz der gespielten Musik widerspiegelt.“
Die Roboter repräsentieren Emotionen beim „Hören“ von Musik durch die Farben, Intensität und Breite ihrer Lichtspuren sowie durch ihre Position auf der Leinwand und die Geschwindigkeit, mit der sie sich darin bewegen.
Menschen können gleichzeitig Einfluss auf ein laufendes Gemälde nehmen, indem sie Steuerelemente verwenden, um die Breite der Lichtspuren und ihre Position auf der virtuellen Leinwand zu ändern.
„Wir haben den menschlichen Steuereingang einbezogen, um die Zusammenarbeit von Menschen und Robotern zu ermöglichen“, sagte Notomista, zu dessen Interessen die Schnittstelle von Kunst und Technologie gehört. „Der menschliche Maler sollte das, was die Roboter tun, ergänzen und durch sie ergänzt werden.“
Die erste Herausforderung für die Forscher bestand darin, einen Algorithmus zur Steuerung mehrerer Roboter in einem bestimmten Bereich zu entwickeln. Sie haben das System mit bis zu 12 Robotern getestet, es kann jedoch auf jede beliebige Anzahl skaliert werden.
Schritt zwei umfasste die Entwicklung einer Technologie zum Extrahieren und Analysieren musikalischer Merkmale, die Emotionen ausdrücken, damit sie dann in Lichtspuren übersetzt werden können, die sie angemessen darstellen.
Die während des Projekts gewonnenen Erkenntnisse haben potenzielle Anwendungsmöglichkeiten in anderen Bereichen, in denen die Steuerung und Koordination mehrerer zusammenarbeitender Roboter erforderlich ist, beispielsweise in der Umweltüberwachung, in der Präzisionslandwirtschaft, bei Such- und Rettungsmissionen und in der Planetenerkundung.
Die Forschung spiegelt auch die Global Futures-Initiative der University of Waterloo wider, die interdisziplinäre Arbeit vorantreibt, die untersucht, wie neue Technologien Gesellschaft, Kultur und die menschliche Erfahrung prägen können.
Später plant Notomista, professionelle Maler und Musiker zu engagieren, um die Möglichkeiten des neuen Tools in Benutzerstudien zu erkunden und öffentliche Ausstellungen zu veranstalten.
Ein Artikel über das System, Music-driven Robot Swarm Painting, von Notomista und Jingde Cheng, einem ehemaligen Waterloo-Doktoranden, wurde im Rahmen der Veranstaltung vorgestellt 2025 IEEE International Conference on Advanced Robotics and its Social Impacts.
Universität von Waterloo
