Ein „ChatGPT für Tabellenkalkulationen“ hilft, schwierige technische Herausforderungen schneller zu lösen | MIT-Nachrichten

Viele technische Herausforderungen sind auf das gleiche Problem zurückzuführen: zu viele Knöpfe zum Drehen und zu wenige Möglichkeiten, sie zu testen. Ganz gleich, ob es um die Abstimmung eines Stromnetzes oder die Entwicklung eines sichereren Fahrzeugs geht: Jede Bewertung kann kostspielig sein, und es können Hunderte von Variablen von Bedeutung sein.

Denken Sie über das Design der Fahrzeugsicherheit nach. Ingenieure müssen Tausende von Teilen integrieren, und viele Designentscheidungen können das Verhalten eines Fahrzeugs bei einer Kollision beeinflussen. Klassische Optimierungstools könnten bei der Suche nach der besten Kombination Schwierigkeiten bereiten.

MIT-Forscher haben einen neuen Ansatz entwickelt, der überdenkt, wie eine klassische Methode, die sogenannte Bayes’sche Optimierung, zur Lösung von Problemen mit Hunderten von Variablen verwendet werden kann. In Tests an realistischen Benchmarks im Ingenieursstil, etwa zur Optimierung von Energiesystemen, fand der Ansatz Top-Lösungen 10 bis 100 Mal schneller als weit verbreitete Methoden.

Ihre Technik nutzt ein auf Tabellendaten trainiertes Basismodell, das automatisch die Variablen identifiziert, die für die Leistungssteigerung am wichtigsten sind, und den Prozess wiederholt, um immer bessere Lösungen zu finden. Foundation-Modelle sind riesige künstliche Intelligenzsysteme, die auf riesigen, allgemeinen Datensätzen trainiert werden. Dadurch können sie sich an unterschiedliche Anwendungen anpassen.

Das tabellarische Grundlagenmodell der Forscher muss nicht ständig neu trainiert werden, da es auf eine Lösung hinarbeitet, was die Effizienz des Optimierungsprozesses erhöht. Die Technik ermöglicht auch höhere Geschwindigkeiten bei komplizierteren Problemen, sodass sie besonders bei anspruchsvollen Anwendungen wie der Materialentwicklung oder der Arzneimittelforschung nützlich sein könnte.

„Moderne KI- und maschinelle Lernmodelle können die Art und Weise, wie Ingenieure und Wissenschaftler komplexe Systeme erstellen, grundlegend verändern. Wir haben einen Algorithmus entwickelt, der nicht nur hochdimensionale Probleme lösen kann, sondern auch wiederverwendbar ist, sodass er auf viele Probleme angewendet werden kann, ohne dass alles von vorne beginnen muss“, sagt Rosen Yu, ein Doktorand der Informatik und Ingenieurwissenschaften und Hauptautor einer Arbeit über diese Technik.

Yu wird bei dem Artikel von Cyril Picard, einem ehemaligen MIT-Postdoktoranden und Forschungswissenschaftler, und Faez Ahmed, außerordentlicher Professor für Maschinenbau und Kernmitglied des MIT Center for Computational Science and Engineering, unterstützt. Die Forschung wird auf der International Conference on Learning Representations vorgestellt.

Verbesserung einer bewährten Methode

Wenn Wissenschaftler versuchen, ein vielschichtiges Problem zu lösen, aber über teure Methoden zur Erfolgsbewertung verfügen, etwa einen Crashtest eines Autos, um herauszufinden, wie gut jedes Design ist, verwenden sie oft eine bewährte Methode namens Bayes’sche Optimierung. Diese iterative Methode findet die beste Konfiguration für ein kompliziertes System, indem sie ein Ersatzmodell erstellt, das dabei hilft, abzuschätzen, was als nächstes untersucht werden soll, und dabei die Unsicherheit seiner Vorhersagen zu berücksichtigen.

Allerdings muss das Ersatzmodell nach jeder Iteration neu trainiert werden, was rechnerisch schnell schwierig werden kann, wenn der Raum potenzieller Lösungen sehr groß ist. Darüber hinaus müssen Wissenschaftler immer dann ein neues Modell von Grund auf erstellen, wenn sie ein anderes Szenario angehen wollen.

Um beide Mängel zu beheben, verwendeten die MIT-Forscher ein generatives KI-System, das als tabellarisches Grundlagenmodell bekannt ist, als Ersatzmodell innerhalb eines Bayes’schen Optimierungsalgorithmus.

„Ein tabellarisches Grundlagenmodell ist wie ein ChatGPT für Tabellenkalkulationen. Die Eingabe und Ausgabe dieser Modelle sind tabellarische Daten, die im technischen Bereich viel häufiger zu sehen und zu verwenden sind als Sprache“, sagt Yu.

Genau wie große Sprachmodelle wie ChatGPT, Claude und Gemini wurde das Modell anhand einer enormen Menge tabellarischer Daten vorab trainiert. Dadurch ist es für die Bewältigung einer Reihe von Vorhersageproblemen bestens gerüstet. Darüber hinaus kann das Modell unverändert bereitgestellt werden, ohne dass eine erneute Schulung erforderlich ist.

Um ihr System genauer und effizienter für die Optimierung zu machen, verwendeten die Forscher einen Trick, der es dem Modell ermöglicht, Merkmale des Designraums zu identifizieren, die den größten Einfluss auf die Lösung haben.

„Ein Auto mag 300 Designkriterien haben, aber nicht alle davon sind der Hauptfaktor für das beste Design, wenn man versucht, einige Sicherheitsparameter zu erhöhen. Unser Algorithmus kann intelligent die kritischsten Merkmale auswählen, auf die man sich konzentrieren sollte“, sagt Yu.

Dazu wird ein tabellarisches Grundlagenmodell verwendet, um abzuschätzen, welche Variablen (oder Kombinationen von Variablen) das Ergebnis am stärksten beeinflussen.

Anschließend wird die Suche auf diese Variablen mit großer Auswirkung konzentriert, anstatt Zeit damit zu verschwenden, alles gleichermaßen zu untersuchen. Wenn beispielsweise die Größe der vorderen Knautschzone erheblich zunahm und sich die Sicherheitsbewertung des Fahrzeugs verbesserte, spielte dieses Merkmal wahrscheinlich eine Rolle bei der Verbesserung.

Größere Probleme, bessere Lösungen

Eine ihrer größten Herausforderungen bestand darin, das beste tabellarische Fundamentmodell für diese Aufgabe zu finden, sagt Yu. Dann mussten sie es mit einem Bayes’schen Optimierungsalgorithmus so verknüpfen, dass es die herausragendsten Designmerkmale identifizieren konnte.

„Das Finden der prominentesten Dimension ist ein bekanntes Problem in Mathematik und Informatik, aber einen Weg zu finden, der die Eigenschaften eines tabellarischen Fundamentmodells nutzt, war eine echte Herausforderung“, sagt Yu.

Nachdem das algorithmische Framework vorhanden war, testeten die Forscher ihre Methode, indem sie sie mit fünf hochmodernen Optimierungsalgorithmen verglichen.

Bei 60 Benchmark-Problemen, darunter realistische Situationen wie Stromnetzdesign und Autounfalltests, fand ihre Methode durchweg die beste Lösung zwischen 10 und 100 Mal schneller als die anderen Algorithmen.

„Wenn ein Optimierungsproblem immer mehr Dimensionen annimmt, glänzt unser Algorithmus wirklich“, fügte Yu hinzu.

Ihre Methode war jedoch nicht bei allen Problemen besser als die Basislinien, beispielsweise bei der Planung von Roboterpfaden. Dies deutet wahrscheinlich darauf hin, dass das Szenario in den Trainingsdaten des Modells nicht genau definiert war, sagt Yu.

In Zukunft wollen die Forscher Methoden untersuchen, die die Leistung tabellarischer Grundlagenmodelle steigern könnten. Sie wollen ihre Technik auch auf Probleme mit Tausenden oder sogar Millionen von Dimensionen anwenden, wie zum Beispiel den Entwurf eines Marineschiffs.

„Auf einer höheren Ebene weist diese Arbeit auf einen umfassenderen Wandel hin: Die Verwendung von Basismodellen nicht nur für Wahrnehmung oder Sprache, sondern als algorithmische Motoren in wissenschaftlichen und technischen Werkzeugen, wodurch klassische Methoden wie die Bayes’sche Optimierung auf Regime skaliert werden können, die zuvor unpraktisch waren“, sagt Ahmed.

„Der in dieser Arbeit vorgestellte Ansatz, der ein vorab trainiertes Grundlagenmodell zusammen mit hochdimensionaler Bayes’scher Optimierung verwendet, ist eine kreative und vielversprechende Möglichkeit, die hohen Datenanforderungen von simulationsbasiertem Design zu reduzieren. Insgesamt ist diese Arbeit ein praktischer und leistungsstarker Schritt, um fortgeschrittene Designoptimierung zugänglicher und einfacher in realen Umgebungen anwendbar zu machen“, sagt Wei Chen, Wilson-Cook-Professor für Ingenieurdesign und Vorsitzender der Abteilung für Maschinenbau an der Northwestern University, der nicht an dieser Forschung beteiligt war.