Saeid Khoobdel ist Master-Student in der Forschungsgruppe von Prof. Dr. Claus Atzenbeck am Institut für Informationssysteme (iisys). Dort beschäftigt er sich mit Künstlicher Intelligenz (KI) zum Aufbau von Wissensbanken. Diese ermöglichen es, Mensch und Maschine zusammenzubringen. Aus persönlichem Interesse hat er in einem internationalen Team an einer Mathe-Olympiade teilgenommen hat. Dabei ging es nicht darum, mathematische Aufgaben zu lösen, sondern eine KI so zu trainieren, dass Aufgaben gelöst werden können. Das Team hat beeindruckende Ergebnisse geliefert.
Herr Khoobdel, um was für eine Veranstaltung handelte es sich genau, an der Sie teilgenommen haben?
“Das war ein internationaler Wettbewerb auf der Plattform Kaggle, einer Online-Community für Datenwissenschaftler und KI-Experten. Kaggle organisiert regelmäßig Wettbewerbe, bei denen Teams aus aller Welt gegeneinander antreten, um innovative Lösungen für reale Probleme zu entwickeln. Der Wettbewerb, an dem wir teilgenommen haben, trägt den Titel “AI Mathematical Olympiad” und fokussiert sich auf das Lösen mathematischer Probleme mithilfe von künstlicher Intelligenz.”
Was ist die besondere Herausforderung bei diesem Wettbewerb?
“Die Herausforderung besteht nicht nur darin, dass KI mathematische Aufgaben löst – sondern sie soll dies auf einem Niveau tun, das mit den besten menschlichen Teilnehmern der Internationalen Mathematik-Olympiade vergleichbar ist. Mathematische Problemlösung wird als ein entscheidender Meilenstein für die Entwicklung von KI angesehen, weil sie oft anspruchsvolle logische Strukturen und hohe Abstraktionsfähigkeiten erfordert, die für Maschinen besonders schwer zu erfassen sind.”
Wie genau können wir uns den Ablauf des Wettbewerbs vorstellen?
“Im Wettbewerb wurden 110 neuartige mathematische Probleme vorgestellt, die ein breites Spektrum an Schwierigkeitsgraden abdecken – von einfacher Arithmetik bis hin zu anspruchsvoller algebraischer und geometrischer Argumentation. Da die KI-Modelle im Training auf große Datensätze aus dem Internet zurückgreifen, bestand die Herausforderung darin, sicherzustellen, dass die Modelle nicht auf die Testfragen im Vorfeld gestoßen sind, was die Bewertung ihrer echten Problemlösungsfähigkeiten verfälschen könnte. Deshalb wurden die Aufgaben speziell von einem internationalen Team erstellt, um einen fairen und transparenten Bewertungsrahmen zu gewährleisten.”
Geht es nur um Mathematik oder auch noch um andere Themen?
“Interessanterweise geht es bei solchen Wettbewerben nicht nur um Mathematik im klassischen Sinne. Mathematik lehrt KI-Modelle das Verständnis von Logik und Abstraktion, die für viele andere komplexe Probleme, wie in der Technik und Finanzwirtschaft, von Bedeutung sind. Ein KI-Modell muss sich dabei oft über viele Schritte hinweg abstrakt „vorstellen“, welche Lösung Sinn ergibt. Das stellt für eine Maschine eine besondere Herausforderung dar, da sie in der Regel auf konkreten Regeln basiert und Schwierigkeiten hat, über direkte Daten hinauszublicken. Solche Wettbewerbe fördern daher auch die Entwicklung von Modellen, die logische und abstrakte Muster besser verstehen und so in der Lage sind, komplexe Zusammenhänge in verschiedenen Bereichen zu erfassen.”
Was genau hat Sie zu einer Teilnahme motiviert?
“Meine Hauptmotivation für die Teilnahme war der Wunsch zu lernen, ganz nach dem Motto von Konfuzius: “Ich höre und vergesse. Ich sehe und erinnere mich. Ich tue und verstehe.” Ich bin überzeugt, dass wir am meisten lernen, wenn wir uns Herausforderungen stellen. Die Teilnahme an solch anspruchsvollen Wettbewerben, die aktuelle Herausforderungen der Branche widerspiegeln, ermutigt dazu, nach innovativen Lösungen zu suchen und vertieft das eigene Verständnis des Fachgebiets.
Eine weitere wichtige Motivation war die Möglichkeit, in einem Team zu arbeiten und so gemeinsam mehr zu erreichen. Durch die Teamarbeit kann man oft den “mentalen Loop” durchbrechen, indem man sich nach einer Weile im Alleingang verfängt. Bei solchen hochaktuellen Herausforderungen ist es entscheidend, neue Methoden auszuprobieren und viele wissenschaftliche Artikel zu lesen, um auf dem neuesten Stand zu bleiben. Das erfordert jedoch viel Zeit, die oft nicht ausreichend vorhanden ist. Im Team jedoch können wir unser Wissen und unsere Zeit effektiv bündeln, wodurch wir die Möglichkeit haben, voneinander zu lernen und gemeinsam schneller voranzukommen. Es ist einer der großen Vorteile des Menschen, dass wir durch Zusammenarbeit Lösungen finden können, die alleine schwer zu erreichen wären.”
Was hat Sie noch gereizt?
“Am Ende solcher Wettbewerbe entstehen zudem oft Foren, in denen Teilnehmer ihre Lösungsansätze austauschen und von den Strategien der anderen lernen können. Es ist inspirierend zu sehen, welche unterschiedlichen Herangehensweisen verfolgt wurden und welche Ideen man daraus für die eigene Arbeit übernehmen kann. Eine gute Lösung kann sogar die Aufmerksamkeit von Unternehmen und Forschungseinrichtungen auf sich ziehen, die an einer Zusammenarbeit interessiert sind. Diese Chancen, neue Kontakte zu knüpfen und möglicherweise weitere spannende Projekte zu finden, motivieren mich ebenfalls sehr.”
Sie haben in einem internationalen Team mitgemacht. Wie kam die Gruppe zustande?
“Unser Team entstand durch gemeinsame Interessen und frühere Projekte, bei denen wir bereits zusammengearbeitet hatten. Liam und ich hatten uns bei einem Open-Source-Projekt kennengelernt und festgestellt, dass wir beide eine starke Leidenschaft für Deep Learning und Mathematik teilen. Beide sind wir Mitglieder einer internationalen Discord-Community, in der Technikbegeisterte aus aller Welt zusammenkommen. In dieser Gruppe unterstützen wir uns gegenseitig bei Programmierproblemen und tauschen Ideen aus – aber unsere Gespräche drehen sich nicht nur um Technik. Manchmal spielen wir auch zusammen Schach, sprechen über Bücher, die wir gelesen haben, Filme, die wir gesehen haben, oder diskutieren über alltägliche Themen.
Eines Tages schrieb Liam in die Gruppe und fragte, ob jemand Interesse hätte, am AI Mathematical Olympiad teilzunehmen. Noah und ich meldeten uns sofort, und so entstand unser erstes Dreierteam. Kurz darauf schlossen sich uns Rho und Lara an, die in einer weiteren Gruppe aus Vancouver aktiv waren, sodass unser Team schließlich aus fünf Personen aus drei verschiedenen Ländern bestand. Liam und Noah leben in Schweden, Rho und Lara in Kanada, und ich selbst in Deutschland. Diese internationale Zusammensetzung brachte eine Vielzahl von Perspektiven und Ideen ins Team, was unsere Zusammenarbeit besonders bereichernd und spannend machte.”
Welche Fragestellung haben Sie im Team gelöst?
Unser Team stand vor der Herausforderung, mathematische Probleme zu lösen, die ein tiefes Verständnis von Logik, Abstraktion und mathematischem Denken erfordern. Die Aufgaben im AI Mathematical Olympiad auf Kaggle sind so konzipiert, dass sie die Fähigkeiten der KI an ihre Grenzen bringen. Es geht dabei nicht nur um reine Berechnungen, sondern darum, dass die Modelle komplexe Zusammenhänge und Muster erkennen und Probleme ähnlich wie menschliche Denker verstehen.”
Was war Ihr Lösungsansatz?
Unsere Hauptidee war die Nutzung eines Ensemble-Ansatzes, den wir „The Archipelago of Intelligence“ (Das Archipel der Intelligenz) nannten – ein Name, inspiriert von dem Buch The Gulag Archipelago (Der Archipel Gulag) des russischen Nobelpreisträgers Alexander Solschenizyn. Ohne zu sehr in technische Details zu gehen, bedeutet dies, dass wir mehrere Modelle mit unterschiedlichen Architekturen und Parametern trainierten, wobei jedes Modell eine spezifische Aufgabe im Lösungsprozess übernahm. Gemeinsam bildeten diese Modelle eine Pipeline, in der sie durch Zusammenarbeit zur optimalen Lösung gelangten. Diese Kommunikation zwischen den Modellen ermöglichte es uns, nicht nur eine höhere Genauigkeit als die damaligen Standardmodelle zu erreichen, sondern auch zu verstehen, wo mögliche Fehlerquellen liegen. Dies ist wichtig, weil die Genauigkeit eines Modells, das mathematische Probleme löst, nicht einfach durch den Vergleich der Modellantwort mit der richtigen Lösung berechnet werden kann. Es kann vorkommen, dass die Antwort eines Modells zwar nah an der richtigen Lösung liegt, es jedoch grundlegende Fehler im Lösungsweg gemacht hat. Ein anderes Modell hingegen mag weiter von der korrekten Antwort entfernt sein, aber nur einen kleinen Fehler in einem Zwischenschritt gemacht haben, etwa bei einer einfachen Multiplikation. Solche Einsichten sind entscheidend, um die Modelle gezielt zu verbessern und verlässliche Ergebnisse zu erzielen.
Dieses Problem zeigt sich auch bei großen Sprachmodellen, die oft Schwierigkeiten haben, selbst einfache Aufgaben korrekt zu lösen, wenn sie eine gewisse Ebene von Verständnis und Logik erfordern. Zusätzlich war es eine Herausforderung, unsere Modelle mit begrenzten Ressourcen zu trainieren. Anders als große Unternehmen hatten wir keine Vielzahl an GPUs zur Verfügung, um unsere Modelle über mehrere Tage hinweg zu trainieren. Deshalb lag unser Ziel darin, mit einem begrenzten Umfang an Daten und Rechenleistung eine hohe Genauigkeit zu erreichen. Insgesamt ermöglicht uns dieser Ansatz, den gedanklichen Pfad, dem ein Modell folgt, nachzuvollziehen und gezielte Verbesserungen vorzunehmen, wenn das Modell in bestimmten Teilen Fehler macht oder zu Verzerrungen neigt.”
Wieviel Zeiteinsatz war notwendig? War die Zeit zur Lösung der Aufgaben begrenzt?
Der Wettbewerb auf Kaggle, die AI Mathematical Olympiad, erstreckte sich über einen Zeitraum von etwa drei Monaten. Da sich unser Team jedoch erst später formierte, standen uns nur rund sechs Wochen zur Verfügung, um unser Projekt zu entwickeln und einzureichen. Trotz dieser begrenzten Zeit brachte jedes Teammitglied bereits Erfahrungen und Ideen aus ähnlichen Projekten mit, was es uns ermöglichte, schnell eine gemeinsame Herangehensweise zu finden.
Unsere erste Aufgabe bestand darin, Meetings abzuhalten, in denen jedes Mitglied seinen Ansatz vorstellte. So konnten wir gemeinsam entscheiden, welche Herangehensweise am vielversprechendsten war, da uns nicht genügend Zeit blieb, alle Ideen umzusetzen. Nach dieser Entscheidung folgte eine detaillierte Planung und Aufgabenverteilung, um sicherzustellen, dass jeder genau wusste, was zu tun war. Da wir alle studierten und teilweise nebenbei arbeiteten, war unsere verfügbare Zeit für das Projekt extrem knapp, und wir mussten die meisten Aufgaben in unserer Freizeit erledigen.
Diese strikte Organisation und das gemeinsame Verständnis der Zeitbeschränkungen halfen uns, das Projekt innerhalb des gegebenen Zeitrahmens erfolgreich abzuschließen. Die Arbeit an der Optimierung unseres Lösungsansatzes geht jedoch bis heute weiter. Unser Ziel ist es, das Modell weiter zu verbessern, sodass wir es in Zukunft veröffentlichen können und auch andere von unseren Ergebnissen profitieren.”
Ist das eher eine Hobby-Beschäftigung gewesen oder hat es auch etwas für Ihre Arbeit im iisys gebracht?
“Die Teilnahme an diesem Wettbewerb war nicht nur ein persönliches Projekt, sondern eine wertvolle Ergänzung für meine Arbeit im Visual Analytics Team am iisys, wo ich im Bereich Deep Learning tätig bin. Die Erfahrungen, die ich im Laufe dieses und weiterer Kaggle-Wettbewerbe gesammelt habe, unterstützen mich direkt in meiner beruflichen Arbeit, insbesondere beim Erkennen von Mustern und Zusammenhängen in Daten. Der Wettbewerb förderte mein Verständnis für maschinelles Lernen und mathematische Modellierung und ermöglichte es mir, Algorithmen und Strategien zu testen, die in meinen Projekten hilfreich sind – eine Bereicherung, die meine berufliche Tätigkeit im iisys stärkt.”
