Der Informatiker Dr. Andrew Melnik und sein Team von der Universität Bielefeld haben einen KI-Agenten entwickelt, mit dem sie eine internationale Open Vocabulary Mobile Manipulation (OVMM) Challenge gewonnen haben. KI-Agenten sind technische Systeme, die autonom auf der Grundlage künstlicher Intelligenz handeln, um Ziele zu erreichen. Die Gruppe namens “UniTeam” trat gegen 79 andere Beiträge aus der ganzen Welt auf der Konferenz über Neuronale Informationsverarbeitungssysteme (NeurIPS) in New Orleans an. Der Preis für diesen Erfolg im Bereich der Heimrobotik ist ein Roboter selbst, der die Forschung und Lehre in Bielefeld beeinflussen wird.
Dr. Melnik freut sich über den Erhalt des Roboters, um mit ihm Experimente zu Hause durchzuführen. Er forscht und lehrt in der Neuroinformatikgruppe von Professor Dr. Helge Ritter am CITEC. NeurIPS ist die wichtigste und größte Konferenz für maschinelles Lernen und KI mit Tausenden von Teilnehmern. Im Vorjahr belegte ein von ihm geleitetes Team den zweiten Platz in einer Minecraft-Herausforderung für autonome KI-Agenten.
Die OVMM-Herausforderung konzentrierte sich auf Heimrobotik und beinhaltete Aktivitäten, die für Menschen einfach, aber für Roboter sehr schwer sind. Die Agenten mussten verschiedene Aufgaben wie Reinigen, Kochen, Wäschepflege und die Steuerung von Heizsystemen ausführen. Die Roboter mussten auch auf natürliche Sprache reagieren und Objekte identifizieren und effizient an den gewünschten Ort bewegen können.
Um diese komplexen Aufgaben erfolgreich umzusetzen, setzte das Team auf Large Language Models (LLM) wie ChatGPT, um das Verhalten intelligenter Agenten zu modellieren. Diese Modelle lernen anhand großer Mengen an Textdaten und werden jetzt um nicht-textuelle Eingaben wie Ton und Bilder erweitert, um multimodale Kommunikation zu ermöglichen. Die Integration von LLMs in die Robotik eröffnet neue Möglichkeiten für industrielle Anwendungen und die Interaktion von Mensch und künstlicher Intelligenz.
Durch die Zusammenarbeit mit Kollegen vom Indian Institute of Information Technology Allahabad als “UniTeam” konnten die Bielefelder Studenten gemeinsam an der NeurIPS-Challenge teilnehmen. Der Gewinn des Home-Roboters “Hello Robot Stretch 2” wird die Forschung an der Universität Bielefeld voranbringen und den Studierenden die Möglichkeit bieten, mit einem realen Roboter zu arbeiten.
