Marcus Rohrbach

Computer Vision, Computational Linguistics und Maschinelles Lernen

Innerhalb der KI-Forschung hat Marcus Rohrbach sich früh auf das multimodale Lernen spezialisiert und sich mit bahnbrechenden Ergebnissen als weltweit führender Experte etabliert. Seine Forschung, die Bild und Sprache verbindet, bewegt sich an der Schnittstelle von Deep Learning und logischem Schlussfolgern.

Sprache ist das wichtigste Werkzeug des Menschen, um über das, was man sieht, zu kommunizieren. Damit ein intelligentes System effektiv mit Menschen kommunizieren kann, muss es in der Lage sein, Informationen in Worten und Sätzen mit der visuellen Welt in Beziehung zu setzen. Relevant wird das beispielweise bei der Generierung von Bild- und Videobeschreibungen. Bisher konnten Modelle vielversprechende Ergebnisse bei der Beschriftung von Bildern erzielen. Dafür wurden sie mit gepaarten Bild-Satz-Datensätzen trainiert und konnten dementsprechend nur jene Objekte im Kontext beschreiben, die ihnen durch das Training bekannt waren.  Im Gegensatz dazu entwickelte Marcus Rohrbach mit seinem Team ein Modell, das Beschreibungen generieren kann, die bisher unbekannte Objekte im Bild und deren Interaktionen mit anderen Objekten erläutern.

Neben derartigen Fortschritten in der Verlässlichkeit von Bilderkennungsmodellen sowie in der Entwicklung von Methoden für neue und seltene Trainingsdaten erzielte Marcus Rohrbach wichtige Forschungserfolge im symbolbasierten Schlussfolgern sowie der Reduktion des Vergessens bei kontinuierlichem Lernen. Seine Modelle, Software und Daten, die er der weltweiten KI-Community zur Verfügung stellt, werden in Forschung und Industrie vielfach angewendet. Zu seinen Interessen zählen Computer Vision, Computerlinguistik und maschinelles Lernen sowie die Frage, wie man Modelle so zuverlässig gestaltet, dass der Mensch ihnen vertrauen kann.

Die TU Darmstadt legt einen Schwerpunkt auf KI als wissenschaftliche Kerndisziplin und ist Mitglied der beiden großen europäischen KI-Initiativen ELLIS und CLAIRE. Strategischer Fokus der KI-Forschung an der TU Darmstadt ist die Entwicklung intelligenter Systeme zur kontinuierlichen und sicheren Interaktion mit Menschen, die mit dem europäischen Wertesystem im Einklang sind. Mit seinen Fähigkeiten zur Integration symbolischer KI-Ansätze in tiefe neuronale Netze soll Marcus Rohrbach zur Realisierung dieses Ziels beitragen. Als Professor für „Multimodal Reliable AI“ soll er hierauf sowohl an der Universität als auch landes- und europaweit hinwirken.

Zur Person

Marcus Rohrbach wurde 2014 am Max-Planck-Institut für Informatik in Saarbrücken promoviert und wechselte im Anschluss in die USA, wo er zunächst an der UC Berkeley und ab 2017 bei Facebook AI Research (FAIR), heute Fundamental AI Research (FAIR) bei Meta AI, forschte. Seine Forschungsergebnisse werden in mehreren KI-Feldern veröffentlicht, darunter von den wichtigsten Konferenzen und Journalen für Computer Vision, Computerlinguistik, maschinelles Lernen und für künstliche Intelligenz. Er gewann außerdem 2016 und 2018 den renommiertesten Wettbewerb im Bereich des multimodalen Lernens, die Visual Question Answering Challenge, sowie 2018 die VizWiz Challenge, die sich auf Herausforderungen von Menschen mit Sehbeeinträchtigungen konzentriert.

Fotos und Filme