Mit immer besseren Modellen bringen Forschende aus aller Welt das maschinelle Lernen stetig voran. Ihr Erfolg lässt sich sehen, zumindest, solange es sich um Bilder von Standardmotiven handelt, die bei Sonnenschein aufgenommen wurden. Denn selbst leistungsfähige Modelle mit ihren Abermillionen Parametern ticken in punkto Wahrnehmung oft ganz anders als der Mensch. Die Bedingungen brauchen nur ein wenig suboptimal zu sein, wie etwa bei verzerrten oder verrauschten Bildern, schon haben viele von ihnen Schwierigkeiten (Abb. 1).

Solche Bilder liegen jenseits der Variationsbreite der Bilder, mit denen maschinelle Lernsysteme klassischerweise trainiert werden („out of distribution“). Demgegenüber ist das Erkennen selbst schwer verzerrter Bilder für Menschen ein Kinderspiel. In einem gemeinsamen Projekt der Gruppen von Felix Wichmann, Matthias Bethge und Wieland Brendel unter Federführung von Robert Geirhos haben wir uns diesen Unterschied näher angeschaut. Dazu legten wir menschlichen Beobachtern einen riesigen Satz an verrauschten Bildern vor, die sie klassifizieren sollten (Vogel? Fahrrad? Boot? ...). Diesen Datensatz haben wir zusammen mit den Antworten unserer Probanden als Open-Source-Python-Toolkit unter dem Namen “model-vs-human” öffentlich zugänglich gemacht.
 

Unerwartet aber wahr: Die größten Datensätze bringen den größten Erfolg

Mit diesem Datensatz testeten wir maschinelle Lernsysteme der allerneuesten Generation, darunter auch solche, die sich durchradikale Unterschiede zu Standardmodellen auszeichnen.  Manche stechen zum Beispiel dadurch hervor, dass sie mit Bildern und Texten in Kombination trainiert werden. Andere beinhalten sogenannte „Transformer“-Module, mit denen sie die globalen Merkmale von Bildern leichter erkennen können. Wie zu erwarten, machten die Standardmodelle bei verzerrten Bildern viel mehr Fehler als die menschlichen Probanden und darüber hinaus machten sie auch andere Fehler als Menschen: Bei manchen Bildern, die von allen Probanden richtig erkannt wurden, versagten sie durch die Bank. Dafür machten Menschen einige Fehler, die keiner Maschine unterlaufen waren. Einige der neuesten Modelle zeigten jedoch, dass die algorithmische Bilderkennungsfähigkeit zur menschlichen immer mehr aufschließt. Überraschend war für uns, dass nicht die Art des Modells, sondern insbesondere der Umfang der Trainingsdaten für den Erfolg entscheidend war. Auch ein Standardmodell ist in der Lage, verzerrte Bilder, die es vorher nie gesehen hat, so gut oder sogar besser als ein Mensch zu erkennen – wenn es zuvor mit extrem vielen Daten gefüttert wurde. Vielleicht noch verwunderlicher: Modelle, die auf gigantisch großen Datensätzen trainiert wurden, machten auf einmal deutlich menschenähnlichere Fehler!

Dabei gingen aber ausgerechnet die Maschinen mit den menschenähnlichsten Fähigkeiten ganz anders vor, als das Menschen naturgegeben tun. Größere Datensätze fürs Training scheinen deutlich effektiver zu sein als jedes Bemühen um ein “biologisch inspiriertes” Lernen, wie etwa das sogenannte self-supervised learning. Dieser Lernform liegt die Annahme zugrunde, dass Kleinkinder, während sie versuchen, Objekte in ihrer Umgebung zu erkennen, nicht millionenfach gesagt bekommen müssen, wie die Objekte heißen. Ebenso wies keines der untersuchten Modelle, die beim Einordnen von Bildern an menschliche Leistungen herankamen, jene biologisch inspirierten Merkmale auf, die oftmals als unabdingbar galten (wie z.B. den Einsatz rekurrenter Verbindungen).