Uni-Tübingen

SFB 1233 „Robustheit des Sehens“

Der Sonderforschungsbereich „Robustheit des Sehens – Prinzipien der Inferenz und der neuronalen Mechanismen“ (SFB 1233) befasst sich mit den Grundlagen des biologischen und maschinellen Sehens. Unser Sehvermögen funktioniert verblüffend robust: Selbst in einer sehr variablen Umwelt ermöglicht es uns, aus begrenzten visuellen Informationen verlässliche Schlussfolgerungen über die betrachtete Umgebung zu ziehen. Dafür werden von unseren Nervenzellen komplexe Berechnungen durchgeführt. Künstliche Sehsysteme, beispielsweise in selbstfahrenden Autos, sind zunehmend in der Lage, das menschliche Sehvermögen nachzubilden. Der Forschungsverbund will die Prinzipien und Algorithmen besser verstehen, die den Berechnungen visueller Systeme zugrunde liegen und „robustes Sehen“ ermöglichen.


Themen, Ziele und Projekte

Zentrale Fragen

In der dritten Förderphase setzen wir fortschrittliche Methoden zur Messung neuronaler Aktivität und des Verhaltens ein und bauen auf den Rechenmodellen der ersten beiden Förderphasen auf. Damit wollen wir die grundlegenden Prinzipien und Mechanismen (sogenannte "Inductive Biases") visueller Systeme untersuchen, die für autonomes Verhalten unverzichtbar sind. Gemeinsam werden wir uns auf die folgenden zentralen wissenschaftlichen Fragen und methodischen Herausforderungen konzentrieren:

Zentrale wissenschaftliche Fragen:

1. Welche induktiven Verzerrungen und Repräsentationen ermöglichen es, in hochdynamischen Umgebungen zuverlässig verschiedene visuelle Aufgaben zu bewältigen? Insbesondere: Inwiefern nutzen visuelle Systeme die natürliche Struktur der Welt, um robuste Leistungen zu erzielen?

2. Welche Mechanismen machen die biologischen visuellen Systeme so effizient und befähigen sie zu autonomem Verhalten? Besonders relevant ist dabei die Frage, welche Rolle aktive und aufgabenspezifische Informationsauswahl spielt.

Methodische Herausforderungen:

1. Wie können wir die Berechnungen und Mechanismen biologischer visueller Systeme mithilfe eines „digitalen Zwillings“ beschreiben, der verschiedene Ebenen biologischer Plausibilität abbildet? Welche Daten sind erforderlich, um solche Modelle präzise zu entwickeln, und wie können sie genutzt werden, um mechanistische Einblicke zu gewinnen?

2. Wie lassen sich intelligentes visuelles Verhalten von Gehirnen und Maschinen miteinander vergleichen – insbesondere hinsichtlich Repräsentationen, induktiven Verzerrungen und Berechnungen?

3. Wie können wir der NeuroAI-Community einen langfristigen und umfassenden wissenschaftlichen Beitrag leisten, indem wir Open-Source-Modelle, Evaluationswerkzeuge und Datenrepositorien bereitstellen?

 


Übergeordnete Forschungsthemen:

Forschungsthema A: Objektzentrierte Wahrnehmung

Projekt A1: Robuste Objekterkennung – Unüberwachte, objektzentrierte Wahrnehmung aus Videos
Teilprojektleitende: Lensch, Geiger, Zhang, Koepke

Projekt A2: Evaluierung von agentenbezogenen Seh-Systemen
Teilprojektleitende: Brendel, Akata 


Forschungsthema B: Robuste High-Level-Wahrnehmung im menschlichen Gehirn

Projekt B1: Visuelle und multimodelle “High-Level” Repräsentationen im menschlichen Gehirn
Teilprojektleitende: Liebe, Macke, Oganian

Projekt B2: Großskalige Interaktionen bei der natürlichen Wahrnehmung
Teilprojektleitende: Siegel, Bartels

Projekt B3: Verarbeitung natürlicher dynamischer Szenen im menschlichen Gehirn – Groß angelegte modulare Berechnung
Teilprojektleitende: Bartels, Bethge


Forschungsthema C: Aktive visuelle Inferenz

Projekt C1: Vorhersage und Modellbildung in unsicheren Umgebungen
Teilprojektleitende: Franz, Dayan, Luxburg, Berens

Projekt C2: Frühe visuelle Verarbeitung bei Augenbewegungen – Benchmarking der aktiven frühen Wahrnehmung
Teilprojektleitende: Wichmann, Kümmerer, Hafed, Schwarz


Forschungsthema D: Frühe Informationsselektion

Projekt D1: Anregende Stimuli für Mäuse und wie sie vom frühen visuellen System kodiert werden
Teilprojektleitende: Euler, Busse, Franke

Projekt D2: Kollaborative, detailgetreue Modelle der Informationsselektion in einer vollständigen RGC-Population
Teilprojektleitende: Euler, Bethge, Macke

Projekt D3: Informationsselektion im dLGN und SC der Maus in unterschiedlichen internen und externen Kontexten
Teilprojektleitende: Busse, Berens, Sinz, Franke


Unterstützende Projekte

Infrastrukturprojekt: Software, Methoden und rechnerische Werkzeuge zur Evaluierung computergestützter Modelle der Wahrnehmung
Teilprojektleitende: Eggensperger, Wichmann, Berens, Macke, Bethge


Sprecher

Prof. Dr. Matthias Bethge

Tübingen AI Center
Eberhard Karls Universität Tübingen
Maria-von-Linden-Straße 6
D-72076 Tübingen

+49 7071 29-70862
matthias.bethge@uni-tuebingen.de

Prof. Dr. Jakob Macke

Tübingen AI Center
Eberhard Karls Universität Tübingen
Maria-von-Linden-Straße 6
D-72076 Tübingen

+49 7071 29-70850
jakob.macke@uni-tuebingen.de

Dr. Katrin Franke

Forschungsinstitut für Augenheilkunde
Eberhard Karls Universität Tübingen
Elfriede-Aulhorn-Straße 7
72076 Tübingen

katrin.frankespam prevention@uni-tuebingen.de 

Partner