Projekte im SFB 1233 "Robustheit des Sehens"

Der SFB 1233 “Robustheit des Sehens” ist in der 3. Förderperiode unterteilt in zehn Forschungsprojekte und einem Infrastrukturprojekt, die alle durch das zentrale Koordinationsprojekt unterstützt werden.

Projekt 2: Robuste Inferenz von Materialeigenschaften

Projektbeschreibung

Ziel dieses Projekts ist es, Modelle zu entwickeln, die eine physikalische Interpretation visueller Szenen ermöglichen. In der ersten Phase lag der Fokus dieses Projekts auf der Entwicklung robuster Inferenzmethoden und generativer Modelle zur kontrollierten Erfassung von Materialreflexionen. In der zweiten Phase wollen wir den Anwendungsbereich auf die Schät-zung von Reflexionseigenschaften (BRDFs) und Form in komplexen Szenen für unbekannte Geometrien und Lichtverhältnis-se erweitern und darüber hinaus sogar ein breiteres Spektrum von Materialklassen berücksichtigen. Eine robuste und effizi-ente Materialeinschätzung in diesem wesentlich komplexeren Umfeld stellt uns vor einige interessante Herausforderungen, für die wir allgemein geltende Inferenzstrategien entwickeln wollen.

Projektleitung

Hendrik Lensch

Projekt 4: Kausale Inferenz Strategien im visuellen System des Menschen

Projektbeschreibung

Die Erfolge künstlicher Sehsysteme werden typischerweise in hochgradig kontrollierten Umgebungen erzielt, wenn sich die Verteilung, mit der die Daten generiert werden, zwischen Training und Test nicht ändert. Das menschliche Sehvermögen hingegen ist robust gegenüber Änderungen der Verteilung von Sensorrauschen, Lichtstärke - und -einfall, Blickwinkel, Sichtbarkeit oder verschiedener Umgebungen. In diesem Projekt untersuchen wir die Hypothese, dass das visuelle System kausale Inferenz mit generativen Modellierungsstrategien kombiniert, um eine robuste Wahrnehmung zu ermöglichen. Wir erweitern den Ansatz der ersten Förderperiode und konzentrieren uns dabei auf die Frage, wie zeitliche Gestaltprinzipien ein objektbasiertes Szenenverständnis bei Mensch und Maschine ermöglichen.

Projektleitung

Felix Wichmann
Bernhard Schölkopf
Matthias Bethge

Projekt 5: Aufgaben-abhängige Modulation der visuellen Verarbeitung

Projektbeschreibung

Eine der zentralen Fragen des menschlichen Sehens auf höherer Ebene betrifft die funktionellen Rollen der Bottom-up/Feed-forward- und Top-down/Feedback-Verbindungen. In der ersten Förderperiode stellten wir fest, dass die Evidenz für die reine Feed-Forward-Verarbeitung in der Objekterkennung viel schwächer ist als derzeit angenommen. In der zweiten Förderperiode werden wir die Frage der Feed-Forward- vs. Feedback-Verarbeitung bei einer Vielzahl verschiedener Aufgaben untersuchen und dabei analysieren, wie sich das menschliche visuelle System an die verschiedenen Anforderungen der Aufgaben anpasst und ob andere Aufgaben als das Priming-Paradigma Top-Down-Einflüsse direkter zulassen.

Projektleitung

Volker Franz
Ulrike von Luxburg
Peter Dayan

Projekt 6: Probabilistische Inferenz im frühen visuellen Kortex

Projektbeschreibung

In diesem Teilprojekt wird untersucht, ob generative Modelle eine normative Erklärung für die in psychophysischen und neu-rophysiologischen Experimenten beobachteten Top-down-Einflüsse auf neuronale Aktivität und Entscheidungen liefern kön-nen. In der kommenden Förderperiode, werden wir algorithmische Methoden entwickeln, die helfen werden diese Fragestel-lungen zu untersuchen: Während üblicherweise normatives Modelle `händisch’ erstellt werden, und dann post-hoc mit Ver-haltens- und neuronalen Daten verglichen werden, werden wir Machine-Learning Methoden entwickeln (`inverse normative Modellierung (INM)’), die normative Modelle direkt aus Daten ableiten.

Projektleitung

Jakob Macke
Fabian Sinz

Projekt 7: Neuronale Interaktionen während natürlicher visueller Wahrnehmung

Projektbeschreibung

Dieses Teilprojekt untersucht langreichweitige neuronale Interaktionen während natürlichen Sehens. Natürliche visuelle Sti-muli enthalten raum-zeitliche Regelmäßigkeiten, die von den physikalischen Gesetzen unserer Welt geprägt sind. In der kommenden Förderperiode werden wir dynamische visuelle Stimuli verwenden, um die Hypothese zu testen, dass das Ge-hirn diese Regelmäßigkeiten während natürlichen Sehens ausnutzt und durch neuronale Feedback-Projektionen kontinuier-lich Vorhersagen visueller Inputs übermittelt.

Projektleitung

Markus Siegel
Andreas Bartels

Projekt 9: Verarbeitung natürlicher dynamischer Reize im menschlichen Hirn

Projektbeschreibung

Dieses Projekt untersucht neuronale Repräsentationen von Szenentiefe und Geschwindigkeit in natürlichen dynamischen Szenen, den Einfluss von Objekt-Inhalten und einfachen visuellen Eigenschaften darauf, sowie die Robustheit der Repräsen-tationen im Hinblick auf Manipulationen verschiedener Szeneneigenschaften. Ebenso wird das Projekt Aufschluss auf die Salienz in natürlich-dynamischen Szenen geben: Inwieweit wird die Salienz durch visuelle Inhalte auf niederen oder höhe-ren Ebenen bestimmt, welche neuronalen Repräsentationen spiegeln Komponenten der Salienz auf niedrigeren und höhe-ren Ebenen wieder und welche biologischen Verarbeitungsstufen haben Ähnlichkeiten mit Salienz-Darstellungen künstlicher neuronaler Netze.

Projektleitung

Andreas Bartels
Michael Black

Projekt 10: Natürliche visuelle Reize für Mäuse: Statistik der natürlichen Umwelt und deren Repräsentation im visuellen System

Projektbeschreibung

Die Erkenntnisse aus diesem Projekt sollen uns helfen, besser zu verstehen, welche visuellen Merkmale der Umwelt von der Maus mit kombinierten Kopf- und Augenbewegungen genutzt werden, um robuste Repräsentationen naturalistischer visuel-ler Stimuli zu erhalten. Darüber hinaus wollen wir untersuchen, wie das frühe visuelle System spezialisierte Kodierungsstra-tegien für verschiedene Aspekte der visuellen Umgebung verwendet, wie z.B. bei der Nutzung des oberen vs. unteren Ge-sichtsfeldes. Schließlich wollen wir die Rolle der "suppressed-by-contrast" (SbC)-Neuronen, eines nicht “klassischen”, oft vor-kommenden, aber kaum verstandenen funktionellen Zelltyps des frühen visuellen Systems, bei der Kodierung natürlicher Szenen besser verstehen.

Projektbeschreibung

Laura Busse
Thomas Euler

Projekt 11: Auswirkungen von Augenbewegungen auf die Sehverarbeitung: von der Netzhaut zur Wahrnehmung

Projektbeschreibung

Augenbewegungen führen zu erheblichen Bildverschiebungen auf der Netzhaut. Dies führt zu kontinuierlichen raum-zeitlichen Modulationen der neuronalen Aktivität, angefangen bei den Photorezeptoren bis hin zu den nachgeschalteten visuellen Bereichen im Gehirn. Unser Hauptziel ist es zu verstehen, wie solche kontinuierlichen "Filme" am Eingangsbereich des visuellen Systems die Wahrnehmung beeinflussen. In der zweiten Förderperiode werden wir die Auswirkungen von Au-genbewegungen auf die visuelle Verarbeitung weiter untersuchen. Dabei wird der Fokus auf Augenbewegungen verschie-dener zeitlicher und räumlicher Ausmaßen liegen (langsame Drifts, Mikrosakkaden und größere Sakkaden), die unterschied-liche Verhaltensmuster unterstützen.

Projektleitung

Ziad Hafed
Katrin Franke

Projekt 12: Wie Bilder durch eine vollständige Ganglienzellpopulation an einem Ort der Retina verarbeitet werden

Projektbeschreibung

Das Ziel dieses Projekts ist weiterhin die Entwicklung eines CNN-Modells (Convolutional Neural Network), das in der Lage ist, genau zu beschreiben, wie Bildinformationen innerhalb des retinalen Netzwerks nichtlinear transformiert werden, so dass es die Antworten der ca. 40 verschiedenen retinalen Ausgangskanäle auf neue Stimuli vorhersagen kann. Eine zentrale Her-ausforderung solcher Modelle ist, dass sie große Mengen an Trainingsdaten benötigen. Daher wird das Projekt weiterhin (1) die experimentellen Aspekte zur Maximierung der Datenausbeute verbessern und (2) Analyse- und Modellierungsmethoden entwickeln, mit denen sich Heterogenitäten sowohl zwischen Neuronen desselben Typs als auch zwischen verschiedenen Experimenten herausrechnen lassen.

Projektleitung

Thomas Euler
Matthias Bethge

Projekt 13: Visuelle Verarbeitung von Feedforward- und Feedback-Signalen im dLGN des Thalamus

Projektbeschreibung

Das Ziel dieses Projekts war (und ist) die Untersuchung der Feedforward- und Feedback-Einflüsse auf die visuelle Informati-onsverarbeitung und Robustheit im dLGN des Thalamus. In der nächsten Förderperiode werden wir die Rolle der Feedfor-ward- und Feedback-Verarbeitung im dLGN für die Verarbeitung komplexerer visueller Inputs wie Filmsequenzen, unter Verwendung DNN-basierter Modelle des frühen visuellen Systems, bestimmen. Um aufzuklären, wie die Repräsentationen im dLGN die Bewältigung verschiedener Aufgaben in wechselnden Umgebungen unterstützen, werden wir dann durch Experimente und Modellierung untersuchen, wie Feedforward- und Feedback-Berechnungen unterschiedlich zur neuronalen Verarbeitung von visuellen Stimuli im dLGN unter unterschiedlichen Lichtverhältnissen beitragen.

Projektleitung

Laura Busse
Philipp Berens

Projekt 14: Modelle von Netzhauterkrankungen als Hilfsmittel zum Verständnis des robusten Sehens

Projektbeschreibung

Die gesunde menschliche Netzhaut ermöglicht eine robuste Verarbeitung des visuellen Inputs, was zu einer stabilen Kon-trast- und Helligkeitswahrnehmung über ein breites Spektrum von Bedingungen führt. Interessanterweise bleibt das Sehver-mögen, wenn es sich einmal vollständig entwickelt hat, bemerkenswert robust, selbst wenn bestimmte Netzhautzellen auf-grund von Netzhauterkrankungen degenerieren. Ziel dieses Projekts ist es, die Robustheit und Flexibilität der Sehleistung bei Patienten mit RP (Retinitis pigmentosa) und CSNB1 (komplette kongenitale stationäre Nachtblindheit) sowie in entsprechen-den Tiermodellen zu untersuchen, indem die Sehleistung mit der zugrunde liegenden zellulären Funktion verknüpft wird.

Projektleitung

Katarina Stingl
Christina Schwarz

Projekt 17: Erlernen von erklärbaren Strategien für selbstfahrende Autos aus wenigen Daten

Projektbeschreibung

Das Ziel dieses Projekts ist es, aus Daten erklärbare, robuste und generalisierbare Entscheidungs-Regeln für selbstfahrende Autos zu generieren. Bestehende Ansätze zum Erlernen von Regeln für selbstfahrende Autos sind in Bezug auf zwei grund-legende Aspekte limitiert: die Generalisierbarkeit und die Interpretierbarkeit der Regeln. In diesem Projekt wollen wir beide Aspekte angehen, indem wir Ideen aus modularen Ansätzen, Repräsentationslernen, rekurrenter Aufmerksamkeit und Zero-Shot-Lernen kombinieren, um ein introspektives Modell zu erhalten, das auf neuartige Fahrsituationen und Verhaltenswei-sen generalisieren kann.

Projektleitung

Zeynep Akata
Andreas Geiger

Projekt INF: Eine kollaborative Datenmanagement-Plattform für reproduzierbare Neurowissenschaften und maschinelles Lernen

Projektbeschreibung

Die Sicherstellung der Konsistenz, Integrität und Nachvollziehbarkeit von Forschungsdaten und -ergebnissen in den moder-nen Neuro- und Ingenieurwissenschaften, wie Maschinelles Lernen und Computer Vision, stellt eine große Herausforderung an das Datenmanagement und die Infrastruktur. Dieses Projekt wird eine kollaborative Datenverwaltungsplattform auf der Grundlage des Open-Source-Frameworks “DataJoint” einrichten, die sich sowohl für das Rapid Prototyping als auch für Durchführung von Analysen für Publikationen eignet und die Datenkonsistenz auf allen Ebenen sicherstellt. Das Projekt wird “DataJoint” neue Funktionalitäten hinzufügen, mit denen Daten flexibel und konsistent zwischen den Arbeitsgruppen und mit der Öffentlichkeit ausgetauscht werden können, und die die Reproduzierbarkeit von Forschungsergebnissen erhöhen.

Projektleitung

Philipp Berens
Fabian Sinz

Projekt T01: Physiologisch inspirierte robuste elektro-optische Autofokale

Projektbeschreibung

Nach dem 40. Lebensjahr leidet jeder Mensch an Alterssichtigkeit, die durch die Versteifung der Augenlinse verursacht wird und dazu führt, dass Objekte in der Nähe nicht mehr scharf gestellt werden können. Als Folge davon und aufgrund einer al-ternden Weltbevölkerung leiden etwa 1,8 Milliarden Menschen an verschwommenem Sehen im Nahbereich. Das Transfer-projekt legt seinen Fokus auf Autofocals, bei denen die Identifizierung eines zuverlässigen und schnellen Schätzers für ein Objekt von Interesse und dessen Entfernung auf der Grundlage physiologischer Informationen das fehlende Puzzleteil für den Markterfolg darstellt. Aufbauend auf den Erkenntnissen des CRC und dem Fachwissen der beteiligten Forscher wird das Transferprojekt einen dynamischen Prototypen erzeugen, der die Dioptrieneigenschaften je nach den Bedürfnissen des Sehsystems des Trägers verändert.

Projektleitung

Siegfried Wahl