Uni-Tübingen

Projekte im SFB 1233 "Robustheit des Sehens"

Der SFB 1233 „Robustheit des Sehens“ ist unterteilt in vierzehn Forschungsprojekte (TP1-TP14), ein Mercator Projekt und eine Nachwuchsforschungsgruppe, die durch ein zentrales Koordinationsprojekt (TP-Z) unterstützt werden.

Projekt 1: Physikalische Modelle für Szeneninterpretation

Projektbeschreibung

In diesem Projekt entwickeln wir Modelle welche Bilder und Videos in eine physikalische und semantische Beschreibung überführen. Neben einer semantischen Beschreibung, z.B. Objektklasse und Funktion, schätzen wir physikalische Objekteigenschaften wie Gewicht, Reibungskoeffizienten, Form und Bewegung. Obwohl eine physikalische Beschreibung sehr robust für Szeneninterpretation ist, sind derzeitige Modelle nicht in der Lage physikalische Eigenschaften von Objekten robust zu erkennen. Wir erstellen neue Datensätze welche lernbasierte Modelle und eine empirische Validation ermöglichen. Das Ziel ist es, akkurate generative Szenenbeschreibungen mit diskriminativen Modellen zu verbinden.

Projektleitung

Projekt 2: Robuste Inferenz von Materialeigenschaften

Projektbeschreibung

Basierend auf statistischen Lernverfahren und generativen Modellen werden Methoden entwickelt, um unabhängig von der Blickrichtung und der Beleuchtung Materialtypen und Reflexionseigenschaften so zu bestimmen, dass neue Ansichten generiert werden können. Mittels kausaler Inferenz sollen weiterhin diejenigen visuellen Merkmale identifiziert werden, die für die robuste Unterscheidung von Materialien genutzt werden. Zum Training und zur Inferenz werden neue Datensätze exploriert, die systematisch die Aufnahmemodalitäten ändern: von Bildern und Videos zu Reflektanzfeldern in kontrollierter und unkontrollierter Beleuchtung.

Projektleitung

Projekt 3: Vergleich von robusten Sehleistungen von Mensch und Maschine

Projektbeschreibung

Biologische Sehsysteme ermöglichen es durch komplizierte Umgebungen zu navigieren und Objekte auch unter sehr variablen Bedingungen zu erkennen. Solche robusten Sehleistungen beruhen auf der Verwendung von visuellen Merkmalsräumen, welche die bedeutsamen Informationen über die Umgebung aus dem eingefangenen Lichtfeld extrahieren. In diesem Projekt werden wir ein psychophysikalisches Paradigma entwickeln, um die Sehleistung von Mensch und Maschine direkt und präzise vergleichen zu können. Den Vergleich werden wir im Rahmen von zwei Diskriminationsaufgaben durchführen, die Szenenverständnis bzw. Stil/Inhalt-Unterscheidungen erfordern. Wir werden zwei künstliche neuronale Netze („convolutional deep neural networks“) entwickeln, eines welches darauf optimiert ist, die Aufgabe möglichst korrekt zu beantworten und ein zweites, welches möglichst genau die menschliche Antwort vorhersagen kann. Anschließend benutzen wir die beiden Modelle um die Ähnlichkeit der Merkmale zu untersuchen, die von Mensch und Maschine verwendet werden.

Projektleitung

Projekt 4: Kausale Inferenz Strategien im visuellen System des Menschen

Projektbeschreibung

Seitdem kausale Inferenz als Problem des maschinellen Lernens aufgefasst wird, wurden auf diesem Gebiet in den letzten Jahren signifikante Fortschritte erzielt. In unserem Projekt kombinieren wir kausale Inferenz als Problem des maschinellen Lernens mit klassischer Psychophysik. Hierbei konzentrieren wir uns auf kausale Prozesse, die in der Zeit ablaufen. Die Zeit ist intrinsisch „asymmetrisch“, da die Ursache der Wirkung vorausgeht: Der Zeitpfeil. Das Ziel unseres Projekts ist festzustellen, ob und in welchem Maße das visuelle System des Menschen kausale Inferenz Strategien anwendet, um den Zeitpfeil zu identifizieren. Wir planen diese Frage auf verschiedenen Ebenen zu beantworten, von der Ebene einfacher Bewegungsreize eines auto-regressiven Prozesses bis hin zu Bewegungen, die intentionale Ursachen haben sowie kollektiven biologischen Ursprungs sind.

Projektleitung

Projekt 5: Aufgaben-abhängige Modulation der visuellen Verarbeitung

Projektbeschreibung

Wir untersuchen, unter welchen Bedingungen ein Reiz besser verarbeitet wird, wenn er Aufgaben-irrelevant ist, als wenn er relevant ist (indirect task advantage, ITA). Dafür werden wir ein generelles, statistisches Instrumentarium entwickeln und dieses auf Daten von Experimenten anwenden, die systematisch die Komplexität von Aufgaben variieren. Wir nehmen an, dass eine ITA vor allem bei einfachen Aufgaben auftritt. Mit den Ergebnissen werden wir kognitive Modelle zur ITA erstellen.

Projektleitung

Projekt 6: Probabilistische Inferenz im frühen visuellen Kortex

Projektbeschreibung

Computermodelle für Sehen und Wahrnehmungsentscheidungen verwenden hauptsächlich ‘feed-forward’ Verarbeitung, doch im Gehirn sind ‘feedback’ Verbindungen ebenfalls stark vertreten. In diesem Projekt werden wir die Bedeutung solcher ‘feedback’ Verbindungen für die Informationsverarbeitung im frühen visuellen Primatenkortex im Rahmen eines generativen Ansatzes von Wahrnehmungsinferenz untersuchen. Die Schlüsselhypothese besteht darin, dass eine Funktion von ‘feedback’ ist, kontextabhängige Information und Annahmen zu übermitteln und die Repräsentation sensorischer Information im Kortex entsprechend anzupassen. In unserem Projekt werden wir Humanpsychophysik, Ableitungen neuronaler Populationen in V1 und V2 in Makaken und Computermodelle verbinden und uns auf schnelle (innerhalb von Sekunden), kontextabhängige Änderungen dieser Annahmen konzentrieren.

Projektleitung

Projekt 7: Neuronale Interaktionen während natürlicher visueller Wahrnehmung

Projektbeschreibung

Lokale Eigenschaften natürlicher visueller Reize sind durch ihren raumzeitlichen Kontext vorhersagbar. Dieses Projekt wird die Hypothese testen, dass unser Gehirn diese Vorhersagbarkeit ausnutzt und kontinuierlich Reiz-Vorhersagen über Feedback-Verbindungen weiterleitet. Hierzu werden wir direkt vergleichbare elektrophysiologische Experimente an Menschen (MEG) und Affen (Aktionspotentiale, LFPs, EEG) durchführen. Mittels der gleichen Stimuli werden wir in beiden Spezies die Verarbeitung natürlicher und nicht-natürlicher Reize auf verschiedenen neuronalen Skalen untersuchen.

Projektleitung

Projekt 8: Robustes perzeptuelles Lernen: Die Rolle von Vorwissen und Schlaf

Projektbeschreibung

Robustes Sehen setzt voraus, dass sich die Informationsverarbeitung im visuellen System fortlaufend an Veränderungen in der Umwelt anpasst. Diese Anpassung geschieht auf unterschiedlichen Zeitebenen. Ein Beispiel für langsame Anpassungsprozesse über Tage und Wochen ist das sogenannte perzeptuelle Lernen, welches sich durch wiederholte Auseinandersetzung mit denselben Reizen entwickelt.

Obwohl zahlreiche Studien in den letzten 25 Jahren perzeptuelle Lernprozesse untersucht haben, sind deren neuronale Korrelate noch immer unklar. Weiterhin besteht aktuell kein Konsens darüber, ob und in welchem Ausmaß perzeptuelles Lernen generalisiert. Dabei widerspricht die traditionelle Annahme, das perzeptuelles Lernen hochgradig stimulusspezifisch sei, den zahlreichen Studien welche die Robustheit und Flexibilität visueller Informationsverarbeitung nachweisen.

Unser Projekt geht von der Grundannahme aus, dass die Generalisierung perzeptuellen Lernens das Vorhandensein von Vorwissen bzw. top-down-Informationen voraussetzt, welche mit der bottom-up-Verarbeitung im frühen visuellen System integriert werden müssen. Basierend auf dieser Grundannahme verfolgt das Projekt vier Ziele:

  • Wir werden untersuchen, ob flexibles perzeptuelles Lernen auf Vorwissen beruht.
  • Wir werden untersuchen, ob die Integration von traditionellem perzeptuellem Lernen und Vorwissen schlafabhängige Konsolidierungsprozesse voraussetzt.
  • Wir werden einen vergleichenden Forschungsansatz etablieren, in dem Menschen und nicht-humane Primaten mit denselben Lernprotokollen untersucht werden.
  • Wir werden unsere experimentellen Ansätze an aktuellen Computermodellen ausrichten, sodass unsere Ergebnisse auf algorithmischer Ebene interpretierbar sind.

Um diese Ziele zu erreichen, werden an gesunden Versuchspersonen sowohl Verhaltensstudien als auch Bildgebungsstudien mittels funktioneller Magnetresonanztomographie (fMRT) durchgeführt. Zusätzlich kommen beim Menschen hochaufgelöste EEG-Schlafmessungen zum Einsatz. Zeitgleich werden wir Schlafmessungen am Affen etablieren, um die bisher nicht beantwortete Frage zu untersuchen, ob perzeptuelles Lernen auch im Tiermodell schlafabhängig ist.

Gesamtziel unseres Projektes ist ein tieferes Verständnis langfristiger Lernprozesse im erwachsenen visuellen System und deren Beitrag zu robustem Sehen. Dieses Ziel integriert sich in die erste Zielsetzung des Sonderforschungsbereichs, da wir die Rolle von Feedback-Prozessen für Spezifität und Generalisierung perzeptuellen Lernens untersuchen.

Projektleitung

Projekt 9: Verarbeitung natürlicher dynamischer Reize im menschlichen Hirn

Projektbeschreibung

Die Evolution hat das visuelle System zur Analyse natürlicher Reize optimiert. Unsere Leithypothese ist, dass mehrere Funktionen wie auch Interaktionen zwischen dorsalen und ventralen visuellen Regionen von Interaktionen zwischen visueller Bewegung und Szeneninhalt abhängen wie sie in natürlichen Reizen vorkommen. Wir werden moderne computer vision, computer Graphik, humane Bildgebung mittels fMRI und maschinelles Lernen kombinieren, um regionale Funktionen und Konnektivität mittels natürlicher, dynamischer Reize zu charakterisieren, und um Hirnantworten mit tiefen neuronalen Netzwerken zu vergleichen.

Projektleitung

Projekt 10: Natürliche visuelle Reize für Mäuse: Statistik der natürlichen Umwelt und deren Repräsentation im visuellen System

Projektbeschreibung

Die verfügbare Verarbeitungskapazität des Gehirns an die Statistik der natürlichen Umgebung anzupassen, ist ein möglicher Mechanismus, eine optimale neuronale Kodierung und Robustheit visueller Verarbeitung zu ermöglichen. Obwohl Mäuse in den letzten Jahren ein wichtiges Modellsystem für visuelle Verarbeitung geworden sind, ist nur wenig über die Statistik ihrer natürlichen visuellen Umwelt bekannt. Das Ziel des Projekts besteht darin, eine Miniatur-Kamera zu entwickeln, um die natürliche Umwelt aus der Perspektive der Maus aufzuzeichnen und die Statistik dieser Videos dahingehend zu analysieren, in wieweit sich Anisotropien in der natürlichen Umgebung in den neuralen Repräsentationen im visuellen System widerspiegeln. Schließlich wird das Projekt auf der Basis dieser Videos neue, natürliche visuelle Stimuli generieren und mit deren Hilfe die neuronalen Antworten von retinalen Ganglienzellen und Nervenzellen im primären visuellen Kortex untersuchen.

Projektbeschreibung

Projekt 11: Ortsfeste Wahrnehmung trotz Fixationsaugenbewegungen: wo und wie wird das Bild stabilisiert?

Projektbeschreibung

Drei Arbeitsziele werden verfolgt: (1) die Hypothese, dass lokale subtraktive Verarbeitung, vielleicht bereits in der Retina, benutzt wird um einen fixierten Gegenstand gegen den Hintergrund trotz Fixationsaugenbewegungen ortsfest zu sehen. Räumliche Bildeigenschaften, deren Wichtung und Flächengrössen werden durch teilweise blickstabilisierte Darbietung mit psychophysischen Methoden und Blickrichtungsmessungen untersucht; (2) die Hypothese, dass retinale Bildverschiebungen aufgrund von Fixationsaugenbewegungen die Sehleistung verbessert. Sehschärfe, Kontrastempfindlichkeit unter blickstabiliserten, natürlichen, oder artifiziell hinzugefügten Augenbewegungen werden untersucht. Adaptation an diese Augenbewegungen wird untersucht, sowie der interokulare Transfer der Adaptation, um den Ort der perzeptuellen Stabilisierung einzugrenzen; (3) die Hypothese, dass Fixationsaugenbewegungen die Antworten von Neuronen in V1 und SC spezifisch beeinflussen, wird untersucht durch parallele Ableitungen von zwei retinalen Bereichen mit linearen Elektrodenanordnungen bei Rhesusaffen. Dabei werden unterschiedlich stark blickbewegungstabilisierte Reizgebungen verwendet.

Projektleitung

Projekt 12: Wie Bilder durch eine vollständige Ganglienzellpopulation an einem Ort der Retina verarbeitet werden

Projektbeschreibung

Die neuronalen Schaltkreise der Netzhaut (Retina) analysieren das ins Auge fallende Bild. Sie generieren daraus mehr als 30 spezialisierte „Beschreibungen“ (Repräsentationen), die von der gleichen Anzahl an retinalen Ganglienzelltypen an das Gehirn weitergeleitet werden. Ziel dieses Projekts ist es Modelle für die räumlich-zeitliche Bildverarbeitung in der Retina zu entwickeln, um deren Beitrag zum Problem der robusten visuellen Interferenz aufzudecken. Dazu werden wir Aktivitätsmessungen (Zwei-Photonen-Mikroskopie) in Ganglienzellen, anatomische Informationen und Netzwerkmodellierung („convolutional neural network“, CNN) kombinieren, um die funktionelle Vielfalt der parallelen Verarbeitung durch die Ganglienzelltypen besser zu verstehen. Zu diesem Zweck werden wir ein Daten-getriebenes Modell entwickeln, welches die Antwort einer lokal vollständigen Ganglienzellpopulation für natürliche Stimuli akkurat vorhersagen kann. Zusätzlich werden wir ein theoretisches Netzhautmodell entwickeln, von dem wir versuchen werden, die empirische gemessenen Ganglienzelleigenschaften aus Optimalitätsprinzipien abzuleiten. Dadurch erwarten wir generelle Prinzipien der visuellen Signalverarbeitung identifizieren zu können, aus denen sich der Nutzen der funktionellen Vielfalt der retinalen Ganglienzellen für verschiedenste natürliche visuelle Aufgaben erschließen lässt.

Projektleitung

Projekt 13: Visuelle Verarbeitung von Feedforward- und Feedback-Signalen im dLGN des Thalamus

Projektbeschreibung

Wie wird die Repräsentation visueller Information zwischen den neuronalen Populationen der Retina und des dLGN des Thalamus verändert? Welche Rolle spielt kortiko-thalamisches Feedback bei dieser Transformation? In diesem Projekt werden wir mit Hilfe von retrogradem Tracing und Zwei-Photonen-Kalzium-Mikroskopie eine funktionelle Charakterisierung der LGN-projizierenden retinalen Ganglienzelltypen durchführen. Aus einer gewichteten Kombination der hierbei gefundenen Ausgangssignale der Retina sollen in einem nächsten Schritt die Antworten elektrophysiologisch gemessener dLGN-Zellen auf den gleichen visuellen Reiz modelliert werden. Zusätzlich werden wir optogenetische Methoden einsetzen, um die Rolle von kortiko-thalamischem Feedback kausal zu untersuchen. Insgesamt wird das Projekt wird somit einen wichtigen Beitrag zu unserem Verständnis der prä-kortikalen Informationstransformation und deren Auswirkungen auf die Robustheit des visuellen Systems liefern.

Projektleitung

Projekt 14: Bildverarbeitungsalgorithmen für künstliche Sehsysteme

Projektbeschreibung

Die gesunde Retina wandelt räumliche visuelle Information in zeitliche Spikemuster von retinalen Ganglienzellen um. Obwohl diese Funktionalität in blinden Patienten mit Netzhautdegenerationen verloren geht, zeigen erste klinische Ergebnisse eine teilweise Wiederherstellung durch mikroelektronische Netzhautimplantate.

In diesem Projekt soll untersucht werden, wie Objekte in visuellen Szenen durch Dekodierung des retinalen Output identifiziert werden können und wie CNN-basierte Algorithmen optimiert werden können, um robuste Objekterkennung in blinden ex vivo Retinas und schließlich in blinden Patienten mit lichtsensitiven Implantaten durch elektrische Stimulationsmuster zu erzielen.

Projektleitung