Im Campus-Vorlesungsverzeichnis

Beschreibung:

In der Vorlesung werden die wichtigsten Konzepte und Modelle von "tiefen neuronalen Netzen" vermittelt, angelehnt an das Lehrbuch "Deep Learning" von Goodfellow, Bengio und Courville. Diese Netzmodelle sind derzeit Spitzenreiter in der Erkennungsleistung für viele Probleme des maschinellen Lernens, von Objekterkennung, Bildsegmentation, Spracherkennung, Handschrifterkennung bis zur Zeitreihenanalyse von Finanzdaten. Sie werden von nahezu allen Autoherstellern für Fahrerunterstützungssysteme und zum autonomen Fahren eingesetzt, von Internet-Firmen zum semantischen Labelling von Bilddaten und in mobilen Assistenten wie Siri, Cortana oder Google Now.

Nach einer Einführung in das Thema werden zuerst mathematische Grundlagen behandelt: Lineare Algebra, Wahrscheinlichkeitsrechnung, Numerische Grundlagen und Grundlagen des maschinellen Lernens. Danach werden tiefe neuronale Netze und Verfahren wie Backpropagation behandelt, anschließend Regularisierungstechniken für tiefe neuronale Netze (die deren Generalisierungsleistung auf unbekannten Testdaten verbessern). Es folgen Optimierungsverfahren zum Training tiefer neuronaler Netze und ein Kapitel über sog. Convolutional Neural Networks (CNNs). Geplant sind weiter Kapitel über Rekurrente Netze, Methodik in der Praxis und ein Anwendungskapitel. Am Ende werden konkrete Architekturen tiefer neuronaler Netze noch speziell besprochen, z.B. AlexNet, GoogleNet, Yolo, Residual Networks, DenseNet.

Die Vorlesung deckt ca. die Hälfte des 800-seitigen Lehrbuchs ab und hält sich sehr eng an dieses.

In der Übung werden die in der Vorlesung erworbenen theoretischen Kenntnisse durch Lösung praktischer Aufgaben vertieft, dabei soll neben eigenen Programmieraufgaben in Python die Softwareumgebung Google Tensorflow eingesetzt werden.

Die Vorlesung wurde im SS 2017 zum ersten Mal gehalten, daher sind noch Fehler im Skript zu erwarten.

Voraussetzungen:

Die Vorlesung richtet sich an Masterstudenten!
Es werden gute Mathematikkenntnisse (mindestens "gut" in Mathematik I - III) vorausgesetzt.
Der Stoff ist sehr umfangreich und enthält viele Formeln (und zu viel Text auf den Folien).
Python-Programmierkenntnisse werden vorrausgesetzt.

Anmeldung (Verpflichtend):

Über ILIAS: Vorlesung Deep Neural Networks

Literatur:

• Skriptum der Vorlesung (wird jeweils als PDF vor der Vorlesung in Ilias zur Verfügung gestellt)
• Ian Goodfellow, Yoshua Bengio, Aaron de Courville: Deep Learning, MIT Press, 2016.
  Das Buch ist im WWW online verfügbar, siehe
• http://www.deeplearningbook.org/

Übungen zur Vorlesung Deep Neural Networks

Bemerkungen:

• Für die Übungen sind 2er Gruppen vorgesehen.
• Die Zusammensetzung der Übungsgruppen darf nur in begründeten Ausnahmefällen verändert werden.
• Die Abgabe der Übungsblätter erfolgt bevorzugt in Papierform vor Beginn der Vorlesung, mehrere Blätter müssen getackert oder mit Büroklammern versehen sein.
• Schreiben Sie auf jedes Blatt die Namen beider Studenten der Übungsgruppe.
• Achten Sie bitte auf eine korrekte deutsche oder englische Rechtschreibung.