BackPACK ist eine von Felix Dangel und Frederik Kunstner geschriebene Bibliothek, die auf PyTorch aufbaut, um es einfach zu machen, mehr Informationen aus einem Rückwärtspass zu extrahieren.

• Paper
• Website
• git repo
• documentation

Installieren mit  pip install backpack-for-pytorch

Geschrieben von Frank Schneider und Lukas Balles, bietet DeepOBS eine Benchmark-Suite für Methoden zur tiefgreifenden Lernoptimierung. Es soll Forschern helfen, den Prozess der Entwicklung neuer Optimierungsprogramme zu rationalisieren, indem es eine Sammlung von Testproblemen (Datensatz und Architektur) unterschiedlicher Komplexität, Basislinien für eine Vielzahl von Optimierungsprogrammen und sogar eine automatisierte Pipeline zur Erzeugung von Vergleichsplots in Papieren bietet.

• paper
• website
• git repo
• documentation

Installieren mit pip install deepobs

Ursprünglich von Philipp Hennig und Christian Schuler geschrieben, später von Edgar Klenske, Robert Eisele und anderen erweitert, ist die Entropie-Suche ein globales Optimierungs-/Experimentier-Rahmenwerk, das dazu dient, Informationen über die Lage des Extremums zu extrahieren, anstatt zu versuchen, niedrige Funktionswerte zu sammeln. 

• paper
• repository

Das Software-Paket wurde ursprünglich 2012 veröffentlicht und wird, obwohl danach wiederholt aktualisiert, nicht mehr gewartet. Der Open-Source-Code hat jedoch den Weg in Pakete von Drittanbietern, wie z.B. emukit, gefunden.

ProbNum implementiert probabilistische numerische Algorithmen, die numerische Fragestellungen aus der linearen Algebra, Optimierung, Integration und Differentialgleichungen mit Techniken aus der probabilistischen Inferenz lösen. Dieser Ansatz ermöglicht es Unsicherheit, die durch endliche Rechenressourcen und stochastischen Input entsteht, zu modellieren. Die Software wird primär von Jonathan Wenger, Nicholas Krämer und Nathanael Bosch entwickelt.

• Website und Dokumentation
• Code Repository

Installiere via pip install probnum.

laplace ist ein flexibles, PyTorch basiertes Package um Laplace Approximationen auf Neuronale Netzwerke anzuwenden. Es bietet effiziente und leicht zu implementierende A-posteriori, A-posteriori Predictive und Evidenz Approximationen. Hierdurch kann das Package für verbesserte Schätzungen der Unsicherheit von Vorhersagen, Modellauswahl und kontinuierlichem Lernen genutzt werden. Im Gegensatz zu anderen näherungsweise Bayesschen Methoden in Deep Learning muss das Neuronale Netz nicht neu trainiert werden.

• Paper
• Git Repo
• Dokumentation
• Beispiel Anwendungen

Installieren mit pip install laplace-torch