Neural Networks and Memristive Hardware Accelerators
Modul Neural Networks and Memristive Hardware Accelerators (NES-22-E-NNMHA) und (IST-W-22-NNMHA)
Schnellübersicht
Vorlesende
Dr.-Ing. Richard Schroedter
Dipl.-Ing. Steffen Seitz
Dr.-Ing. Carsten Knoll
Allgemeine Informationen
Die Vorlesung richtet sich an Studierende im Hauptstudium (7. Semester) der Informationssystemtechnik (IST) und im Masterstudium (1. Semester) der Nanoelectronic Systems (NES).
Neuronale Netze sind dem menschlichen Gehirn nachempfunden und können viele schwierige Aufgaben wie Bild- und Spracherkennung sowie -erzeugung als auch autonomes Fahren bewältigen. Herkömmliche Computer-Hardware unterliegt dem von-Neumann Engpass zwischen CPU und Speicher, sodass neue Strategien zur Bewältigung des enormen Datenwachstums benötigt werden. Diesem Problem kann mit dem so genannten In-Memory-Computing begegnet werden, bei dem Speicherhardware zum Speichern und Berechnen von Daten in ein und demselben Gerät verwendet wird. Eine vielversprechende Lösung sind neuartige Materialien im Nanomaßstab die Widerstände mit Speicherfunktion haben, so genannte Memristoren.
In diesem Kurs werden die grundlegenden Konzepte des maschinellen Lernens und neuronaler Netze für verschiedene Datentypen wie Zeitreihen und Bilder vorgestellt. Die Teilnehmer lernen verschiedene Netzwerk-Lernmethoden, Optimierer und Verlustfunktionen kennen und verstehen, dass diese Methoden auf große Datenmengen angewiesen sind und dass die Rechenleistung ein limitierender Faktor bei der Entwicklung neuronaler Modelle ist.
Anschließend wird der Kurs eine Brücke von der Software zu Hardware-Beschleunigern für die Implementierung neuronaler Netze schlagen, die speziell auf memristiven Bauteilen basieren. Es werden die Grundlagen der Memristor-Theorie und ihre Anwendung in Crossbars, Logikschaltungen und Neuronen vorgestellt und Einblicke in die Konzepte des Crossbar-Mappings, der Peripherie und der Spiking Neural Networks gegeben.
Darüber hinaus lernen die Studierenden, die Sprache Python anzuwenden und grundlegende neuronale Modelle in Code zu implementieren, indem sie ML-bezogene Python-Bibliotheken wie PyTorch verwenden und memristive Schaltungen mit LTSpice simulieren.
Parallel zum Kurs werden die Studierenden ein eigenes Semesterprojekt mit Python oder SPICE bearbeiten und die Implementierungsergebnisse am Ende der Vorlesung vorstellen.
Am Ende des Semesters werden die Kenntnisse durch eine mündliche oder schriftliche Prüfung abgefragt werden.
Inhalte
-
Introduction to Neural Networks and Memristors
-
Machine Learning
-
Deep Neural Networks
-
Convolutional Neural Networks
-
Sequential Neural Networks
-
Neural network hardware accelerators
-
Memristor circuit theory
-
Memristor physics and modeling
-
Memristive crossbars and logic circuits
-
Memristive neurons
-
Spiking Neural Networks
Python Kurs
Aktuelles
Wintersemester 2023/2024:
- Vorlesung in Präsenz Dienstags 2. DS in TOE/317, Start am 10.10.2023 (Vorlesungsvideos werden nachträglich zum Selbststudium zur Verfügung gestellt)
- Zusätzlicher Python for Engineers: Dienstags 16:40-18:10 online (http://www.tu-dresden.de/pythonkurs and OPAL course "Python for Engineers")
- Semesterprojekt in Gruppen (Python/SPICE Programmieraufgabe + Präsentation)
Bitte registrieren Sie sich unter dem nachfolgenden OPAL-Link an.