Neural Networks and Memristive Hardware Accelerators
Modul Neural Networks and Memristive Hardware Accelerators (NES-22-E-NNMHA) und (IST-W-22-NNMHA)
Schnellübersicht
Inhalte (Videos)
Aktuelles
OPAL
Vorlesende
Dr.-Ing. Richard Schroedter
Dipl.-Ing. Steffen Seitz
Dr.-Ing. Carsten Knoll
Projektbetreuer
Dr.-Ing. Richard Schroedter,
Dipl.-Ing. Steffen Seitz,
Dr.-Ing. Carsten Knoll,
Dr. Ahmet Samil Demirkol,
Dr. Dimitrios Prousalis,
M.Sc. Adnan Haidar,
Dipl.-Ing. Kilian Göller,
Allgemeine Informationen
Die Vorlesung richtet sich an Studierende im Hauptstudium (7. Semester) der Informationssystemtechnik (IST) und im Masterstudium (1. Semester) der Nanoelectronic Systems (NES).
Neuronale Netze sind dem menschlichen Gehirn nachempfunden und können viele schwierige Aufgaben wie Bild- und Spracherkennung sowie -erzeugung als auch autonomes Fahren bewältigen. Herkömmliche Computer-Hardware unterliegt dem von-Neumann Engpass zwischen CPU und Speicher, sodass neue Strategien zur Bewältigung des enormen Datenwachstums benötigt werden. Diesem Problem kann mit dem so genannten In-Memory-Computing begegnet werden, bei dem Speicherhardware zum Speichern und Berechnen von Daten in ein und demselben Gerät verwendet wird. Eine vielversprechende Lösung sind neuartige Materialien im Nanomaßstab die Widerstände mit Speicherfunktion haben, so genannte Memristoren.
In diesem Kurs werden die grundlegenden Konzepte des maschinellen Lernens und neuronaler Netze für verschiedene Datentypen wie Zeitreihen und Bilder vorgestellt. Die Teilnehmer lernen verschiedene Netzwerk-Lernmethoden, Optimierer und Verlustfunktionen kennen und verstehen, dass diese Methoden auf große Datenmengen angewiesen sind und dass die Rechenleistung ein limitierender Faktor bei der Entwicklung neuronaler Modelle ist.
Anschließend wird der Kurs eine Brücke von der Software zu Hardware-Beschleunigern für die Implementierung neuronaler Netze schlagen, die speziell auf memristiven Bauteilen basieren. Es werden die Grundlagen der Memristor-Theorie und ihre Anwendung in Crossbars, Logikschaltungen und Neuronen vorgestellt und Einblicke in die Konzepte des Crossbar-Mappings, der Peripherie und der Spiking Neural Networks gegeben.
Darüber hinaus lernen die Studierenden, die Sprache Python anzuwenden und grundlegende neuronale Modelle in Code zu implementieren, indem sie ML-bezogene Python-Bibliotheken wie PyTorch verwenden und memristive Schaltungen mit LTSpice simulieren.
Parallel zum Kurs werden die Studierenden ein eigenes Semesterprojekt mit Python oder SPICE bearbeiten und die Implementierungsergebnisse am Ende der Vorlesung vorstellen.
Am Ende des Semesters werden die Kenntnisse durch eine mündliche oder schriftliche Prüfung abgefragt werden.
Inhalte
-
Introduction to Neural Networks and Memristors Lecture video 1 (WS 2024/2025)
-
Machine Learning Lecture video 2 (WS 2024/2025)
-
Deep Neural Networks Lecture video 3 (WS 2024/2025)
-
Convolutional Neural Networks Lecture video 4 (WS 2024/2025)
-
PyTorch Tutorial Lecture video 5 (WS 2024/2025)
-
Sequential Neural Networks Lecture video 6 (WS 2024/2025)
-
Neural network hardware accelerators Lecture video 7 (WS 2024/2025)
-
Memristor circuit theory Lecture video 8 (WS 2024/2025)
-
SPICE tutorial Lecture video 9 (WS 2024/2025)
-
Memristor physics and modeling Lecture video 10 (WS 2024/2025)
-
Memristive crossbars and logic circuits Lecture video 11 (WS 2024/2025)
-
Crossbar mapping and performance Lecture video 12 (WS 2024/2025)
-
Memristive neurons Lecture video 13 (WS 2024/2025)
-
Spiking Neural Networks Lecture video 14 (WS 2024/2025)
Python Kurs
Aktuelles
Wintersemester 2024/2025:
- Vorlesung in Präsenz Dienstags 2. DS in TOE/317, Start am 15.10.2024 (Vorlesungsvideos werden nachträglich zum Selbststudium zur Verfügung gestellt)
- Zusätzlicher Python for Engineers: online (http://www.tu-dresden.de/pythonkurs and OPAL course "Python for Engineers")
- Semesterprojekt in Gruppen (Python/SPICE Programmieraufgabe + Präsentation)
Bitte registrieren Sie sich unter dem nachfolgenden OPAL-Link an.