Neural Networks and Memristive Hardware Accelerators
Modul Neural Networks and Memristive Hardware Accelerators (EuI-NES-E-NNMHA) und (EuI-IST-E-NNMHA)
Schnellübersicht
Inhalte (Inkl. Videos WS2024/2025)
Aktuelles
Einschreibung
Vorlesende
Dr.-Ing. Richard Schroedter
Dipl.-Ing. Steffen Seitz
Dr.-Ing. Carsten Knoll
Dr. Ahmet Samil Demirkol
Dr. Ioannis Messaris
Dr. Dimitrios Prousalis
Projektbetreuer
Dr.-Ing. Richard Schroedter,
Dipl.-Ing. Steffen Seitz,
Dr.-Ing. Carsten Knoll,
Dr. Ahmet Samil Demirkol,
Dr. Ioannis Messaris,
Dr. Dimitrios Prousalis,
Dr. Hongliu Yang,
M.Sc. Adnan Haidar,
Dipl.-Ing. Kilian Göller,
Allgemeine Informationen
Die Vorlesung richtet sich an Studierende im Hauptstudium (7. Semester) der Informationssystemtechnik (IST) und im Masterstudium (1. Semester) der Nanoelectronic Systems (NES).
Neuronale Netze sind dem menschlichen Gehirn nachempfunden und können viele schwierige Aufgaben wie Bild- und Spracherkennung sowie -erzeugung als auch autonomes Fahren bewältigen. Herkömmliche Computer-Hardware unterliegt dem von-Neumann Engpass zwischen CPU und Speicher, sodass neue Strategien zur Bewältigung des enormen Datenwachstums benötigt werden. Diesem Problem kann mit dem so genannten In-Memory-Computing begegnet werden, bei dem Speicherhardware zum Speichern und Berechnen von Daten in ein und demselben Gerät verwendet wird. Eine vielversprechende Lösung sind neuartige Materialien im Nanomaßstab die Widerstände mit Speicherfunktion haben, so genannte Memristoren.
In diesem Kurs werden die grundlegenden Konzepte des maschinellen Lernens und neuronaler Netze für verschiedene Datentypen wie Zeitreihen und Bilder vorgestellt. Die Teilnehmer lernen verschiedene Netzwerk-Lernmethoden, Optimierer und Verlustfunktionen kennen und verstehen, dass diese Methoden auf große Datenmengen angewiesen sind und dass die Rechenleistung ein limitierender Faktor bei der Entwicklung neuronaler Modelle ist.
Anschließend wird der Kurs eine Brücke von der Software zu Hardware-Beschleunigern für die Implementierung neuronaler Netze schlagen, die speziell auf memristiven Bauteilen basieren. Es werden die Grundlagen der Memristor-Theorie und ihre Anwendung in Crossbars, Logikschaltungen und Neuronen vorgestellt und Einblicke in die Konzepte des Crossbar-Mappings, der Peripherie und der Spiking Neural Networks gegeben.
Darüber hinaus lernen die Studierenden, die Sprache Python anzuwenden und grundlegende neuronale Modelle in Code zu implementieren, indem sie ML-bezogene Python-Bibliotheken wie PyTorch verwenden und memristive Schaltungen mit LTSpice simulieren.
Parallel zum Kurs werden die Studierenden ein eigenes Semesterprojekt mit Python oder SPICE bearbeiten und die Implementierungsergebnisse am Ende der Vorlesung vorstellen.
Am Ende des Semesters werden die Kenntnisse durch eine mündliche oder schriftliche Prüfung abgefragt werden.
Inhalte vom Wintersemester 2024/2025
-
Introduction to Neural Networks and Memristors Lecture video 1 (WS 2024/2025)
-
Machine Learning Lecture video 2 (WS 2024/2025)
-
Deep Neural Networks Lecture video 3 (WS 2024/2025)
-
Convolutional Neural Networks Lecture video 4 (WS 2024/2025)
-
PyTorch Tutorial Lecture video 5 (WS 2024/2025)
-
Sequential Neural Networks Lecture video 6 (WS 2024/2025)
-
Neural network hardware accelerators Lecture video 7 (WS 2024/2025)
-
Memristor circuit theory Lecture video 8 (WS 2024/2025)
-
SPICE tutorial Lecture video 9 (WS 2024/2025)
-
Memristor physics and modeling Lecture video 10 (WS 2024/2025)
-
Memristive crossbars and logic circuits Lecture video 11 (WS 2024/2025)
-
Crossbar mapping and performance Lecture video 12 (WS 2024/2025)
-
Memristive neurons Lecture video 13 (WS 2024/2025)
-
Spiking Neural Networks Lecture video 14 (WS 2024/2025)
Python Kurs
Aktuelles
Wintersemester 2025/2026:
- Vorlesung immer Dienstags 2. DS in TOE/317, Start: 14.10.2025
- Praktische Übung immer Freitags 2. DS, Start: 17.10.2025 online mit Python-Kurs online (siehe http://www.tu-dresden.de/pythonkurs , Einschreibung unter OPAL course "Python for Engineers"), später in Präsenz in TOE/317
- Semesterprojekt in Gruppen (Python/SPICE Programmieraufgabe + Präsentation)
Bitte registrieren Sie sich unter dem nachfolgenden OPAL-Link an.