MoSim - Modellierung und Simulation II (SoSe 2018)
Erster Teil: MoSim I
Dozent
Jun.-Prof. Dr. Christian Mendl, WIL B211
Email:
Zeit und Ort
- Di. 11:10 – 12:40 Uhr (3. DS)
WIL C204 - Do. 11:10 – 12:40 Uhr (3. DS)
WIL C129 und PC-Pool
Übung integriert.
Inhalt und Gliederung
- Artificial Neural Networks
- Deep Reinforcement Learning
Skript
Mitschrift angefertigt von Jonas Hippold: PDF
Prüfung
Schriftliche Abschlussprüfung über beide Semester
Termin: 03.08.2018 (2. und 3. Doppelstunde)
Bitte formlosen Antrag auf (nachträgliche) Anmeldung bei Frau Karola Schreiter stellen, falls noch nicht erledigt.
Probeklausur
Angabe: PDF (passwortgeschützt)
Musterlösung: PDF (passwortgeschützt)
Übungsblätter
Blatt08.pdf (Klassen in Python, Perzeptron und NAND-Gate, Backpropagation), Abgabe: 19. April 2018
- Source-Code zu A21: classes_demo.py
- Lösungsvorschlag zur Tutoraufgabe: backpropagation.pdf
Blatt09.pdf (Klassifizierung handschriftlicher Ziffern, Cross-entropy Kostenfunktion, Universalität), Abgabe: 3. Mai 2018
- Dateien für A23: mnist_ann.zip
Blatt10.pdf (Optimiertes Trainieren, instabile Gradienten bei tiefen Netzen, Backpropagation für komplexwertige Netze), Abgabe: 17. Mai 2018
- Dateien für A25: improved_learning.zip
- Lösungsvorschlag zur Tutoraufgabe: complex_backpropagation.pdf
Blatt11.pdf (Faltung mittels FFT, Modulare Implementierung neuronaler Netze, Convolutional Layer zur Bildbearbeitung), Abgabe: 7. Juni 2018
- Source-Code zu A27b: convolution.py
- Dateien für A28: modular_net.zip
- Source-Code zur Tutoraufgabe: image_filters.zip
Blatt12.pdf (Modulare Implementierung neuronaler Netze Teil 2, Artistic Style Transfer, Visualisierung von Klassifikations-Netzwerken), Abgabe: 21. Juni 2018
- Dateien für A29: modular_net2.zip
- Dateien für A30c: style_transfer.zip
- Source-Code zur Tutoraufgabe: class_visualization.zip
Blatt13.pdf (Recurrent Neural Networks: manuelle Konstruktion und Implementierung, Value-Iteration für die Bellman-Gleichung), Abgabe: 5. Juli 2018
- Dateien für A32: char_rnn.zip
Abgabe in Gruppen (bis zu 3 Personen) erlaubt.
Zulassung zur Prüfung erfordert mindestens die Hälfte der maximal erreichbaren Hausaufgabenpunkte.
Vorlesungsmaterial
- Folien Einführung und Überblick: PDF
- Folien Convolutional Neural Networks (CNNs) Überblick: PDF
- tensorflow_intro.zip Jupyter Notebook
- RNN-Textgenerierung mittels TensorFlow von Robert Walter
OPAL
Die entsprechende OPAL-Seite zur Vorlesung (für Einschreibung etc) findet sich hier.
Literatur
- Michael Nielsen
Neural Networks and Deep Learning
Determination Press (2015) -
Ian Goodfellow, Yoshua Bengio, and Aaron Courville
Deep Learning
MIT Press (2016) -
L. A. Gatys, A. S. Ecker, M. Bethge
Image style transfer using convolutional neural networks. IEEE (2016)
PDF - Andrej Karpathy
The Unreasonable Effectiveness of Recurrent Neural Networks (2015) - Christopher Olah
Understanding LSTM Networks (2015) - V. Mnih, K. Kavukcuoglu, D. Silver et al. Human-level control through deep reinforcement learning. Nature 518, 529 (2015) PDF
- D. Silver, J. Schrittwieser, K. Simonyan et at. Mastering the game of Go without human knowledge. Nature 550, 354–359 (2017) PDF