Fortgeschrittene Themen in der Informationstheorie
Wintersemester 2020 / 2021
| Umfang: | 3 SWS (2/1/0) |
| Dozent: | Dr. Martin Mittelbach |
| Lehrsprache: | deutsch |
| Abschluss: | schriftliche Prüfung über 120 Minuten |
| Einordnung: |
Bestandteil des Wahlpflichtmoduls Aufbaumodul Informationstheorie
|
| OPAL-Webseite: | https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/26475397125 |
Aktuelles
-
[26.10.2020]
Liebe Studierende, wenn Sie Interesse am Besuch der Lehrveranstaltung haben, sich jedoch nicht bis zur Einschreibefrist (23.10.2020) in den OPAL-Kurs der Lehrveranstaltung eingeschrieben haben, dann setzen Sie sich bitte per E-Mail mit dem Dozenten in Verbindung. -
[23.09.2020] Einschreibung über OPAL erforderlich
Für die Teilnahme an der Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie ist die Einschreibung in den entsprechenden OPAL-Kurs bis zum 23. Oktober 2020 unter folgendem Link erforderlich: ➔ OPAL-Einschreibung.
Ort und Zeit
| Vorlesung | Mo | 3. DS | BAR 218 | |
| Übung | Di | 3. DS | 2. Wo | BAR 218 |
eventuelle Terminverschiebungen siehe Tabelle
Vorlesung
In der Einführungsvorlesung Informationstheorie werden zeitdiskrete gedächtnislose Modelle betrachtet und insbesondere für endliche Alphabete (abgesehen von speziellen Kanälen mit reellen Alphabeten und Wahrscheinlichkeitsdichte, z.B. Gaußkanal) werden Aussagen zu theoretischen Grenzen einer zuverlässigen Informationsübertragung mit asymptotisch unendlich langen Codewörtern hergeleitet.
Weiterführend dazu werden im ersten Teil dieser Lehrveranstaltung Übertragungsmodelle mit allgemeinerer Struktur, welche insbesondere Kanäle für beliebige Signalräume, Kanäle mit Gedächtnis und zeitkontinuierliche Kanäle einschließen, aus operationeller Perspektive informationstheoretisch untersucht. Neben der Herleitung von asymptotischen Aussagen zu maximal möglichen Coderaten (Codierungstheoreme) spielen vor allem auch die für die praktische Anwendung sehr wichtigen nicht-asymptotischen informationstheoretischen Resultate eine wichtige Rolle, beispielsweise zu maximal möglichen Coderaten bei endlicher Blocklänge.
Grundlage für die zentralen Ergebnisse der Lehrveranstaltung bildet die Behandlung erweiterter informationstheoretischer Modelle, Konzepte und Methoden (u.a. Informationsmaße für beliebige Alphabete, Informationsdichte, Ergodensatz der Informationstheorie, Feinsteins Lemma, Maximal-Codes, ε-Kapazität, ...).
Der zweite Teil der Lehrveranstaltung widmet sich weiteren relevanten und modernen (Forschungs)Themen aus dem Bereich der Informationstheorie. Die Inhalte werden aktuell und individuell (und nach Interesse der KursteilnehmerInnen) angepasst.
Voraussetzung für die Teilnahme an der Lehrveranstaltung:
Grundlagen der Informations- und Wahrscheinlichkeitstheorie, Interesse an abstrakten und mathematischen Konzepten und Methoden
Material zur Vorlesung
Zur Lehrveranstaltung wird ein Skript bereitgestellt. Weiteres Material siehe Tabelle.
Übung und Hausaufgaben
Zur Vertiefung des Vorlesungsstoffes und zur Illustration der theoretischen Inhalte werden in der Übung vielfältige Aufgaben und Rechenbeispiele detailliert behandelt. Zudem werden die allgemeinen Resultate der Vorlesung im Zusammenhang mit einer Reihe praktisch interessanter Spezialfälle und Aspekte diskutiert.
Zur Lösung und Veranschaulichung komplexerer Aufgaben und Beispiele wird mathematische Standardsoftware (u.a. Mathematica) eingesetzt. Die notwendigen Grundlagen zur Verwendung der Software werden in der Übung vermittelt.
Es besteht die Möglichkeit, durch die freiwillige Abgabe von Hausaufgaben Bonuspunkte für die Klausur zu erhalten.
Material zur Übung
siehe Tabelle
Termine
Die folgende Tabelle enthält alle Termine für Vorlesungen (V) und Übungen (Ü) sowie die entsprechenden Lehrmaterialien zu den einzelnen Veranstaltungen.
| Woche | Datum | DS | V / Ü | Bemerkung / Material |
|---|---|---|---|---|
| 44 | 26.10.2020 | 3. | V | Folien, Skript Kapitel 1, Skript Kapitel 2 (Teil) |
| 45 | 02.11.2020 | 3. | V | Folien |
| 46 | 09.11.2020 | 3. | V | Folien, Illustration Mathematica (CDF), Illustration Mathematica (PDF) |
| 47 | 16.11.2020 | 3. | V | Folien |
| 48 | 23.11.2020 | 3. | V/Ü | Aufgaben, Lösung Aufgabe 7, Lösung Aufgabe 8, Hausaufgaben, Folien, Skript (2.3.7) |
| 49 | 30.11.2019 | 3. | Lösung Aufgabe 9d, Illustration Aufgabe 9d (CDF), Illustration Aufgabe 9d (PDF), Lösung Aufgabe 10 | |
| 50 | 07.12.2020 | 3. | V | Folien |
| 51 | 14.12.2020 | 3. | V | Online-Lehre |
| 52 | Jahreswechsel | |||
| 53 | Jahreswechsel | |||
| 1 | 04.01.2021 | 3. | V |
Online-Lehre Anwendung Integralformel Mathematische Grundlagen Handout 1, Handout 2, Handout 3 |
| 2 | 11.01.2021 | 3. | V |
Online-Lehre Folien, Handout, Mathematische Grundlagen, Skript Anhang |
| 3 | 18.01.2021 | 3. | V |
Online-Lehre Folien, Beweis Ergodentheorem |
| 4 | 25.01.2021 | 3. | V |
Online-Lehre Folien |
| 5 | 01.02.2021 | 3. | V |
Online-Lehre Folien, Skript Kapitel 2 (update), Skript Kapitel 4, Skript Kapitel 5+6 |
Prüfung
Die schriftliche Prüfung wird in der Prüfungszeit des Semesters stattfinden.
Literatur
Für die zentralen Inhalte der Lehrveranstaltung wird ein detailliertes Skript bereitgestellt. Ergänzende Literatur zu spezifischen Themen der Lehrveranstaltung wird im Laufe des Semesters angegeben. Darüber hinaus sei folgende weiterführende Literatur empfohlen:
-
Y. Polyanskiy and Y. Wu:
Lecture Notes on Information Theory
Massachusetts Institute of Technology, 2019. [Online]
-
M. S. Pinsker:
Information and Information Stability of Random Variables and Processes,
Holden-Day, 1964.
Deutsche Übersetzung:
Arbeiten zur Informationstheorie V: Information und Informationsstabilität zufälliger Größen und Prozesse, Deutscher Verlag der Wissenschaften, 1963.
Eine umfangreiche Literaturliste ist zudem folgender Dissertation zu entnehmen:
-
M. Mittelbach:
Coding Theorem and Memory Conditions for Abstract Channels with Time Structure,
TU Dresden, 2014. [Online]
Kontakt
Kommentare zur Vorlesung, zur Übung, zu den Aufgaben, zum Skript und allgemeine Anfragen bitte an:
Dr. Martin Mittelbach