Fortgeschrittene Themen in der Informationstheorie
Wintersemester 2019 / 2020
| Umfang: | 3 SWS (2/1/0) |
| Dozent: | Dr. Martin Mittelbach |
| Lehrsprache: | deutsch |
| Abschluss: | schriftliche Prüfung über 120 Minuten |
| Einordnung: |
Bestandteil des Wahlpflichtmoduls Aufbaumodul Informationstheorie
|
Ort und Zeit
| Vorlesung | Mo | 3. DS | BAR 218 | |
| Übung | Di | 3. DS | 2. Wo | BAR 218 |
eventuelle Terminverschiebungen siehe Tabelle
Vorlesung
In der Einführungsvorlesung Informationstheorie werden zeitdiskrete gedächtnislose Modelle betrachtet und insbesondere für endliche Alphabete (abgesehen vom Gaußkanal mit reellen Alphabeten) werden Aussagen zu theoretischen Grenzen einer zuverlässigen Informationsübertragung mit asymptotisch unendlich langen Codewörtern hergeleitet.
Weiterführend dazu werden im ersten Teil dieser Lehrveranstaltung Übertragungsmodelle mit allgemeinerer Struktur, welche insbesondere Kanäle für beliebige Signalräume, Kanäle mit Gedächtnis und zeitkontinuierliche Kanäle einschließen, aus operationeller Perspektive informationstheoretisch untersucht. Neben der Herleitung von asymptotischen Aussagen zu maximal möglichen Coderaten (Codierungstheoreme) spielen vor allem auch die für die praktische Anwendung sehr wichtigen nicht-asymptotischen informationstheoretischen Resultate eine wichtige Rolle, beispielsweise zu maximal möglichen Coderaten bei endlicher Blocklänge.
Grundlage für die zentralen Ergebnisse der Lehrveranstaltung bildet die Behandlung erweiterter informationstheoretischer Modelle, Konzepte und Methoden (u.a. Informationsmaße für beliebige Alphabete, Informationsdichte, Ergodensatz der Informationstheorie, Feinsteins Lemma, Maximal-Codes, ε-Kapazität, ...).
Der zweite Teil der Lehrveranstaltung widmet sich weiteren relevanten und modernen (Forschungs)Themen aus dem Bereich der Informationstheorie. Die Inhalte werden aktuell und individuell (und nach Interesse der KursteilnehmerInnen) angepasst.
Voraussetzung für die Teilnahme an der Lehrveranstaltung:
Grundlagen der Informations- und Wahrscheinlichkeitstheorie, Interesse an abstrakten und mathematischen Konzepten und Methoden
Material zur Vorlesung
Zur Lehrveranstaltung wird ein Skript bereitgestellt. Weiteres Material siehe Tabelle.
Übung und Hausaufgaben
Zur Vertiefung des Vorlesungsstoffes und zur Illustration der theoretischen Inhalte werden in der Übung vielfältige Aufgaben und Rechenbeispiele detailliert behandelt. Zudem werden die allgemeinen Resultate der Vorlesung im Zusammenhang mit einer Reihe praktisch interessanter Spezialfälle und Aspekte diskutiert.
Zur Lösung und Veranschaulichung komplexerer Aufgaben wird mathematische Standardsoftware (Mathematica) eingesetzt. Die notwendigen Grundlagen zur Verwendung der Software werden in der Übung vermittelt.
Es besteht die Möglichkeit, durch die freiwillige Abgabe von Hausaufgaben Bonuspunkte für die Klausur zu erhalten.
Material zur Übung
siehe Tabelle
Termine
Die folgende Tabelle enthält alle Termine für Vorlesungen (V) und Übungen (Ü) sowie die entsprechenden Lehrmaterialien zu den einzelnen Veranstaltungen.
| Woche | Datum | DS | V / Ü | Bemerkung / Material |
|---|---|---|---|---|
| 42 | 14.10.2019 | 3. | V | Folien, Skript Kapitel 1, Skript Kapitel 2 (Teil) |
| 43 | 21.10.2019 | 3. | V | Folien, Beispiel Mathematica |
| 44 | 28.10.2019 | 3. | V | Folien, Skript Kapitel 2 (Update) |
| 45 | 04.11.2019 | 3. | V | Folien |
| 46 | 11.11.2019 | 3. | V | Folien |
| 47 | 18.11.2019 | 3. | V | Folien |
| 48 | 25.11.2019 | 3. | V | Folien, Skript Kapitel 3 |
| 49 | 02.12.2019 | 3. | V | Folien |
| 50 | 09.12.2019 | 3. | V | Folien |
| 51 | 16.12.2019 | 3. | V | Folien, Hausaufgaben |
| 52 | Jahreswechsel | |||
| 1 | Jahreswechsel | |||
| 2 | 06.01.2020 | 3. | V | Folien |
| 3 | 13.01.2020 | 3. | V | Folien, Skript Kapitel 4 |
| 4 | 20.01.2020 | 3. | V | Folien |
| 5 | 27.01.2020 | 3. | V | Folien |
| 6 | 03.02.2020 | 3. | V | Folien, Skript Kapitel 2 (Update), Skript Kapitel 5+6, Skript Anhang |
Prüfung
Die schriftliche Prüfung (120 Minuten) wird am Freitag, dem 21.02.2020, in der Zeit von 9:20 bis 11:20 Uhr (2./3. DS) im Raum GÖR/127/U stattfinden.
Zugelassene Hilfsmittel sind das Skript zur Lehrveranstaltung, Materialien aus Vorlesung
und Übung, eigene Aufzeichnungen zur Lehrveranstaltung, Bücher sowie Taschenrechner.
Literatur
Für die zentralen Inhalte der Lehrveranstaltung wird ein detailliertes Skript bereitgestellt. Ergänzende Literatur zu spezifischen Themen der Lehrveranstaltung wird im Laufe des Semesters angegeben. Darüber hinaus sei folgende weiterführende Literatur empfohlen:
-
Y. Polyanskiy and Y. Wu:
Lecture Notes on Information Theory
Massachusetts Institute of Technology, 2019. [Online]
-
M. S. Pinsker:
Information and Information Stability of Random Variables and Processes,
Holden-Day, 1964.
Deutsche Übersetzung:
Arbeiten zur Informationstheorie V: Information und Informationsstabilität zufälliger Größen und Prozesse, Deutscher Verlag der Wissenschaften, 1963.
Eine umfangreiche Literaturliste ist zudem folgender Dissertation zu entnehmen:
-
M. Mittelbach:
Coding Theorem and Memory Conditions for Abstract Channels with Time Structure,
TU Dresden, 2014. [Online]
Kontakt
Kommentare zur Vorlesung, zur Übung, zu den Aufgaben, zum Skript und allgemeine Anfragen bitte an:
Dr. Martin Mittelbach