Fortgeschrittene Themen in der Informationstheorie
Wintersemester 2023 / 2024
Umfang: | 3 SWS (2/1/0) |
---|---|
Dozent: | Dr. Martin Mittelbach |
Lehrsprache: | deutsch |
Abschluss: | schriftliche Prüfung über 120 Minuten |
Einordnung: |
Bestandteil des Wahlpflichtmoduls Aufbaumodul Informationstheorie
|
OPAL-Webseite: | https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/26475397125 |
Aktuelles
-
[29.09.2023] Beginn Lehrveranstaltung Dienstag, 10.10.2023, 3. DS, Raum GÖR 127
Aufgrund von Bauarbeiten im Raum BAR 218 entfällt die Vorlesung am Montag, den 09.10.2023. Die Lehrveranstaltung beginnt am Dienstag, den 10.10.2023 in der 3. DS im Raum GÖR 127 mit der ersten Vorlesung. -
[29.09.2023] Einschreibung über OPAL
Für die Teilnahme an der Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie ist die Einschreibung in den entsprechenden OPAL-Kurs unter folgendem Link erforderlich: ➔ OPAL-Einschreibung.
Bitte schreiben Sie sich bis Montag, den 09.10.2023, ein, damit Sie alle erforderlichen Informationen zur Teilnahme erhalten. -
[29.09.2023] Durchführung im Wintersemester 2023/2024
Die Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie wird im Wintersemester 2023/2024 als Präsenz-Lehrveranstaltung durchgeführt.
Ort und Zeit
Veranstaltung Tag Zeit Woche Ort Vorlesung Mo 3. DS BAR 218 Übung Di 3. DS 1. Wo GÖR 127 Zusatz Fr 3. / 4. DS 1. Wo GÖR 229 eventuelle Terminverschiebungen siehe Tabelle
Vorlesung
In der Einführungsvorlesung Informationstheorie werden zeitdiskrete gedächtnislose Modelle betrachtet und insbesondere für endliche Alphabete (abgesehen von speziellen Kanälen mit reellen Alphabeten und Wahrscheinlichkeitsdichte, z.B. Gaußkanal) werden Aussagen zu theoretischen Grenzen einer zuverlässigen Informationsübertragung mit asymptotisch unendlich langen Codewörtern hergeleitet.
Weiterführend dazu werden im ersten Teil dieser Lehrveranstaltung Übertragungsmodelle mit allgemeinerer Struktur, welche insbesondere Kanäle für beliebige Signalräume, Kanäle mit Gedächtnis und zeitkontinuierliche Kanäle einschließen, aus operationeller Perspektive informationstheoretisch untersucht. Neben der Herleitung von asymptotischen Aussagen zu maximal möglichen Coderaten (Codierungstheoreme) spielen vor allem auch die für die praktische Anwendung sehr wichtigen nicht-asymptotischen informationstheoretischen Resultate eine wichtige Rolle, beispielsweise zu maximal möglichen Coderaten bei endlicher Blocklänge.
Grundlage für die zentralen Ergebnisse der Lehrveranstaltung bildet die Behandlung erweiterter informationstheoretischer Modelle, Konzepte und Methoden (u.a. Informationsmaße für beliebige Alphabete, Informationsdichte, Ergodensatz der Informationstheorie, Feinsteins Lemma, Maximal-Codes, ε-Kapazität, ...).
Der zweite Teil der Lehrveranstaltung widmet sich weiteren relevanten und modernen (Forschungs)Themen aus dem Bereich der Informationstheorie. Die Inhalte werden aktuell und individuell (und nach Interesse der KursteilnehmerInnen) angepasst.
Voraussetzung für die Teilnahme an der Lehrveranstaltung:
Grundlagen der Informations- und Wahrscheinlichkeitstheorie, Interesse an abstrakten und mathematischen Konzepten und MethodenMaterial zur Vorlesung
Zur Lehrveranstaltung wird ein Skript bereitgestellt. Weiteres Material siehe Tabelle.
Übung
Zur Vertiefung des Vorlesungsstoffes und zur Illustration der theoretischen Inhalte werden in der Übung vielfältige Aufgaben und Rechenbeispiele detailliert behandelt. Zudem werden die allgemeinen Resultate der Vorlesung im Zusammenhang mit einer Reihe praktisch interessanter Spezialfälle und Aspekte diskutiert.
Zur Lösung und Veranschaulichung komplexerer Beispiele wird mathematische Standardsoftware (u.a. Mathematica) eingesetzt.
Material zur Übung
siehe Tabelle
Termine
Die folgende Tabelle enthält alle Termine für Vorlesungen (V) und Übungen (Ü) sowie die entsprechenden Lehrmaterialien zu den einzelnen Veranstaltungen.
Woche Datum DS V / Ü Bemerkung / Material 41 09.10.2023 3. - entfällt wegen Bauarbeiten im Raum BAR 218 42 16.10.2023 3. V 43 23.10.2023 3. V Folien, Skript Kap. 1, Skript Kap. 2 (Teil) 44 30.10.2023 3. V Folien, Handout Transinformation, Skript Kap. 3 45 06.11.2023 3. V 46 13.11.2023 3. V Handout bedingte Transinformation / Informationsdichte / Eigenschaften, Folien 47 20.11.2023 3. V 48 27.11.2023 3. V 49 04.12.2023 3. V Handout Transinformationsrate 50 11.12.2023 3. V Folien, Hausaufgaben 51 18.12.2023 3. - 52 25.12.2023 3. - Jahreswechsel 1 01.01.2024 3. - Jahreswechsel 2 08.01.2024 3. V Folien 3 15.01.2024 3. - 4 22.01.2024 3. V 5 29.01.2024 3. -
Prüfung
Die schriftliche Prüfung wird in der Prüfungszeit des Semesters stattfinden.
Literatur
Für die zentralen Inhalte der Lehrveranstaltung wird ein detailliertes Skript bereitgestellt. Ergänzende Literatur zu spezifischen Themen der Lehrveranstaltung wird im Laufe des Semesters angegeben. Darüber hinaus sei folgende weiterführende Literatur empfohlen:
-
Y. Polyanskiy and Y. Wu:
Lecture Notes on Information Theory
Massachusetts Institute of Technology, 2019. [Online]
-
M. S. Pinsker:
Information and Information Stability of Random Variables and Processes,
Holden-Day, 1964.
Deutsche Übersetzung:
Arbeiten zur Informationstheorie V: Information und Informationsstabilität zufälliger Größen und Prozesse, Deutscher Verlag der Wissenschaften, 1963.
Eine umfangreiche Literaturliste ist zudem folgender Dissertation zu entnehmen:
-
M. Mittelbach:
Coding Theorem and Memory Conditions for Abstract Channels with Time Structure,
TU Dresden, 2014. [Online]
Kontakt
Kommentare zur Vorlesung, zur Übung, zu den Aufgaben, zum Skript und allgemeine Anfragen bitte an:
Dr. Martin Mittelbach
-
Y. Polyanskiy and Y. Wu: