Fortgesch­rittene Themen in der Informations­theorie

Wintersemester 2024 / 2025

Aktuelles

  • [10.09.2024] Einschreibung über OPAL
    Für die Teilnahme an der Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie ist die Einschreibung in den entsprechenden OPAL-Kurs unter folgendem Link erforderlich: ➔ OPAL-Einschreibung.
    Bitte schreiben Sie sich möglichst bis Sonntag, den 13.10.2024, ein, damit Sie alle erforderlichen Informationen zur Teilnahme erhalten.
  • [10.09.2024] Durchführung im Wintersemester 2024 / 2025
    Die Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie wird im Wintersemester 2024 / 2025 als Präsenz-Lehrveranstaltung durchgeführt. Die Lehrveranstaltung beginnt am Montag, dem 14.10.2024 in der 2. DS im Raum BAR 218 mit der ersten Vorlesung. In Absprache mit den Kursteilnehmer:innen besteht die Möglichkeit, die Lehrveranstaltung als Blockveranstaltung durchzuführen.

Ort und Zeit

Veranstaltung Tag Zeit Woche Ort
Vorlesung Mo 6. DS BAR 218
Übung Mo 7. DS BAR 218

eventuelle Terminverschiebungen siehe Tabelle

Hinweis: Die hier angegebenen Termine ermöglichen es, die Lehrveranstaltung als Blockveranstaltung durchzuführen. Der konkrete Ablauf wird in Absprache mit den Kursteilnehmer:innen festgelegt.

Vorlesung

In der Einführungsvorlesung Informationstheorie werden zeitdiskrete gedächtnislose Modelle betrachtet und insbesondere für endliche Alphabete (abgesehen von speziellen Kanälen mit reellen Alphabeten und Wahrscheinlichkeitsdichte, z. B. Gaußkanal) werden Aussagen zu theoretischen Grenzen einer zuverlässigen Informationsübertragung mit asymptotisch unendlich langen Codewörtern hergeleitet.

Weiterführend dazu werden im ersten Teil dieser Lehrveranstaltung Übertragungsmodelle mit allgemeinerer Struktur, welche insbesondere Kanäle für beliebige Signalräume, Kanäle mit Gedächtnis und zeitkontinuierliche Kanäle einschließen, aus operationeller Perspektive informationstheoretisch untersucht. Neben der Herleitung von asymptotischen Aussagen zu maximal möglichen Coderaten (Codierungstheoreme) spielen vor allem auch die für die praktische Anwendung sehr wichtigen nicht-asymptotischen informationstheoretischen Resultate eine wichtige Rolle, beispielsweise zu maximal möglichen Coderaten bei endlicher Blocklänge.

Grundlage für die zentralen Ergebnisse der Lehrveranstaltung bildet die Behandlung erweiterter informationstheoretischer Modelle, Konzepte und Methoden (u. a. Informationsmaße für beliebige Alphabete, Informationsdichte, Ergodensatz der Informationstheorie, Feinsteins Lemma, Maximal-Codes, ε-Kapazität, ...).

Der zweite Teil der Lehrveranstaltung widmet sich weiteren relevanten und modernen (Forschungs)Themen aus dem Bereich der Informationstheorie. Die Inhalte werden aktuell und individuell (und nach Interesse der Kursteilnehmer:innen) angepasst.

Voraussetzung für die Teilnahme an der Lehrveranstaltung:
Grundlagen der Informations- und Wahrscheinlichkeitstheorie, Interesse an abstrakten und mathematischen Konzepten und Methoden

Material zur Vorlesung

Zur Lehrveranstaltung wird ein Skript bereitgestellt. Weiteres Material siehe Tabelle.

Übung

Zur Vertiefung des Vorlesungsstoffes und zur Illustration der theoretischen Inhalte werden in der Übung vielfältige Aufgaben und Rechenbeispiele detailliert behandelt. Zudem werden die allgemeinen Resultate der Vorlesung im Zusammenhang mit einer Reihe praktisch interessanter Spezialfälle und Aspekte diskutiert.

Zur Lösung und Veranschaulichung komplexerer Beispiele wird mathematische Standardsoftware (u. a. Mathematica) eingesetzt.

Material zur Übung

siehe Tabelle

Termine

Die folgende Tabelle enthält alle Vorlesungs- und Übungstermine des Semesters sowie die Materialien zu Vorlesung und Übung.

Woche Datum DS Vorlesung Übung Bemerkung / Material
42 14.10.2024 2./3. X
17.10.2024 4./5. X
43 21.10.2024 2./3. X Folien,  Skript Kap. 1 
24.10.2024 4./5. X
44 28.10.2024 6./7. X Skript Kap. 2 (Teil) 
45 04.11.2024 6./7. X X Folien,  Illustration,   Skript Kap. 2 (Update),   Skript Kap. 3  
46 11.11.2024 6./7. X Aufgaben,  Folien,  Handout,  Lösung Aufgabe 6 
47 18.11.2024 6./7. X X einmalige Raumverlegung BAR E85
Aufgaben 
48 25.11.2024 6./7. X
49 02.12.2024 6./7. X X Anwendungsbeispiel,  Handout,  Hausaufgaben,  Folien
50 09.12.2024 6./7. X Aufgaben 
51 16.12.2024 6./7. X X Lösung Aufgabe 12c,  Lösung Aufgabe 14 
52 23.12.2024 6./7. − Weihnachtsferien
1 30.12.2024 6./7. − Weihnachtsferien
2 06.01.2025 6./7. X
3 13.01.2025 6./7. X X Folien,   Handout
4 20.01.2025 6./7. X Aufgaben,  Hausaufgaben 
5 27.01.2025 6./7. X X Folien
6 03.02.2025 6./7. X Folien,   Skript

Prüfung

Die schriftliche Prüfung wird in der Prüfungszeit des Semesters stattfinden.

Literatur

Für die zentralen Inhalte der Lehrveranstaltung wird ein detailliertes Skript bereitgestellt. Ergänzende Literatur zu spezifischen Themen der Lehrveranstaltung wird im Laufe des Semesters angegeben. Darüber hinaus sei folgende weiterführende Literatur empfohlen:

  • Y. Polyanskiy and Y. Wu:
    Lecture Notes on Information Theory
    Massachusetts Institute of Technology, 2019. [Online]
  • M. S. Pinsker:
    Information and Information Stability of Random Variables and Processes,
    Holden-Day, 1964.
    Deutsche Übersetzung:
    Arbeiten zur Informationstheorie V: Information und Informationsstabilität zufälliger Größen und Prozesse, Deutscher Verlag der Wissenschaften, 1963.

Eine umfangreiche Literaturliste ist zudem folgender Dissertation zu entnehmen:

  • M. Mittelbach:
    Coding Theorem and Memory Conditions for Abstract Channels with Time Structure,
    TU Dresden, 2014. [Online]

Kontakt

Kommentare zur Vorlesung, zur Übung, zu den Aufgaben, zum Skript und allgemeine Anfragen bitte an:
Dr. Martin Mittelbach

About this page

Web Team ITML
Last modified: Nov 12, 2024