Fortgeschrittene Themen in der Informationstheorie
Wintersemester 2022 / 2023
| Umfang: | 3 SWS (2/1/0) |
|---|---|
| Dozent: | Dr. Martin Mittelbach |
| Lehrsprache: | Deutsch |
| Abschluss: | schriftliche Prüfung über 120 Minuten |
| Einordnung: |
Bestandteil des Wahlpflichtmoduls Aufbaumodul Informationstheorie
|
| OPAL-Webseite: | https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/26475397125 |
Aktuelles
-
[28.09.2022] Einschreibung über OPAL
Für die Teilnahme an der Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie ist die Einschreibung in den entsprechenden OPAL-Kurs unter folgendem Link erforderlich: ➔ OPAL-Einschreibung.
Bitte schreiben Sie sich bis Montag, den 10.10.2022, ein, damit Sie alle erforderlichen Informationen zur Teilnahme erhalten. -
[28.09.2022] Durchführung im Wintersemester 2022/2023
Die Lehrveranstaltung Fortgeschrittene Themen in der Informationstheorie wird im Wintersemester 2022/2023 als Präsenz-Lehrveranstaltung durchgeführt. Bitte beachten Sie die ➔ zentralen Vorgaben und Hinweise der Universität zur Durchführung von Präsenz-Lehrveranstaltungen während der SARS-Cov-2-Pandemie.
Ort und Zeit
| Veranstaltung | Tag | Zeit | Woche | Ort |
|---|---|---|---|---|
| Vorlesung | Mo | 3. DS | BAR 218 | |
| Übung | Di | 3. DS | 2. Wo | BAR 218 |
eventuelle Terminverschiebungen siehe Tabelle
Vorlesung
In der Einführungsvorlesung Informationstheorie werden zeitdiskrete gedächtnislose Modelle betrachtet und insbesondere für endliche Alphabete (abgesehen von speziellen Kanälen mit reellen Alphabeten und Wahrscheinlichkeitsdichte, z.B. Gaußkanal) werden Aussagen zu theoretischen Grenzen einer zuverlässigen Informationsübertragung mit asymptotisch unendlich langen Codewörtern hergeleitet.
Weiterführend dazu werden im ersten Teil dieser Lehrveranstaltung Übertragungsmodelle mit allgemeinerer Struktur, welche insbesondere Kanäle für beliebige Signalräume, Kanäle mit Gedächtnis und zeitkontinuierliche Kanäle einschließen, aus operationeller Perspektive informationstheoretisch untersucht. Neben der Herleitung von asymptotischen Aussagen zu maximal möglichen Coderaten (Codierungstheoreme) spielen vor allem auch die für die praktische Anwendung sehr wichtigen nicht-asymptotischen informationstheoretischen Resultate eine wichtige Rolle, beispielsweise zu maximal möglichen Coderaten bei endlicher Blocklänge.
Grundlage für die zentralen Ergebnisse der Lehrveranstaltung bildet die Behandlung erweiterter informationstheoretischer Modelle, Konzepte und Methoden (u.a. Informationsmaße für beliebige Alphabete, Informationsdichte, Ergodensatz der Informationstheorie, Feinsteins Lemma, Maximal-Codes, ε-Kapazität, ...).
Der zweite Teil der Lehrveranstaltung widmet sich weiteren relevanten und modernen (Forschungs)Themen aus dem Bereich der Informationstheorie. Die Inhalte werden aktuell und individuell (und nach Interesse der KursteilnehmerInnen) angepasst.
Voraussetzung für die Teilnahme an der Lehrveranstaltung:
Grundlagen der Informations- und Wahrscheinlichkeitstheorie, Interesse an abstrakten und mathematischen Konzepten und Methoden
Material zur Vorlesung
Zur Lehrveranstaltung wird ein Skript bereitgestellt. Weiteres Material siehe Tabelle.
Übung
Zur Vertiefung des Vorlesungsstoffes und zur Illustration der theoretischen Inhalte werden in der Übung vielfältige Aufgaben und Rechenbeispiele detailliert behandelt. Zudem werden die allgemeinen Resultate der Vorlesung im Zusammenhang mit einer Reihe praktisch interessanter Spezialfälle und Aspekte diskutiert.
Zur Lösung und Veranschaulichung komplexerer Beispiele wird mathematische Standardsoftware (u.a. Mathematica) eingesetzt.
Material zur Übung
siehe Tabelle
Termine
Die folgende Tabelle enthält alle Termine für Vorlesungen (V) und Übungen (Ü) sowie die entsprechenden Lehrmaterialien zu den einzelnen Veranstaltungen.
| Woche | Datum | DS | V / Ü | Bemerkung / Material |
|---|---|---|---|---|
| 41 | 10.10.2022 | 3. | V | Folien Skript Kapitel 1, Skript Kapitel 2 (Teil) |
| 42 | 17.10.2022 | 3. | V | Folien, Illustration Mathematica (CDF), Illustration Mathematica (PDF) |
| 43 | 24.10.2022 | 3. | V | Folien |
| 44 | 31.10.2022 | 3. | - | Reformationstag |
| 45 | 07.11.2022 | 3. | V | Folien |
| 46 | 14.11.2022 | 3. | Ü | Bemerkungen Aufgabe 9a, Illustration Aufgabe 9d (CDF), Lösung Aufgabe 10, Hausaufgaben, Bemerkungen zur Hausaufgabenabgabe |
| 47 | 21.11.2022 | 3. | V | Skript Kapitel 2 (Update), Folien |
| 48 | 28.11.2022 | 3. | V | |
| 49 | 05.12.2022 | 3. | V | Skript Kapitel 3 |
| 50 | 12.12.2022 | 3. | V | Folien, Beispiel Anwendung Integralformel, Lösung Hausaufgaben 2c, Lösung Hausaufgaben 3 |
| 51 | 19.12.2022 | 3. | V | |
| 52 | 26.12.2022 | 3. | - | Jahreswechsel |
| 1 | 02.01.2023 | 3. | - | Jahreswechsel |
| 2 | 09.01.2023 | 3. | V | Folien |
| 3 | 16.01.2023 | 3. | V | |
| 4 | 23.01.2023 | 3. | V | Folien, Skript |
| 5 | 30.01.2023 | 3. | V | Folien |
Prüfung
Die schriftliche Prüfung (120 Minuten) wird am Mittwoch, dem 15.02.2023, in der Zeit von 9:20 bis 11:20 Uhr (2./3. DS) im Raum GÖR/127/U stattfinden.
Zugelassene Hilfsmittel sind das Skript zur Lehrveranstaltung, Materialien aus Vorlesung
und Übung, eigene Aufzeichnungen zur Lehrveranstaltung, Bücher sowie Taschenrechner.
Die Einschreibung zur Prüfung muss bis Sonntag, den 29.01.2023, online (je nach Studiengang und Jahrgang) entweder über HISQIS oder SELMA erfolgen (Beginn des Einschreibezeitraums: Montag, der 09.01.2023), siehe auch Informationen zur Prüfungseinschreibung. Im HISQIS ist die Prüfung unter „76220 Klausurarbeit 2 Aufbau Informationstheorie“ zu finden.
Literatur
Für die zentralen Inhalte der Lehrveranstaltung wird ein detailliertes Skript bereitgestellt. Ergänzende Literatur zu spezifischen Themen der Lehrveranstaltung wird im Laufe des Semesters angegeben. Darüber hinaus sei folgende weiterführende Literatur empfohlen:
-
Y. Polyanskiy and Y. Wu:
Lecture Notes on Information Theory
Massachusetts Institute of Technology, 2019. [Online]
-
M. S. Pinsker:
Information and Information Stability of Random Variables and Processes,
Holden-Day, 1964.
Deutsche Übersetzung:
Arbeiten zur Informationstheorie V: Information und Informationsstabilität zufälliger Größen und Prozesse, Deutscher Verlag der Wissenschaften, 1963.
Eine umfangreiche Literaturliste ist zudem folgender Dissertation zu entnehmen:
-
M. Mittelbach:
Coding Theorem and Memory Conditions for Abstract Channels with Time Structure,
TU Dresden, 2014. [Online]
Kontakt
Kommentare zur Vorlesung, zur Übung, zu den Aufgaben, zum Skript und allgemeine Anfragen bitte an:
Dr. Martin Mittelbach