Informationstheorie

Sommersemester 2018

Umfang: 4 SWS (2/2/0)
Dozent: Dr. Meik Dörpinghaus
Kursassistenten: Dr. Anne Wolf, Hans-Georg Engler
Lehrsprache: deutsch
Abschluss: schriftliche Prüfung über 120 Minuten
  • Hinweis: Nach- und Wiederholer im Studiengang Informationssystemtechnik (bis inkl. Jahrgang 2013) müssen eine schriftliche Prüfung über 180 Minuten (als gemeinsame Prüfung mit der Lehrveranstaltung Nachrichtentechnik) ablegen.
Einordnung: Bestandteil des Pflichtmoduls
  • Informationstheorie im Studiengang Elektrotechnik, Studienrichtung Informationstechnik (6. Semester),
  • Signalverarbeitung und Informationstheorie im Studiengang Informationssystemtechnik (6. Semester) ab Jahrgang 2014,
  • Grundlagen der Nachrichtentechnik im Studiengang Informationssystemtechnik (6. Semester) bis inkl. Jahrgang 2013.

Aktuelles

  • [16.07.2018]
    Die Konsultation zur Prüfung findet am Donnerstag, dem 26.07.2018, ab 16:30 Uhr im Raum BAR 106 statt, siehe auch Abschnitt Prüfung.
  • [04.07.2018]
    Im Abschnitt Prüfung wurden Informationen zur Prüfung und zur Prüfungseinschreibung ergänzt.

Ort und Zeit

Vorlesung Mi 2. DS BAR 205
Übung / Tutorium Do 2. DS BAR 205

eventuelle Terminverschiebungen siehe Tabelle


Vorlesung

In der Lehrveranstaltung wird eine Einführung in die Grundlagen der Shannonschen Informationstheorie gegeben. Ziel ist es, wesentliche informationstheoretische Resultate zur maximal möglichen verlustlosen (Quellencodierung) und verlustbehafteten (Rate-Distortion-Theorie) Komprimierung von Daten und zur maximalen Geschwindigkeit einer zuverlässigen Datenübertragung (Kanalcodierung) herzuleiten. Die für die analytischen Betrachtungen benötigten Hilfsmittel in Form von Informationsmaßen (Entropie, Transinformation, Kapazität usw.) sowie deren Eigenschaften werden ebenso behandelt wie in der Praxis einsetzbare, einfache Codes.

Materialien zur Vorlesung

Das Skript zur Lehrveranstaltung kann unter folgendem Link heruntergeladen werden. Es wird zu Beginn des Semesters auch in gedruckter Form zur Verfügung gestellt. Studenten, die das Skript aus dem Sommersemester 2016 oder 2017 besitzen, können dieses auch im Sommersemester 2018 verwenden.

weiteres aktuelles Material siehe Tabelle


Übung, Tutorium und Hausaufgaben

Es finden im wöchentlichen Wechsel Übungen und Tutorien statt.

Die Übungen dienen der Festigung und Anwendung des in den Vorlesungen behandelten Stoffes. Sie vermitteln Techniken zur Lösung typischer Aufgabenstellungen und schaffen damit insbesondere die Voraussetzungen für die erfolgreiche Bearbeitung vergleichbarer Aufgaben im Selbststudium.

Die Hausaufgaben sind an die vorhergehenden Übungen angepasst und sollen die Beschäftigung mit dem behandelten Stoff intensivieren. Vorrangiges Ziel beim Bearbeiten der Aufgaben sind die überwiegend eigenständige und zeitnahe Auseinandersetzung mit dem aktuellen Inhalt der Lehrveranstaltung sowie die Anwendung der zuvor vermittelten Lösungstechniken.

Die Tutorien dienen der Besprechung der Hausaufgabenlösungen und der Festigung des behandelten Stoffes. Es können aber auch offene Fragen zu den Vorlesungen und Übungen diskutiert werden.

Materialien zu Übung / Tutorium

aktuelles Material siehe Tabelle


Termine

Die folgende Tabelle enthält alle Termine für Vorlesungen (V), Übungen (Ü) und Tutorien (T) sowie die entsprechenden Lehrmaterialien zu den einzelnen Veranstaltungen.

Woche Datum DS V / Ü / T Bemerkung / Material
15 11.04.2018 2. V Folien
12.04.2018 2. Ü Aufgaben Folien Aufgaben 2, 4 und 5 Material Wahrscheinlichkeitstheorie + Konvexität
16 18.04.2018 2. V Folien
19.04.2018 2. T Hausaufgaben Folien Aufgabe 9 Spickzettel Notationen + Material Wahrscheinlichkeitstheorie II
17 25.04.2018 2. V Folien
26.04.2018 2. Ü Aufgaben Folien Aufgaben 10, 11, 12 und 13 Material Eigenschaften Funktionen
18 02.05.2018 2. V Folien
03.05.2018 2. T Hausaufgaben Folie Aufgabe 17c
19 09.05.2018 2. V keine neuen Folien
10.05.2018 Himmelfahrt
20 16.05.2018 2. V Folien
17.05.2018 2. V Folien
21 23.05.2018 Pfingstferien
24.05.2018 Pfingstferien
22 30.05.2018 2. V Folien Zusatzmaterial Kanalkodiertheorem-Erreichbarkeit
31.05.2018 2. Ü Aufgaben Folien Aufgaben 18, 19 und 20 Material Markowketten
23 06.06.2018 dies academicus
07.06.2018 2. T Hausaufgaben
24 13.06.2018 2. V keine neuen Folien
14.06.2018 2. Ü Aufgaben Folien Aufgaben 25, 26 und 27 Material Quellencodierung + Hintereinanderschaltung DMCs
25 20.06.2018 2. V Folien
21.06.2018 2. T Hausaufgaben Folien Aufgaben 29a) und 31
26 27.06.2018 2. V Folien
28.06.2018 2. Ü Aufgaben Folien Aufgabe 34 Material Symmetrien und Übersicht Informationsmaße
27 04.07.2018 2. V Folien
05.07.2018 2. T Hausaufgaben Folien Zusatzaufgabe 31e)
28 11.07.2018 2. Ü Aufgaben Folien Aufgabe 39, 40 und 41 Material Normalverteilung
12.07.2018 2. T Hausaufgaben Folien Aufgaben 43a)-b) und 45c)
29 18.07.2018 2. V Folien
19.07.2018 2. Ü Aufgaben

Prüfung

Die schriftliche Prüfung zur Lehrveranstaltung Informationstheorie wird am Montag, dem 30.07.2018, in der 3./4. Doppelstunde (Beginn 11:10 Uhr) im Raum M13 DÜLF (Dülfer-Saal im 1. Obergeschoss der Alten Mensa) stattfinden.

Die Prüfungszeit beträgt 120 Minuten.

Folie mit Hinweisen zur Prüfung und Prüfungseinschreibung

Zugelassene Hilfsmittel sind das Skript zur Lehrveranstaltung, Materialien aus Vorlesung, Übung und Tutorium, eigene Aufzeichnungen zur Lehrveranstaltung, Bücher sowie von der Fakultät zugelassene Taschenrechner.

Achtung: Diese Prüfungsankündigung gilt ausschließlich für

  • Studenten des Studiengangs Elektrotechnik (Studienrichtung Informationstechnik) ab Jahrgang 2010,
  • Studenten des Studiengangs Informationssystemtechnik ab Jahrgang 2014 sowie
  • Studenten anderer Fakultäten.

Studenten der Studiengänge

  • Elektrotechnik bis Jahrgang 2009 und
  • Informationssystemtechnik bis Jahrgang 2013,

die im Sommersemester 2018 die Prüfung zur Lehrveranstaltung Informationstheorie ablegen wollen, melden sich bitte bis Dienstag, den 17.07.2018, bei Dr. Anne Wolf.

Die Einschreibung zur Prüfung muss bis 19.07.2018 online über HISQIS erfolgen.

Die Konsultation zur Prüfung Informationstheorie wird am Donnerstag, dem 26.07.2018, ab 16:30 Uhr im Raum BAR 106 stattfinden.


Literatur

Die Vorlesung orientiert sich an den Darstellungen in:

  • R. W. Yeung:
    Information Theory and Network Coding, Part I,
    Springer, 2008.
    Kapitel zu diskreten Modellen identisch zu:
    R. W. Yeung:
    A First Course in Information Theory,
    Springer, 2002.
  • T. M. Cover und J. A. Thomas:
    Elements of Information Theory,
    Wiley-Interscience, 2006.

Weitere empfehlenswerte Literatur:

  • R. G. Gallager:
    Information Theory and Reliable Communication,
    Wiley, 1968.
  • R. G. Gallager:
    Principles of Digital Communication,
    Cambridge University Press, 2008.

Kontakt

Kommentare zur Vorlesung bitte an:
Dr. Meik Dörpinghaus

Kommentare zur Übung, Fragen zu den Übungsaufgaben und zum allgemeinen Ablauf bitte an:
Dr. Anne Wolf

Kommentare zum Tutorium und zu den Hausaufgaben bitte an:
Hans-Georg Engler

Kommentare und Fragen zum Skript bitte an:
Dr. Martin Mittelbach


Rückmeldung zur Lehrveranstaltung

Wir freuen uns über persönliche Rückmeldungen zur Lehrveranstaltung. Darüber hinaus besteht auch die Möglichkeit, anonyme Kommentare zur Lehrveranstaltung abzugeben.


Zu dieser Seite

Letzte Änderung: 14.07.2017