Informationstheorie

Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf den US-amerikanischen Mathematiker Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information und Entropie, der Informationsübertragung, Datenkompression und Kodierung sowie verwandten Themen.

Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (z. B. Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) eingesetzt.

Die Shannonsche Theorie verwendet den Begriff der Entropie, um den Informationsgehalt (auch Informationsdichte genannt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz nach Shannon und Ralph Hartley. Es beschreibt die theoretische Obergrenze der Kanalkapazität, also die maximale Datenübertragungsrate, die ein Übertragungskanal in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis ohne Übertragungsfehler erreicht.