Outils :Vous avez un site web ? Un blog ?
 Technorati reactions rencontre |
 |
Die Artikel Informationstheorie, Shannon-Index und Shannon (Einheit) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Bitte äußere dich in der Diskussion über diese Überschneidungen, bevor du diesen Baustein entfernst. Engelbaet 13:18, 14. Mai 2008 (CEST) |
Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht.
Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen.
Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) etc. eingesetzt.
Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte (Informationsgehalt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz, nach Claude Elwood Shannon und Ralph Hartley, welches die theoretische Obergrenze der Kanalkapazität, das ist die maximale Datenübertragungsrate ohne Übertragungsfehler, eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis beschreibt.
Inhaltsverzeichnis |
Vor allem Claude Elwood Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie.
Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) Kanäle sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen. Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, zusätzliche redundante (d. h. keine zusätzliche Information tragenden) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.
Es ist zweifelhaft und wurde auch von Shannon so nicht beansprucht, dass seine 1948 veröffentlichte Studie "The Mathematical Theory of Communication" ("Informationstheorie") von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist. Bei dem von ihm benutzten, mit der Thermodynamik verbundenen Entropiebegriff handelt es sich um eine formale Analogie für einen mathematischen Ausdruck. Allgemein lässt sich die Informationstheorie als Ingenieurtheorie auf hohem Abstraktionsniveau definieren. Sie zeigt den Trend zur Verwissenschaftlichung der Technik, der zur Herausbildung der Ingenieurwissenschaften führte. Der Bezugspunkt von Shannons Theorie ist die forcierte Entwicklung der elektrischen Nachrichtentechnik mit ihren Ausprägungen Telegrafie, Telefonie, Funk und Fernsehen in der ersten Hälfte des 20. Jahrhunderts. Vor und neben Shannon trugen u. a. H. Nyquist, R. V. L. Hartley und K. Küpfmüller mit bedeutenden Beiträgen zur Theoriebildung der Nachrichtentechnik bei. Mathematische Klärungen von Relevanz für die Informationstheorie lieferte Norbert Wiener, der ihr auch im Rahmen seiner Überlegungen zur Kybernetik zu beträchtlicher Publizität verhalf. Eine übergreifende Frage für Nachrichtentechniker war, wie eine wirtschaftlich-effiziente und störungsfreie Nachrichtenübertragung erreicht werden kann. Es wurden die Vorteile der Modulation erkannt, d. h. die Veränderung der Form der Nachricht mit technischen Mitteln. Im technischen Zusammenhang lassen sich zwei Grundformen für Nachrichten - kontinuierlich und diskret - unterscheiden. Diesen können die gebräuchlichen Darstellungsformen von Information/Nachrichten Schrift (diskret), Sprache (kontinuierlich) und Bild (kontinuierlich) zugeordnet werden. Ende der 1930er Jahre kam es zu einem technischen Durchbruch, als es mit Hilfe der Puls-Code-Modulation gelang, eine als Kontinuum vorliegende Nachricht in befriedigender Annäherung diskret darzustellen. Mit dieser Methode wurde es möglich, Sprache zu telegrafieren. Shannon, der für die Bell Telephone Laboratories arbeitete, war mit der technischen Entwicklung vertraut. Die große Bedeutung seiner Theorie für die Technik liegt darin, dass er Information als "physikalische Größe" mit einer Maß- bzw. Zähleinheit, dem Bit, definierte. Das erlaubte quantitativ exakt, den Aufwand für die technische Übertragung von Informationen in verschiedener Gestalt (Töne, Zeichen, Bilder) zu vergleichen, die Effizienz von Codes sowie die Kapazität von Informationsspeichern und -Übertragungskanälen zu bestimmen. Die Definition des Bit ist ein theoretischer Ausdruck der neuen technischen Möglichkeiten, unterschiedliche Darstellungsformen von Nachrichten (Information) in eine gemeinsame, für technische Zwecke vorteilhafte Repräsentation der Information zu transformieren: Eine Folge von elektrischen Impulsen, die durch einen Binärcode ausgedrückt werden kann. Das ist letztendlich die Grundlage für eine Informationstechnik auf digitaler Basis, wie auch für Multimedia. Das war im Prinzip mit der Informationstheorie bekannt. In der Praxis wurde jedoch der digitale Umbruch der Informationstechnik erst später - verbunden mit der stürmischen Entwicklung der Mikroelektronik in der zweiten Hälfte des 20. Jahrhunderts möglich.
Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische und pragmatische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten sowie deren Bedeutung für den Empfänger ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.
In neuerer Zeit wird zunehmend versucht, die Komplexität einer Nachricht nicht mehr nur über statistische Betrachtung der Daten zu bestimmen, sondern vielmehr die Algorithmen zu betrachten, die diese Daten erzeugen können. Solche Ansätze sind insbesondere die Kolmogorow-Komplexität und die algorithmische Tiefe, sowie die algorithmische Informationstheorie von Gregory Chaitin. Klassische Informationskonzepte versagen teilweise in quantenmechanischen Systemen. Dies führt zum Konzept der Quanteninformation.
Die Informationstheorie stellt mathematische Methoden zur Messung bestimmter Eigenschaften von Daten zur Verfügung. Der Begriff der Information aus der Informationstheorie hat keinen direkten Bezug zu Semantik, Bedeutung und Wissen, da sich diese Eigenschaften mit informationstheoretischen Verfahren nicht messen lassen.
