{"id":23149,"date":"2016-10-08T06:00:09","date_gmt":"2016-10-08T04:00:09","guid":{"rendered":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2016\/10\/08\/informationstheorie\/"},"modified":"2025-05-14T16:17:56","modified_gmt":"2025-05-14T14:17:56","slug":"informationstheorie","status":"publish","type":"post","link":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2016\/10\/08\/informationstheorie\/","title":{"rendered":"Die Informationstheorie"},"content":{"rendered":"

Hinweis: <\/b>Dieser Artikel ist ein Beitrag zum ScienceBlogs Blog-Schreibwettbewerb 2016<\/a>. Hinweise zum Ablauf des Bewerbs und wie ihr dabei Abstimmen k\u00f6nnt findet ihr hier<\/a>.
\n\"sb-wettbewerb\"<\/a><\/i><\/p>\n

Das sagt der Autor des Artikels, \u00fcber sich:<\/b>
\nKeine Angabe<\/p>\n

——————————————
\nDie Informationstheorie ist eines der eher trocken erscheinenden Themen der Informatik. Tats\u00e4chlich steckt sie voller Begriffe wie Entropie<\/i> oder Informationsgehalt<\/i>. Mich selbst hatte bei der ersten Bekanntschaft besonders die Tatsache irritiert, dass der Informationsgehalt in Bits<\/i> gemessen wird, also der selben Einheit, die auch die kleinste Speichereinheit in Computern bezeichnet Ein solches – ich nenne es mal bin\u00e4res Bit, auch wenn das doppelt gemoppelt ist, da Bit f\u00fcr b<\/b>inary digit<\/b><\/i> steht, aber es l\u00f6st hoffentlich die Doppeldeutigkeit auf – kann entweder den Zustand 0 oder 1 haben. Doch der Informationsgehalt eines einzelnen bin\u00e4ren Bits kann von 0 bis theoretisch Unendlich reichen. Warum das m\u00f6glich ist, will ich mit diesem Artikel versuchen zu erl\u00e4utern.<\/p>\n

Ich beginne direkt einmal mit der Formel, die tats\u00e4chlich gar nicht mal so lang ist:<\/p>\n

\"formel\"<\/a><\/p>\n

Dabei ist x<\/i> das zu betrachtende Zeichen, I<\/i> der Informationsgehalt, px<\/i> die Auftrittswahrscheinlichkeit von x<\/i> und a<\/i> die Basis des verwendeten Zahlensystems (beim Bin\u00e4rsystem also 2, beim Dezimalsystem 10 und bei deutschen W\u00f6rtern 30, wenn man Gro\u00df-\/Kleinschreibung ignoriert aber \u00e4,\u00f6,\u00fc und \u00df mit einbezieht). Das Ergebnis ist die Anzahl der Zeichen (die jeweils a<\/i> verschiedene Werte haben k\u00f6nnen), die (mit dem Vorwissen \u00fcber die Wahrscheinlichkeiten) mindestens ben\u00f6tigt werden, um die Informationen zu speichern oder zu \u00fcbertragen. \u00dcberlicherweise wird f\u00fcr a<\/i> einfach 2 verwendet, damit ist das Ergebnis die Anzahl der Bin\u00e4rziffern der diese Information entspricht, die Einheit ist also Bit. Verwendet man eine andere Basis erh\u00e4lt man auch eine andere Einheit, entsprechend dem Zahlensystem.<\/p>\n

Der Informationsgehalt eines Zeichens ist also davon abh\u00e4ngig, wie hoch die Auftrittswahrscheinlichkeit f\u00fcr dieses Zeichen ist, das hei\u00dft, wie hoch die Wahrscheinlichkeit ist genau dieses Zeichen an dieser Stelle zu erhalten. Je niedriger die Wahrscheinlichkeit ist, desto h\u00f6her ist der Informationsgehalt. Ein einfaches Beispiel, in folgendem Wort fehlt lediglich der letzte Buchstabe: „Wahrscheinlichkei_“. Nun, jeder der das Wort kennt (das werden vermutlich Alle sein) wird fast automatisch das fehlende „t“ einsetzen. Die Auftrittswahrscheinlichkeit des „t“ war also sehr hoch, sein Informationsgehalt daher sehr gering. Ein weiteres Beispiel, wieder fehlt lediglich der letzte Buchstabe: „Kei_“. Was k\u00f6nnte da nun folgen? Geht man die Buchstaben durch, merkt man, dass mehrere W\u00f6rter m\u00f6glich sind, beispielsweise „Keil“, „Keim“ oder „Kein“. Hier ist der Informationsgehalt des letzten Zeichens also h\u00f6her, da mehrere Buchstaben gleich wahrscheinlich sind. Da das Wort alleine steht hilft auch der Gro\u00dfbuchstabe nicht bei der Identifikation, was direkt zum n\u00e4chstens Beispiel f\u00fchrt, diesmal ein Satz: „Sie hielt die T\u00fcr mit einem Kei_ offen.“ Angenommen, der Verfasser hat keinen Fehler gemacht, f\u00e4llt das Wort „kein“ allein schon wegen des Gro\u00dfbuchstabens raus (es macht aber hier auch keinen Sinn). Ein Keim w\u00e4re vermutlich wenig geeignet, eine T\u00fcr offen zu halten, \u00fcbrig bleibt also nur der Keil. Obwohl sich am Wort nichts ge\u00e4ndert hat, ist nur durch den Kontext der Informationsgehalt des „l“ gesunken.<\/p>\n

Betrachten wir nochmal das einzelne Wort „Kei_“: Welcher Buchstabe h\u00e4tte an der letzten Stelle den h\u00f6chsten Informationsgehalt? Den h\u00f6chsten Informationsgehalt hat das Zeichen mit der niedrigsten Auftrittswahrscheinlichkeit, welches ist hier also am unwahrscheinlichsten? Das l\u00e4sst sich nicht mit Sicherheit beantworten, ein sehr guter Kandidat w\u00e4re jedoch das „q“. Es ist (laut Wikipedia, dem kann man in diesem Fall denke ich auch ohne weitere Quelle vertrauen) der seltenste Buchstabe in deutschen Texten und es gibt auch kein deutsches Wort „Keiq“. Es erscheint m\u00f6glicherweise paradox, aber obwohl dadurch nur ein Unsinnswort entstanden ist, tr\u00e4gt das „q“ viel Information. Das ergibt sich jedoch direkt aus der Definition des Informationsgehalts: Das q ist an dieser Stelle unerwartet<\/i>, es passt in kein bekanntes Muster und ist daher etwas Neues, sprich eine neue Information. Der Informationsgehalt sagt also offenbar nichts dar\u00fcber aus, wie n\u00fctzlich oder wichtig die Information f\u00fcr den Empf\u00e4nger ist, sondern nur, wie erwartbar sie ist.<\/p>\n

An den Beispielen erkennt man vielleicht schon: Der Informationsgehalt ist vom Wissen des Empf\u00e4ngers abh\u00e4ngig. Um ein fehlendes Zeichen passend erg\u00e4nzen zu k\u00f6nnen, muss man das Wort schon kennen. Ein Extrembeispiel, diesmal mit einem Bin\u00e4rwort: Stellt euch vor, ihr seid ein Computer und erhaltet eine Nachricht. Ihr wisst bereits mit 100% Sicherheit, dass die Nachricht „01000001“ (das ist der ASCII-Code f\u00fcr „A“) lauten wird. Welchen Informationsgehalt wird die Nachricht f\u00fcr euch haben? Die Antwort ist recht trivial: Da ihr bereits sicher wisst, was ihr erhaltet, ist der Informationsgehalt genau 0 Bit. Das ist nat\u00fcrlich idealisiert, denn in Realit\u00e4t k\u00f6nnten immer noch \u00dcbertragungsfehler auftreten oder ihr erhaltet doch eine andere Nachricht als erwartet. Dann w\u00e4ren es etwas \u00fcber 0 Bit, aber nicht viel. Ihr habt also 8 (bin\u00e4re) Bits \u00fcbertragen bekommen, die f\u00fcr euch jedoch 0 Bit Information tragen. Die \u00dcbermittlung war dementsprechend \u00fcberfl\u00fcssig. Diese 0 Bit lassen sich auch mit der Formel best\u00e4tigen. Die Auftrittswahrscheinlichkeit ist hier f\u00fcr jedes Zeichen gleich, n\u00e4mlich 1. Damit ergibt sich: <\/p>\n

\"0_bit\"<\/a><\/p>\n

Der Logarithmus von 1 ist immer 0, egal zu welcher Basis.<\/p>\n

Wie k\u00f6nnte man den umgekehrten Fall erreichen, also ein Zeichen mit einem unendlichen Informationsgehalt? Daf\u00fcr br\u00e4uchte man ein Zeichen, dessen Auftrittswahrscheinlichkeit gegen 0 geht, die Wahrscheinlichkeit also unendlich klein (aber nicht 0!) ist. Das ist nat\u00fcrlich wieder in Realit\u00e4t nicht machbar. Genauso wie bei einem Zeichen, das eine Wahrscheinlichkeit von genau 0 hat. Erhalten wir es dennoch, dann hat es keinen unendlichen Informationsgehalt, sondern wir haben einen Widerspruch im System, das Zeichen h\u00e4tte schlie\u00dflich niemals auftreten d\u00fcrfen.<\/p>\n

Bisher ging es nur um den Informationsgehalt eines einzelnen Zeichens oder um eine Nachricht, die uns \u00fcberhaupt keine Information liefert. Das ist im Normalfall nat\u00fcrlich anders, also braucht man den gesamten Informationsgehalt einer Nachricht. Dieser l\u00e4sst sich jedoch einfach bestimmen, indem man die Informationsgehalte der einzelnen Zeichen addiert. Mal ein vereinfachtes Rechenbeispiel: Das Wort „Fernbedienung“ (es lag halt grade eine vor mir auf dem Tisch) enth\u00e4lt 13 Zeichen, aber nur 9 davon sind unterschiedlich. Das e und das n kommen jeweils drei mal vor. Die Auftrittswahrscheinlichkeiten f\u00fcr e und n sind also 3\/13. F\u00fcr f, r, b, d, i, u und g sind sie nur 1\/13. (Das ist jedoch wie gesagt eine vereinfachte Rechnung, da keinerlei Vorwissen einbezogen wird, aber die Rechnung wird so deutlich leichter.) Der gesamte Informationsgehalt ist also:<\/p>\n

\"inf_gehalt_fernbedienung\"<\/a><\/p>\n

F\u00fcr das Wort „Fernbedienung“ braucht man also mindestens 4,8 Byte (3 Bit pro Zeichen), deutlich weniger als die 13 Byte, die das Wort in typischer UTF-8-Kodierung braucht. Theoretisch sollte ein Kompressionsalgorithmus (wie beispielsweise der Deflate-Algorithmus<\/a>, der f\u00fcr ZIP-Archive verwendet wird) also in der Lage sein, den Platzbedarf des Wortes auf 4,8 Byte zu reduzieren, praktisch ist das bei solch einem kurzen Text allerdings nicht der Fall, da Kompressionsverfahren auch immer einen Overhead erzeugen, also selbst Platz verbrauchen um die f\u00fcr die Dekompression ben\u00f6tigten Informationen zu speichern. Im schlimmsten Fall kann eine komprimierte Datei sogar geringf\u00fcgig gr\u00f6\u00dfer sein als vorher, das kommt jedoch eher selten vor.<\/p>\n

Ein reales Beispiel f\u00fcr Datenkompression: Dieser Text ist 7810 Bytes lang (zumindest war das so, als ich dies hier schrieb). Dass die Zeilenumbr\u00fcche<\/a> im Windows-Stil (bei Linux und Mac ist das anders) immer 2 Byte verbrauchen ignoriere ich hier der Einfachheit halber, das macht die Zahlen nur unsch\u00f6n und \u00e4ndert sehr wenig. Unkomprimiert braucht jedes Zeichen 8 Bit (UTF-8-Kodierung). Komprimiert als ZIP-Archiv belegt die Datei nur noch 3363 Byte Speicherplatz, das ergibt etwa 3,44 Bit pro Zeichen. Mein Text hat also in etwa einen Informationsgehalt von 3,44 Bit pro Symbol, ich h\u00e4tte mir also mehr als jedes zweite Zeichen sparen k\u00f6nnen (Nein, so funktioniert das nat\u00fcrlich nicht. \ud83d\ude09 ). Der bzip2-Algorithmus<\/a> schafft es sogar mit noch etwas weniger: 3079 Bytes (ca. 3,15 Bit pro Zeichen). Das liegt ja schon sehr nah an dem f\u00fcr „Fernbedienung“ berechneten Wert und zeigt, dass die Algorithmen schon sehr gut arbeiten.<\/p>\n

Jetzt stellt man sich vielleicht die Frage: Welcher Text w\u00fcrde denn einen Informationsgehalt haben der auch seinem Platzbedarf entspricht, sprich, was l\u00e4sst sich \u00fcberhaupt nicht komprimieren? Die Antwort: Zufallszahlen. Probiert es aus: Werft 1000 M\u00fcnzen, schreibt die Ergebnisse als einzelne Bits in eine Datei (Ja, ich wei\u00df, das geht mit normalen Texteditoren nicht aber wer einen HEX-Editor hat kann es probieren) und versucht das zu komprimieren. Wenn ihr keine Lust habt 1000 M\u00fcnzen zu werfen (das geht doch ganz schnell), verwendet einen echten Zufallszahlengenerator wie beispielsweise random.org<\/a> (was echte Zufallszahlengeneratoren von Pseudozufallszahlengeneratoren unterscheidet ist noch ein anderes Thema).<\/p>\n

Was ich \u00fcber die Kompressionsverfahren geschrieben habe gilt nat\u00fcrlich nur f\u00fcr verlustfreie<\/i> Verfahren, wie beispielsweise ZIP. Verlustbehaftete<\/i> Verfahren (zum Beispiel MP3 oder JPEG) dagegen tricksen mit der menschlichen Wahrnemung und reduzieren tats\u00e4chlich die Information, entfernen also nicht nur Unn\u00f6tiges. Wird das jedoch geschickt gemacht f\u00e4llt es uns nicht weiter auf, aber technisch gesehen sind Informationen verlorengegangen.<\/p>\n

Ich hoffe, dass das Konzept der Information damit ein wenig klarer geworden ist. Es ist ein sehr komplexes Thema, aber trotzdem, wie ich finde, sehr interessant!<\/p>\n","protected":false},"excerpt":{"rendered":"

Hinweis: Dieser Artikel ist ein Beitrag zum ScienceBlogs Blog-Schreibwettbewerb 2016. Hinweise zum Ablauf des Bewerbs und wie ihr dabei Abstimmen k\u00f6nnt findet ihr hier. Das sagt der Autor des Artikels,<\/p>\n","protected":false},"author":1,"featured_media":953,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[764,12],"tags":[2665,7161,7167],"class_list":["post-23149","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-schreibwettbewerb","category-technik","tag-blog-schreibewettberwerb","tag-informatik","tag-informationstheorie"],"_links":{"self":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23149","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/comments?post=23149"}],"version-history":[{"count":1,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23149\/revisions"}],"predecessor-version":[{"id":23150,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23149\/revisions\/23150"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media\/953"}],"wp:attachment":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media?parent=23149"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/categories?post=23149"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/tags?post=23149"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}