Shannon's Entropie
Dieser Onlinerechner berechnet die Shannon's Entropie für eine gegebene Ereigniswahrscheinlichkeitstabelle und einer gegebnenen Nachricht.
Diese Webseite exisiert dank der Arbeit von den folgenden Menschen:
 | Timur
|
Stefan Roesner
|
In der Informationstheorie ist Entropie die Messung von Unwahrscheinlichkeit in einer beliebigen Variablen. In diesem Zusammenhang redet man normalerweise von Shannon’s Entropie, welche den erwarteten Wert der Information einer Nachricht quantifiziert.
Claude E. Shannon stellte diese Formel für Entropie in seiner Arbeit "A Mathematical Theory of Communication” in 1948 vor.
Minus wird genutzt für Werte niedriger als 1 und wenn der Logarithmus negativ ist. Wegen
,
Kann die Formel auch folgendermaßen dargestellt werden
Ausdruck
wird auch als Ungewissheit oder als Überraschung bezeichnet. Je geringer die Wahrscheinlichkeit ist, z.B.
→ 0, je höher ist die Ungewissheit oder Überraschung, z.B.
→ ∞, für den Ausgang
.
In diesem Fall stellt die Formel die mathematische Erwartung der Ungewissheit dar, daher kann man die Informationsentropie und Informationenungewissheit austauchbar genutzt werden.
Dieser Rechner berechnet die Shannon Entropie für eine gegebene Ereigniswahrscheinlichkeit.
Shannon's Entropie
Dieser Rechner berechnet die Shannon Entropie für eine gegebene Nachricht.
Kommentare