PLANETCALC Online-Rechner

Anmeldung
FachkraftComputers

Shannon's Entropie

Dieser Onlinerechner berechnet die Shannon's Entropie für eine gegebene Ereigniswahrscheinlichkeitstabelle und einer gegebnenen Nachricht.

In der Informationstheorie ist Entropie die Messung von Unwahrscheinlichkeit in einer beliebigen Variablen. In diesem Zusammenhang redet man normalerweise von Shannon’s Entropie, welche den erwarteten Wert der Information einer Nachricht quantifiziert.
Claude E. Shannon stellte diese Formel für Entropie in seiner Arbeit "A Mathematical Theory of Communication” in 1948 vor.

H(X) = - \sum_{i=1}^np(x_i)\log_b p(x_i)

Minus wird genutzt für Werte niedriger als 1 und wenn der Logarithmus negativ ist. Wegen

-\log a = \log \frac{1}{a},

Kann die Formel auch folgendermaßen dargestellt werden

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

Ausdruck
\log_b \frac{1}{p(x_i)}
wird auch als Ungewissheit oder als Überraschung bezeichnet. Je geringer die Wahrscheinlichkeit p(x_i) ist, z.B. p(x_i) → 0, je höher ist die Ungewissheit oder Überraschung, z.B. u_i → ∞, für den Ausgang x_i.

In diesem Fall stellt die Formel die mathematische Erwartung der Ungewissheit dar, daher kann man die Informationsentropie und Informationenungewissheit austauchbar genutzt werden.

Dieser Rechner berechnet die Shannon Entropie für eine gegebene Ereigniswahrscheinlichkeit.

PLANETCALC, Shannon's Entropie

Shannon's Entropie

Zahlen nach dem Dezimalpunkt: 2
Entropie, Bits
 

Dieser Rechner berechnet die Shannon Entropie für eine gegebene Nachricht.

PLANETCALC, Shannon's Entropie

Shannon's Entropie

Zahlen nach dem Dezimalpunkt: 2
Entropie, Bits
 

URL zum Clipboard kopiert

Ähnliche Rechner

 Computer Computers Entropie entropy Informatik information theory Informationstheorie message Nachricht probability Computer Shannon Shannon entropy Shannon's Entropie symbol Text Texte Wahrscheinlichkeit Zeichen
PLANETCALC, Shannon's Entropie
Timur2020-11-14 05:52:35

Kommentare