Kreuzentropie – Wikipedia

Posted on December 26, 2020 by lordneo

before-content-x4

In der Informationstheorie ist die Kreuzentropie zwischen zwei Wahrscheinlichkeitsverteilungen

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ Über denselben zugrunde liegenden Satz von Ereignissen wird die durchschnittliche Anzahl von Bits gemessen, die zum Identifizieren eines aus dem Satz gezogenen Ereignisses erforderlich sind, wenn ein für den Satz verwendetes Codierungsschema für eine geschätzte Wahrscheinlichkeitsverteilung optimiert ist

{ displaystyle q}

$q$ eher als die wahre Verteilung

{ displaystyle p}

$p$ .

Table of Contents

Definition[edit]

Die Kreuzentropie der Verteilung

{ displaystyle q}

$q$ relativ zu einer Verteilung

{ displaystyle p}

$p$ über einen gegebenen Satz ist wie folgt definiert:

{ displaystyle H (p, q) = – operatorname {E} _ {p}[log q]}}

{ displaystyle E_ {p}[cdot ]}}

${ displaystyle E_ {p}[cdot ]}}$ ist der Erwartungswertoperator in Bezug auf die Verteilung

{ displaystyle p}

$p$ . Die Definition kann unter Verwendung der Kullback-Leibler-Divergenz formuliert werden

{ displaystyle D _ { mathrm {KL}} (p | q)}

$D _ {{{ mathrm {KL}}}} (p | q)$ von

{ displaystyle p}

$p$ von

{ displaystyle q}

$q$ (auch bekannt als die relative Entropie von

{ displaystyle q}

$q$ in Gedenken an

{ displaystyle p}

$p$ ).

{ Anzeigestil H (p, q) = H (p) + D _ { mathrm {KL}} (p | q)}

{ displaystyle H (p)}

$H (p)$ ist die Entropie von

{ displaystyle p}

$p$ .

Für diskrete Wahrscheinlichkeitsverteilungen

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ mit der gleichen Unterstützung

{ displaystyle { mathcal {X}}}

${ mathcal {X}}$ das heisst

{ displaystyle H (p, q) = – sum _ {x in { mathcal {X}}} p (x) , log q (x)}

((Gl.1)

Die Situation für kontinuierliche Verteilungen ist analog. Das müssen wir annehmen

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ sind in Bezug auf ein Referenzmaß absolut kontinuierlich

{ displaystyle r}

$r$ (meistens

{ displaystyle r}

$r$ ist ein Lebesgue-Maß für eine Borel-σ-Algebra). Lassen

{ displaystyle P}

$P.$ und

{ displaystyle Q}

$Q.$ Wahrscheinlichkeitsdichtefunktionen von sein

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ in Gedenken an

{ displaystyle r}

$r$ . Dann

{ displaystyle – int _ { mathcal {X}} P (x) , log Q (x) , dr (x) = operatorname {E} _ {p}[-log Q]}}

und deshalb

{ displaystyle H (p, q) = – int _ { mathcal {X}} P (x) , log Q (x) , dr (x)}

((Gl.2)

NB: Die Notation

{ displaystyle H (p, q)}

$H (p, q)$ wird auch für ein anderes Konzept verwendet, die gemeinsame Entropie von

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ .

Motivation[edit]

In der Informationstheorie legt das Kraft-McMillan-Theorem fest, dass jedes direkt decodierbare Codierungsschema zum Codieren einer Nachricht zur Identifizierung eines Werts

{ displaystyle x_ {i}}

$x_ {i}$ aus einer Reihe von Möglichkeiten

{ displaystyle {x_ {1}, …, x_ {n} }}

${ displaystyle {x_ {1}, ..., x_ {n} }}$ kann als eine implizite Wahrscheinlichkeitsverteilung angesehen werden

{ displaystyle q (x_ {i}) = left ({ frac {1} {2}} right) ^ {l_ {i}}}

${ displaystyle q (x_ {i}) = left ({ frac {1} {2}} right) ^ {l_ {i}}}$ Über

{ displaystyle {x_ {1}, …, x_ {n} }}

${ displaystyle {x_ {1}, ..., x_ {n} }}$ , wo

{ displaystyle l_ {i}}

$l_ {i}$ ist die Länge des Codes für

{ displaystyle x_ {i}}

$x_ {i}$ in Bits. Daher kann die Kreuzentropie als die erwartete Nachrichtenlänge pro Datum interpretiert werden, wenn eine falsche Verteilung vorliegt

{ displaystyle q}

$q$ wird angenommen, während die Daten tatsächlich einer Verteilung folgen

{ displaystyle p}

$p$ . Deshalb wird die Erwartung über die wahre Wahrscheinlichkeitsverteilung übernommen

{ displaystyle p}

$p$ und nicht

{ displaystyle q}

$q$ . In der Tat die erwartete Nachrichtenlänge unter der wahren Verteilung

{ displaystyle p}

$p$ ist,

{ displaystyle operatorname {E} _ {p}[l]= – operatorname {E} _ {p} left[{frac {ln {q(x)}}{ln(2)}}right]= – operatorname {E} _ {p} left[log _{2}{q(x)}right]= – sum _ {x_ {i}} p (x_ {i}) , log _ {2} {q (x_ {i})} = – sum _ {x} p (x) , log _ {2} q (x) = H (p, q)}

Einschätzung[edit]

Es gibt viele Situationen, in denen die Kreuzentropie gemessen werden muss, aber die Verteilung von

{ displaystyle p}

$p$ ist unbekannt. Ein Beispiel ist die Sprachmodellierung, bei der ein Modell basierend auf einem Trainingssatz erstellt wird

{ displaystyle T}

$T.$ und dann wird seine Kreuzentropie an einem Testsatz gemessen, um zu bewerten, wie genau das Modell die Testdaten vorhersagt. In diesem Beispiel

{ displaystyle p}

$p$ ist die wahre Verteilung von Wörtern in jedem Korpus, und

{ displaystyle q}

$q$ ist die vom Modell vorhergesagte Verteilung von Wörtern. Da die wahre Verteilung unbekannt ist, kann die Kreuzentropie nicht direkt berechnet werden. In diesen Fällen wird eine Schätzung der Kreuzentropie unter Verwendung der folgenden Formel berechnet:

{ displaystyle H (T, q) = – sum _ {i = 1} ^ {N} { frac {1} {N}} log _ {2} q (x_ {i})}

{ displaystyle N}

$N.$ ist die Größe des Testsatzes und

{ displaystyle q (x)}

$q (x)$ ist die Wahrscheinlichkeit eines Ereignisses

{ displaystyle x}

$x$ geschätzt aus dem Trainingssatz. Die Summe wird über berechnet

{ displaystyle N}

$N.$ . Dies ist eine Monte-Carlo-Schätzung der tatsächlichen Kreuzentropie, bei der der Testsatz als Proben aus behandelt wird

{ displaystyle p (x)}

$p (x)$ ^{[citation needed]}.

Beziehung zur Log-Wahrscheinlichkeit[edit]

Bei Klassifizierungsproblemen wollen wir die Wahrscheinlichkeit unterschiedlicher Ergebnisse abschätzen. Wenn die geschätzte Wahrscheinlichkeit des Ergebnisses

{ displaystyle i}

$ich$ ist

{ displaystyle q_ {i}}

$q_ {i}$ , während die Häufigkeit (empirische Wahrscheinlichkeit) des Ergebnisses

{ displaystyle i}

$ich$ im Trainingsset ist

{ displaystyle p_ {i}}

$Pi}$ und es gibt N bedingt unabhängige Stichproben im Trainingssatz, dann ist die Wahrscheinlichkeit des Trainingssatzes

{ displaystyle prod _ {i} ({ mbox {Wahrscheinlichkeit von}} i) ^ {{ mbox {Anzahl der Vorkommen von}} i} = prod _ {i} q_ {i} ^ {Np_ {i }}}

also die log-Wahrscheinlichkeit geteilt durch

{ displaystyle N}

$N.$ ist

{ displaystyle { frac {1} {N}} log prod _ {i} q_ {i} ^ {Np_ {i}} = sum _ {i} p_ {i} log q_ {i} = -H (p, q)}

Das Maximieren der Wahrscheinlichkeit entspricht dem Minimieren der Kreuzentropie.

Kreuzentropieminimierung[edit]

Die Kreuzentropieminimierung wird häufig bei der Optimierung und der Wahrscheinlichkeitsschätzung für seltene Ereignisse verwendet. Beim Vergleich einer Verteilung

{ displaystyle q}

$q$ gegen eine feste Referenzverteilung

{ displaystyle p}

$p$ Kreuzentropie und KL-Divergenz sind bis zu einer additiven Konstante identisch (seit

{ displaystyle p}

$p$ ist fest): beide nehmen ihre Minimalwerte an, wenn

{ displaystyle p = q}

$p = q$ , welches ist

{ displaystyle 0}

${ displaystyle 0}$ für KL-Divergenz und

{ displaystyle mathrm {H} (p)}

${ mathrm {H}} (p)$ für Kreuzentropie.^[1] In der technischen Literatur wird das Prinzip der Minimierung der KL-Divergenz (Kullbacks “Prinzip der minimalen Diskriminierungsinformation”) häufig als das bezeichnet Prinzip der minimalen Kreuzentropie (MCE) oder Minxent.

Wie im Artikel beschrieben Kullback-Leibler-Divergenz, manchmal die Verteilung

{ displaystyle q}

$q$ ist die feste vorherige Referenzverteilung und die Verteilung

{ displaystyle p}

$p$ ist optimiert, um so nah wie möglich zu sein

{ displaystyle q}

$q$ möglichst vorbehaltlich einiger Einschränkungen. In diesem Fall sind die beiden Minimierungen nicht Äquivalent. Dies hat zu einigen Unklarheiten in der Literatur geführt, wobei einige Autoren versuchten, die Inkonsistenz durch Neudefinition der Kreuzentropie zu lösen

{ displaystyle D _ { mathrm {KL}} (p | q)}

$D _ {{{ mathrm {KL}}}} (p | q)$ , eher, als

{ displaystyle H (p, q)}

$H (p, q)$ .

Entropieübergreifende Verlustfunktion und logistische Regression[edit]

Cross-Entropy kann verwendet werden, um eine Verlustfunktion beim maschinellen Lernen und Optimieren zu definieren. Die wahre Wahrscheinlichkeit

{ displaystyle p_ {i}}

$Pi}$ ist das wahre Etikett und die gegebene Verteilung

{ displaystyle q_ {i}}

$q_ {i}$ ist der vorhergesagte Wert des aktuellen Modells.

Betrachten Sie insbesondere die logistische Regression, mit der (unter anderem) Beobachtungen in zwei mögliche Klassen eingeteilt werden können (häufig einfach gekennzeichnet)

{ displaystyle 0}

${ displaystyle 0}$ und

{ displaystyle 1}

$1$ ). Die Ausgabe des Modells für eine bestimmte Beobachtung bei einem Vektor von Eingabemerkmalen

{ displaystyle x}

$x$ kann als Wahrscheinlichkeit interpretiert werden, die als Grundlage für die Klassifizierung der Beobachtung dient. Die Wahrscheinlichkeit wird mithilfe der Logistikfunktion modelliert

{ displaystyle g (z) = 1 / (1 + e ^ {- z})}

$g (z) = 1 / (1 + e ^ {{- z}})$ wo

{ displaystyle z}

$z$ ist eine Funktion des Eingabevektors

{ displaystyle x}

$x$ , üblicherweise nur eine lineare Funktion. Die Wahrscheinlichkeit der Ausgabe

{ displaystyle y = 1}

$y = 1$ ist gegeben durch

{ displaystyle q_ {y = 1} = { hat {y}} equiv g ( mathbf {w} cdot mathbf {x}) = 1 / (1 + e ^ {- mathbf {w} cdot mathbf {x}}),}

wo der Vektor der Gewichte

{ displaystyle mathbf {w}}

$mathbf {w}$ wird durch einen geeigneten Algorithmus wie den Gradientenabstieg optimiert. Ebenso die komplementäre Wahrscheinlichkeit, die Ausgabe zu finden

{ displaystyle y = 0}

$y = 0$ ist einfach gegeben durch

{ displaystyle q_ {y = 0} = 1 – { hat {y}}}

Nachdem wir unsere Notation eingerichtet haben,

{ displaystyle p in {y, 1-y }}

$p in {y, 1-y }$ und

{ displaystyle q in {{ hat {y}}, 1 – { hat {y}} }}

$q in {{ hat {y}}, 1 - { hat {y}} }$ können wir Kreuzentropie verwenden, um ein Maß für die Unähnlichkeit zwischen zu erhalten

{ displaystyle p}

$p$ und

{ displaystyle q}

$q$ ::

{ displaystyle H (p, q) = – sum _ {i} p_ {i} log q_ {i} = -y log { hat {y}} – (1-y) log (1 – { hat {y}})}

Die logistische Regression optimiert normalerweise den logarithmischen Verlust für alle Beobachtungen, auf die er trainiert wird. Dies entspricht der Optimierung der durchschnittlichen Kreuzentropie in der Stichprobe. Nehmen wir zum Beispiel an, wir haben

{ displaystyle N}

$N.$ Proben mit jeder Probe indiziert durch

{ displaystyle n = 1, dots, N}

$n = 1, Punkte, N.$ . Das durchschnittlich der Verlustfunktion ist dann gegeben durch:

{ displaystyle { begin {align} J ( mathbf {w}) & = { frac {1} {N}} sum _ {n = 1} ^ {N} H (p_ {n}, q_ {n}) = – { frac {1} {N}} sum _ {n = 1} ^ {N} { bigg [}y_{n}log {hat {y}}_{n}+(1-y_{n})log(1-{hat {y}}_{n}){bigg ]} ,, end {align}}}

{ displaystyle { hat {y}} _ {n} equiv g ( mathbf {w} cdot mathbf {x} _ {n}) = 1 / (1 + e ^ {- mathbf {w} cdot mathbf {x} _ {n}})}

${ displaystyle { hat {y}} _ {n} equiv g ( mathbf {w} cdot mathbf {x} _ {n}) = 1 / (1 + e ^ {- mathbf {w} cdot mathbf {x} _ {n}})}$ mit

{ displaystyle g (z)}

$g (z)$ die logistische Funktion wie zuvor.

Der logistische Verlust wird manchmal als Kreuzentropieverlust bezeichnet. Dies wird auch als Protokollverlust bezeichnet (in diesem Fall wird die binäre Bezeichnung häufig mit {-1, + 1} bezeichnet).^[2]

Anmerkung: Der Gradient des Kreuzentropieverlusts für die logistische Regression ist der gleiche wie der Gradient des quadratischen Fehlerverlusts für die lineare Regression. Das heißt, definieren

{ displaystyle X ^ {T} = { begin {pmatrix} 1 & x_ {11} & dots & x_ {1p} \ 1 & x_ {21} & dots & x_ {2p} \ && dots \ 1 & x_ {n1} & dots & x_ {np} \ end {pmatrix}} in mathbb {R} ^ {n times (p + 1)}}

${ displaystyle X ^ {T} = { begin {pmatrix} 1 & x_ {11} & dots & x_ {1p} \ 1 & x_ {21} & dots & x_ {2p} \ && dots \ 1 & x_ {n1} & dots & x_ {np} \ end {pmatrix}} in mathbb {R} ^ {n times (p + 1)}}$

{ displaystyle { hat {y_ {i}}} = { hat {f}} (x_ {i1}, dots, x_ {ip}) = { frac {1} {1 + exp (- beta _ {0} – beta _ {1} x_ {i1} – dots – beta _ {p} x_ {ip})}}

${ displaystyle { hat {y_ {i}}} = { hat {f}} (x_ {i1}, dots, x_ {ip}) = { frac {1} {1 + exp (- beta _ {0} - beta _ {1} x_ {i1} - dots - beta _ {p} x_ {ip})}}$

{ displaystyle L ({ overrightarrow { beta}}) = – sum _ {i = 1} ^ {N}[y^{i}log {hat {y}}^{i}+(1-y^{i})log(1-{hat {y}}^{i})]}}

${ displaystyle L ({ overrightarrow { beta}}) = - sum _ {i = 1} ^ {N}[y^{i}log {hat {y}}^{i}+(1-y^{i})log(1-{hat {y}}^{i})]}}$

Dann haben wir das Ergebnis

{ displaystyle { frac { partiell} { partiell { overrightarrow { beta}}}} L ({ overrightarrow { beta}}) = X ({ hat {Y}} – Y)}

${ displaystyle { frac { partiell} { partiell { overrightarrow { beta}}}} L ({ overrightarrow { beta}}) = X ({ hat {Y}} - Y)}$

Der Beweis ist wie folgt. Für jeden

{ displaystyle { hat {y}} ^ {i}}

${ displaystyle { hat {y}} ^ {i}}$ , wir haben

{ displaystyle { frac { partiell} { partiell beta _ {0}}} ln { frac {1} {1 + e ^ {- beta _ {0} + k_ {0}}}} = { frac {e ^ {- beta _ {0} + k_ {0}}} {1 + e ^ {- beta _ {0} + k_ {0}}}}

${ displaystyle { frac { partiell} { partiell beta _ {0}}} ln { frac {1} {1 + e ^ {- beta _ {0} + k_ {0}}}} = { frac {e ^ {- beta _ {0} + k_ {0}}} {1 + e ^ {- beta _ {0} + k_ {0}}}}$

{ displaystyle { frac { partiell} { partiell beta _ {0}} ln left (1 – { frac {1} {1 + e ^ {- beta _ {0} + k_ { 0}}}} right) = { frac {-1} {1 + e ^ {- beta _ {0} + k_ {0}}}}

${ displaystyle { frac { partiell} { partiell beta _ {0}} ln left (1 - { frac {1} {1 + e ^ {- beta _ {0} + k_ { 0}}}} right) = { frac {-1} {1 + e ^ {- beta _ {0} + k_ {0}}}}$

{ displaystyle { begin {align} { frac { teilweise} { teilweise beta _ {0}}} L ({ overrightarrow { beta}}) & = – sum _ {i = 1} ^ {N} left[{frac {y^{i}cdot e^{-beta _{0}+k_{0}}}{1+e^{-beta _{0}+k_{0}}}}-(1-y^{i}){frac {1}{1+e^{-beta _{0}+k_{0}}}}right]\ & = – sum _ {i = 1} ^ {N}[y^{i}-{hat {y}}^{i}]= sum _ {i = 1} ^ {N} ({ hat {y}} ^ {i} -y ^ {i}) end {align}}}

${ displaystyle { begin {align} { frac { teilweise} { teilweise beta _ {0}}} L ({ overrightarrow { beta}}) & = - sum _ {i = 1} ^ {N} left[{frac {y^{i}cdot e^{-beta _{0}+k_{0}}}{1+e^{-beta _{0}+k_{0}}}}-(1-y^{i}){frac {1}{1+e^{-beta _{0}+k_{0}}}}right]\ & = - sum _ {i = 1} ^ {N}[y^{i}-{hat {y}}^{i}]= sum _ {i = 1} ^ {N} ({ hat {y}} ^ {i} -y ^ {i}) end {align}}}$

{ displaystyle { frac { partiell} { partiell beta _ {1}} ln { frac {1} {1 + e ^ {- beta _ {1} x_ {i1} + k_ {1 }}}} = { frac {x_ {i1} e ^ {k_ {1}}} {e ^ { beta _ {1} x_ {i1}} + e ^ {k_ {1}}}}

${ displaystyle { frac { partiell} { partiell beta _ {1}} ln { frac {1} {1 + e ^ {- beta _ {1} x_ {i1} + k_ {1 }}}} = { frac {x_ {i1} e ^ {k_ {1}}} {e ^ { beta _ {1} x_ {i1}} + e ^ {k_ {1}}}}$

{ displaystyle { frac { teilweise} { teilweise beta _ {1}}} ln left[1-{frac {1}{1+e^{-beta _{1}x_{i1}+k_{1}}}}right]= { frac {-x_ {i1} e ^ { beta _ {1} x_ {i1}}} {e ^ { beta _ {1} x_ {i1}} + e ^ {k_ {1}}} }}

${ displaystyle { frac { teilweise} { teilweise beta _ {1}}} ln left[1-{frac {1}{1+e^{-beta _{1}x_{i1}+k_{1}}}}right]= { frac {-x_ {i1} e ^ { beta _ {1} x_ {i1}}} {e ^ { beta _ {1} x_ {i1}} + e ^ {k_ {1}}} }}$

{ displaystyle { frac { partiell} { partiell beta _ {1}}} L ({ overrightarrow { beta}}) = – sum _ {i = 1} ^ {N} x_ {i1} (y ^ {i} – { hat {y}} ^ {i}) = sum _ {i = 1} ^ {N} x_ {i1} ({ hat {y}} ^ {i} -y ^ {i})}

${ displaystyle { frac { partiell} { partiell beta _ {1}}} L ({ overrightarrow { beta}}) = - sum _ {i = 1} ^ {N} x_ {i1} (y ^ {i} - { hat {y}} ^ {i}) = sum _ {i = 1} ^ {N} x_ {i1} ({ hat {y}} ^ {i} -y ^ {i})}$

In ähnlicher Weise erhalten wir schließlich das gewünschte Ergebnis.

Siehe auch[edit]

Verweise[edit]

^ Ian Goodfellow, Yoshua Bengio und Aaron Courville (2016). Tiefes Lernen. MIT Press. Online
^ Murphy, Kevin (2012). Maschinelles Lernen: Eine probabilistische Perspektive. MIT. ISBN 978-0262018029.

Externe Links[edit]

after-content-x4

Kreuzentropie – Wikipedia

Definition[edit]

Motivation[edit]

Einschätzung[edit]

Beziehung zur Log-Wahrscheinlichkeit[edit]

Kreuzentropieminimierung[edit]

Entropieübergreifende Verlustfunktion und logistische Regression[edit]

Siehe auch[edit]

Verweise[edit]

Externe Links[edit]

Recent Posts

Recent Comments

Archives

Categories

Meta