Theorie großer Abweichungen – Wikipedia

Zweig der Wahrscheinlichkeitstheorie

In der Wahrscheinlichkeitstheorie ist die Theorie von große Abweichungen betrifft das asymptotische Verhalten entfernter Schwänze von Sequenzen von Wahrscheinlichkeitsverteilungen. Während einige Grundgedanken der Theorie auf Laplace zurückgeführt werden können, begann die Formalisierung mit der Versicherungsmathematik, nämlich der Ruinentheorie mit Cramér und Lundberg. Eine einheitliche Formalisierung der Theorie großer Abweichungen wurde 1966 in einem Artikel von Varadhan entwickelt.^[1] Die Theorie großer Abweichungen formalisiert die heuristischen Ideen von Konzentration der Maßnahmen und verallgemeinert weitgehend den Begriff der Konvergenz von Wahrscheinlichkeitsmaßen.

Grob gesagt befasst sich die Theorie der großen Abweichungen mit dem exponentiellen Rückgang der Wahrscheinlichkeitsmaße bestimmter Arten von Extremen oder Schwanz Veranstaltungen.

Einführungsbeispiele[edit]

Ein elementares Beispiel[edit]

Betrachten Sie eine Folge von unabhängigen Würfen einer fairen Münze. Die möglichen Ergebnisse könnten Kopf oder Zahl sein. Bezeichnen wir das mögliche Ergebnis des i-ten Versuchs mit

${ displaystyle X_ {i},}$

wo wir Kopf als 1 und Schwanz als 0 codieren. Nun lassen wir

${ displaystyle M_ {N}}$

bezeichnen den Mittelwert nach

${ displaystyle N}$

Versuche, nämlich

${ displaystyle M_ {N} = { frac {1} {N}} sum _ {i = 1} ^ {N} X_ {i}.}$

Dann

${ displaystyle M_ {N}}$

liegt zwischen 0 und 1. Aus dem Gesetz der großen Zahlen folgt, dass mit zunehmendem N die Verteilung von

${ displaystyle M_ {N}}$

konvergiert zu

${ displaystyle 0.5 = operatorname {E} [X]}}$

(der erwartete Wert eines einzelnen Münzwurfs).

Darüber hinaus folgt aus dem zentralen Grenzwertsatz, dass

${ displaystyle M_ {N}}$

ist ungefähr normal für große verteilt

${ displaystyle N}$

. Der zentrale Grenzwertsatz kann detailliertere Informationen über das Verhalten von liefern

${ displaystyle M_ {N}}$

als das Gesetz der großen Zahlen. Zum Beispiel können wir ungefähr eine Schwanzwahrscheinlichkeit von finden

${ displaystyle M_ {N}}$

,

${ displaystyle P (M_ {N}> x)}$

${ displaystyle M_ {N}}$

ist größer als

${ displaystyle x}$

für einen festen Wert von

${ displaystyle N}$

. Die Annäherung durch den zentralen Grenzwertsatz ist jedoch möglicherweise nicht genau, wenn

${ displaystyle x}$

ist weit entfernt von

${ displaystyle operatorname {E} [X_{i}]}}$

es sei denn

${ displaystyle N}$

ist ausreichend groß. Es liefert auch keine Informationen über die Konvergenz der Schwanzwahrscheinlichkeiten als

${ displaystyle N to infty}$

. Die Theorie der großen Abweichung kann jedoch Antworten auf solche Probleme liefern.

Lassen Sie uns diese Aussage präzisieren. Für einen bestimmten Wert

${ displaystyle 0.5$

Berechnen wir die Schwanzwahrscheinlichkeit

${ displaystyle P (M_ {N}> x)}$

${ displaystyle I (x) = x ln {x} + (1-x) ln (1-x) + ln {2}.}$

Beachten Sie, dass die Funktion

${ displaystyle I (x)}$

ist eine konvexe, nicht negative Funktion, die bei Null ist

${ displaystyle x = { tfrac {1} {2}}}$

und erhöht sich als

${ displaystyle x}$

nähert sich

${ displaystyle 1}$

. Es ist das Negative der Bernoulli-Entropie mit

${ displaystyle p = { tfrac {1} {2}};}$

Dass es für Münzwürfe geeignet ist, ergibt sich aus der asymptotischen Equipartition-Eigenschaft, die auf einen Bernoulli-Versuch angewendet wurde. Dann kann durch Chernoffs Ungleichung gezeigt werden, dass

${ displaystyle P (M_ {N}> x) < exp (-NI (x)).}$

^[2] Diese Grenze ist in dem Sinne ziemlich scharf

${ displaystyle I (x)}$

kann nicht durch eine größere Zahl ersetzt werden, die eine strikte Ungleichung für alle Positiven ergeben würde

${ displaystyle N.}$

^[3] (Die Exponentialgrenze kann jedoch immer noch um einen subexponentiellen Faktor in der Größenordnung von reduziert werden

${ displaystyle 1 / { sqrt {N}}}$

;; Dies folgt aus der Stirling-Näherung, die auf den in der Bernoulli-Verteilung auftretenden Binomialkoeffizienten angewendet wird.) Daher erhalten wir das folgende Ergebnis:

${ displaystyle P (M_ {N}> x) approx exp (-NI (x)).}$

${ displaystyle P (M_ {N}> x)}$

${ displaystyle N to infty}$

mit einer Rate abhängig von x. Diese Formel approximiert jede Schwanzwahrscheinlichkeit des Stichprobenmittelwerts von iid-Variablen und gibt ihre Konvergenz mit zunehmender Anzahl von Stichproben an.

Große Abweichungen für Summen unabhängiger Zufallsvariablen[edit]

Im obigen Beispiel des Münzwurfs haben wir ausdrücklich angenommen, dass jeder Wurf ein unabhängiger Versuch ist und die Wahrscheinlichkeit, Kopf oder Schwanz zu bekommen, immer gleich ist.

Lassen

${ displaystyle X, X_ {1}, X_ {2}, ldots}$

unabhängige und identisch verteilte (iid) Zufallsvariablen sein, deren gemeinsame Verteilung eine bestimmte Wachstumsbedingung erfüllt. Dann besteht die folgende Grenze:

${ displaystyle lim _ {N to infty} { frac {1} {N}} ln P (M_ {N}> x) = – I (x).}$

${ displaystyle M_ {N} = { frac {1} {N}} sum _ {i = 1} ^ {N} X_ {i},}$

wie vorher.

Funktion

${ displaystyle I ( cdot)}$

heißt das “Ratenfunktion” oder “Cramér-Funktion” oder manchmal die “Entropiefunktion”.

Die oben genannte Grenze bedeutet, dass für große

${ displaystyle N}$

,

${ displaystyle P (M_ {N}> x) ca. exp[-NI(x)],}$

[4]^[5]

Wenn wir die Wahrscheinlichkeitsverteilung von kennen

${ displaystyle X}$

kann ein expliziter Ausdruck für die Ratenfunktion erhalten werden. Dies wird durch eine Legendre-Fenchel-Transformation gegeben,^[6]

${ displaystyle I (x) = sup _ { theta> 0}[theta x-lambda (theta )],}$

${ displaystyle lambda ( theta) = ln operatorname {E} [exp(theta X)]}}$

wird als Cumulant Generating Function (CGF) und bezeichnet

${ displaystyle operatorname {E}}$

bezeichnet die mathematische Erwartung.

Wenn

${ displaystyle X}$

folgt eine Normalverteilung, wird die Ratenfunktion zu einer Parabel, deren Spitze im Mittel der Normalverteilung liegt.

Wenn

${ displaystyle {X_ {i} }}$

ist eine Markov-Kette, kann die oben angegebene Variante des grundlegenden Ergebnisses großer Abweichungen gelten.^{[citation needed]}

Formale Definition[edit]

Angesichts eines polnischen Raumes

${ displaystyle { mathcal {X}}}$

Lassen

${ displaystyle { mathbb {P} _ {N} }}$

eine Folge von Borel-Wahrscheinlichkeitsmessungen sein

${ displaystyle { mathcal {X}}}$

, Lassen

${ displaystyle {a_ {N} }}$

sei eine Folge von positiven reellen Zahlen, so dass

${ displaystyle lim _ {N} a_ {N} = infty,}$

und schließlich lassen

${ displaystyle I: { mathcal {X}} to [0,infty ]}}$

eine niedrigere halbkontinuierliche Funktion auf sein

${ displaystyle { mathcal {X}}.}$

Die Sequenz

${ displaystyle { mathbb {P} _ {N} }}$

soll a befriedigen Prinzip der großen Abweichung mit Geschwindigkeit

${ displaystyle {a_ {n} }}$

und Bewertung

${ displaystyle I}$

genau dann, wenn für jeden messbaren Borel-Satz

${ displaystyle E subset { mathcal {X}},}$

${ displaystyle – inf _ {x in E ^ { circ}} I (x) leq varliminf _ {N} a_ {N} ^ {- 1} log ( mathbb {P} _ {N. } (E)) leq varlimsup _ {N} a_ {N} ^ {- 1} log ( mathbb {P} _ {N} (E)) leq – inf _ {x in { Überstrich {E}}} I (x),}$

wo

${ displaystyle { overline {E}}}$

und

${ displaystyle E ^ { circ}}$

bezeichnen jeweils den Verschluss und das Innere von

${ displaystyle E.}$

^{[citation needed]}

Kurze Geschichte[edit]

Die ersten strengen Ergebnisse in Bezug auf große Abweichungen sind dem schwedischen Mathematiker Harald Cramér zu verdanken, der sie zur Modellierung des Versicherungsgeschäfts herangezogen hat.^[7] Aus Sicht einer Versicherungsgesellschaft ist das Einkommen mit einer konstanten Rate pro Monat (der monatlichen Prämie), aber die Ansprüche kommen zufällig. Damit das Unternehmen über einen bestimmten Zeitraum (vorzugsweise viele Monate) erfolgreich ist, sollte der Gesamtverdienst den Gesamtanspruch übersteigen. Um die Prämie zu schätzen, müssen Sie folgende Frage stellen: “Was sollen wir als Prämie wählen

${ displaystyle q}$

so dass vorbei

${ displaystyle N}$

Monate der Gesamtanspruch

${ displaystyle C = Sigma X_ {i}}$

sollte kleiner sein als

${ displaystyle Nq}$

?” Dies ist eindeutig die gleiche Frage, die auch die Theorie der großen Abweichungen stellt. Cramér gab eine Lösung für diese Frage für iid-Zufallsvariablen, bei der die Ratenfunktion als Potenzreihe ausgedrückt wird.

Eine sehr unvollständige Liste von Mathematikern, die wichtige Fortschritte gemacht haben, würde Petrov,^[8]Sanov,^[9]SRS Varadhan (der den Abel-Preis für seinen Beitrag zur Theorie gewonnen hat), D. Ruelle, OE Lanford, Amir Dembo und Ofer Zeitouni.^[10]

Anwendungen[edit]

Prinzipien großer Abweichungen können effektiv angewendet werden, um Informationen aus einem Wahrscheinlichkeitsmodell zu sammeln. Die Theorie der großen Abweichungen findet somit ihre Anwendung in der Informationstheorie und im Risikomanagement. In der Physik ergibt sich die bekannteste Anwendung der Theorie großer Abweichungen in der Thermodynamik und der statistischen Mechanik (in Verbindung mit der Beziehung zwischen Entropie und Geschwindigkeitsfunktion).

Große Abweichungen und Entropie[edit]

Die Ratenfunktion hängt mit der Entropie in der statistischen Mechanik zusammen. Dies kann heuristisch folgendermaßen gesehen werden. In der statistischen Mechanik hängt die Entropie eines bestimmten Makrozustands mit der Anzahl der Mikrozustände zusammen, die diesem Makrozustand entsprechen. In unserem Münzwurfbeispiel der Mittelwert

${ displaystyle M_ {N}}$

könnte einen bestimmten Makrozustand bezeichnen. Und die besondere Abfolge von Kopf und Zahl, die zu einem bestimmten Wert von führt

${ displaystyle M_ {N}}$

bildet einen bestimmten Mikrozustand. Ein Makrozustand mit einer höheren Anzahl von Mikrozuständen, die zu ihm führen, hat eine höhere Entropie. Und ein Zustand mit höherer Entropie hat eine höhere Chance, in tatsächlichen Experimenten verwirklicht zu werden. Der Makrozustand mit einem Mittelwert von 1/2 (so viele Köpfe wie Schwänze) weist die höchste Anzahl von Mikrozuständen auf, die ihn hervorrufen, und er ist tatsächlich der Zustand mit der höchsten Entropie. Und in den meisten praktischen Situationen werden wir diesen Makrozustand tatsächlich für eine große Anzahl von Versuchen erhalten. Das “Ratenfunktion” misst andererseits die Wahrscheinlichkeit des Auftretens eines bestimmten Makrozustands. Je kleiner die Ratenfunktion ist, desto höher ist die Wahrscheinlichkeit, dass ein Makrozustand auftritt. In unserem Münzwurf wird der Wert des “Ratenfunktion” für Mittelwert gleich 1/2 ist Null. Auf diese Weise kann man das sehen “Ratenfunktion” als das Negativ der “Entropie”.

Es besteht eine Beziehung zwischen dem “Ratenfunktion” In der Theorie großer Abweichungen und der Kullback-Leibler-Divergenz wird die Verbindung durch den Satz von Sanov hergestellt (siehe Sanov^[9] und Novak,^[11] CH. 14.5).

In einem besonderen Fall hängen große Abweichungen eng mit dem Konzept der Gromov-Hausdorff-Grenzen zusammen.^[12]

Siehe auch[edit]

Verweise[edit]

1. ^ SRS Varadhan, Asymptotische Wahrscheinlichkeits- und Differentialgleichungen, Comm. Reine Appl. Mathematik. 19 (1966), 261 & ndash; 286.
2. ^ “Große Abweichungen bei der Leistungsanalyse: Warteschlangen, Kommunikation und Datenverarbeitung”, Shwartz, Adam, 1953 – TN: 1228486
3. ^ Varadhan, SRS, The Annals of Probability 2008, Vol. 36, No. 2, 397–419, [1]
4. ^ http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf
5. ^ SRS Varadhan, Große Abweichungen und Anwendungen (SIAM, Philadelphia, 1984)
6. ^ Touchette, Hugo (1. Juli 2009). “Der Ansatz der großen Abweichung zur statistischen Mechanik”. Physikberichte. 478 (1–3): 1–69. arXiv:0804.0327. Bibcode:2009PhR … 478 …. 1T. doi:10.1016 / j.physrep.2009.05.002.
7. ^ Cramér, H. (1944). Auf einem neuen Grenzwertsatz der Wahrscheinlichkeitstheorie. Uspekhi Matematicheskikh Nauk, (10), 166-178.
8. ^ Petrov VV (1954) Verallgemeinerung des Grenzwertsatzes von Cramér. Uspehi Matem. Nauk, Vers 9, Nr. 4 (62), 195–202. (Russisch)
9. ^ ^{ein b} Sanov IN (1957) Zur Wahrscheinlichkeit großer Abweichungen zufälliger Größen. Matem. Sbornik, Vers 42 (84), 11-44.
10. ^ Dembo, A. & Zeitouni, O. (2009). Techniken und Anwendungen mit großen Abweichungen (Band 38). Springer Science & Business Media
11. ^ Novak SY (2011) Extremwertmethoden mit Finanzierungsanträgen. Chapman & Hall / CRC Press. ISBN 978-1-4398-3574-6.
12. ^ Kotani M., Sunada T. Große Abweichung und der Tangentenkegel im Unendlichen eines Kristallgitters, Mathematik. Z. 254 (2006), 837-870.

Literaturverzeichnis[edit]

• Speziell eingeladenes Papier: Große Abweichungen von SRS Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214 / 07-AOP348
• Entropie, große Abweichungen und statistische Mechanik von RS Ellis, Springer Publication. ISBN 3-540-29059-1
• Große Abweichungen für die Leistungsanalyse von Alan Weiss und Adam Shwartz. Chapman und Hall ISBN 0-412-06311-5
• Techniken und Anwendungen mit großen Abweichungen von Amir Dembo und Ofer Zeitouni. Springer ISBN 0-387-98406-2
• Zufällige Störungen dynamischer Systeme von MI Freidlin und AD Wentzell. Springer ISBN 0-387-98362-7
• “Große Abweichungen für die zweidimensionale Navier-Stokes-Gleichung mit multiplikativem Rauschen”, SS Sritharan und P. Sundar, Stochastic Processes and Their Applications. 116 (2006) 1636–1659.[2]
• “Große Abweichungen für das stochastische Schalenmodell der Turbulenz”U. Manna, SS Sritharan und P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), no. 4, 493–521.[3]

Externe Links[edit]