Theorie großer Abweichungen – Wikipedia
Zweig der Wahrscheinlichkeitstheorie
In der Wahrscheinlichkeitstheorie ist die Theorie von große Abweichungen betrifft das asymptotische Verhalten entfernter Schwänze von Sequenzen von Wahrscheinlichkeitsverteilungen. Während einige Grundgedanken der Theorie auf Laplace zurückgeführt werden können, begann die Formalisierung mit der Versicherungsmathematik, nämlich der Ruinentheorie mit Cramér und Lundberg. Eine einheitliche Formalisierung der Theorie großer Abweichungen wurde 1966 in einem Artikel von Varadhan entwickelt.[1] Die Theorie großer Abweichungen formalisiert die heuristischen Ideen von Konzentration der Maßnahmen und verallgemeinert weitgehend den Begriff der Konvergenz von Wahrscheinlichkeitsmaßen.
Grob gesagt befasst sich die Theorie der großen Abweichungen mit dem exponentiellen Rückgang der Wahrscheinlichkeitsmaße bestimmter Arten von Extremen oder Schwanz Veranstaltungen.
Einführungsbeispiele[edit]
Ein elementares Beispiel[edit]
Betrachten Sie eine Folge von unabhängigen Würfen einer fairen Münze. Die möglichen Ergebnisse könnten Kopf oder Zahl sein. Bezeichnen wir das mögliche Ergebnis des i-ten Versuchs mit
wo wir Kopf als 1 und Schwanz als 0 codieren. Nun lassen wir
bezeichnen den Mittelwert nach
Versuche, nämlich
Dann
liegt zwischen 0 und 1. Aus dem Gesetz der großen Zahlen folgt, dass mit zunehmendem N die Verteilung von
konvergiert zu
(der erwartete Wert eines einzelnen Münzwurfs).
Darüber hinaus folgt aus dem zentralen Grenzwertsatz, dass
ist ungefähr normal für große verteilt
. Der zentrale Grenzwertsatz kann detailliertere Informationen über das Verhalten von liefern
als das Gesetz der großen Zahlen. Zum Beispiel können wir ungefähr eine Schwanzwahrscheinlichkeit von finden
,
ist größer als
für einen festen Wert von
. Die Annäherung durch den zentralen Grenzwertsatz ist jedoch möglicherweise nicht genau, wenn
ist weit entfernt von
es sei denn
ist ausreichend groß. Es liefert auch keine Informationen über die Konvergenz der Schwanzwahrscheinlichkeiten als
. Die Theorie der großen Abweichung kann jedoch Antworten auf solche Probleme liefern.
Lassen Sie uns diese Aussage präzisieren. Für einen bestimmten Wert
Berechnen wir die Schwanzwahrscheinlichkeit
Beachten Sie, dass die Funktion
ist eine konvexe, nicht negative Funktion, die bei Null ist
und erhöht sich als
nähert sich
. Es ist das Negative der Bernoulli-Entropie mit
Dass es für Münzwürfe geeignet ist, ergibt sich aus der asymptotischen Equipartition-Eigenschaft, die auf einen Bernoulli-Versuch angewendet wurde. Dann kann durch Chernoffs Ungleichung gezeigt werden, dass
[2] Diese Grenze ist in dem Sinne ziemlich scharf
kann nicht durch eine größere Zahl ersetzt werden, die eine strikte Ungleichung für alle Positiven ergeben würde
[3] (Die Exponentialgrenze kann jedoch immer noch um einen subexponentiellen Faktor in der Größenordnung von reduziert werden
;; Dies folgt aus der Stirling-Näherung, die auf den in der Bernoulli-Verteilung auftretenden Binomialkoeffizienten angewendet wird.) Daher erhalten wir das folgende Ergebnis:
- mit einer Rate abhängig von x. Diese Formel approximiert jede Schwanzwahrscheinlichkeit des Stichprobenmittelwerts von iid-Variablen und gibt ihre Konvergenz mit zunehmender Anzahl von Stichproben an.
Große Abweichungen für Summen unabhängiger Zufallsvariablen[edit]
Im obigen Beispiel des Münzwurfs haben wir ausdrücklich angenommen, dass jeder Wurf ein unabhängiger Versuch ist und die Wahrscheinlichkeit, Kopf oder Schwanz zu bekommen, immer gleich ist.
Lassen
unabhängige und identisch verteilte (iid) Zufallsvariablen sein, deren gemeinsame Verteilung eine bestimmte Wachstumsbedingung erfüllt. Dann besteht die folgende Grenze:
wie vorher.
Funktion
heißt das “Ratenfunktion” oder “Cramér-Funktion” oder manchmal die “Entropiefunktion”.
Die oben genannte Grenze bedeutet, dass für große
,
Wenn wir die Wahrscheinlichkeitsverteilung von kennen
kann ein expliziter Ausdruck für die Ratenfunktion erhalten werden. Dies wird durch eine Legendre-Fenchel-Transformation gegeben,[6] [4][5]wird als Cumulant Generating Function (CGF) und bezeichnet
bezeichnet die mathematische Erwartung.
Wenn
folgt eine Normalverteilung, wird die Ratenfunktion zu einer Parabel, deren Spitze im Mittel der Normalverteilung liegt.
Wenn
ist eine Markov-Kette, kann die oben angegebene Variante des grundlegenden Ergebnisses großer Abweichungen gelten.[citation needed]
Formale Definition[edit]
Angesichts eines polnischen Raumes
Lassen
eine Folge von Borel-Wahrscheinlichkeitsmessungen sein
, Lassen
sei eine Folge von positiven reellen Zahlen, so dass
und schließlich lassen
eine niedrigere halbkontinuierliche Funktion auf sein
Die Sequenz
soll a befriedigen Prinzip der großen Abweichung mit Geschwindigkeit
und Bewertung
genau dann, wenn für jeden messbaren Borel-Satz
wo
und
bezeichnen jeweils den Verschluss und das Innere von
[citation needed]
Kurze Geschichte[edit]
Die ersten strengen Ergebnisse in Bezug auf große Abweichungen sind dem schwedischen Mathematiker Harald Cramér zu verdanken, der sie zur Modellierung des Versicherungsgeschäfts herangezogen hat.[7] Aus Sicht einer Versicherungsgesellschaft ist das Einkommen mit einer konstanten Rate pro Monat (der monatlichen Prämie), aber die Ansprüche kommen zufällig. Damit das Unternehmen über einen bestimmten Zeitraum (vorzugsweise viele Monate) erfolgreich ist, sollte der Gesamtverdienst den Gesamtanspruch übersteigen. Um die Prämie zu schätzen, müssen Sie folgende Frage stellen: “Was sollen wir als Prämie wählen
so dass vorbei
Monate der Gesamtanspruch
sollte kleiner sein als
?” Dies ist eindeutig die gleiche Frage, die auch die Theorie der großen Abweichungen stellt. Cramér gab eine Lösung für diese Frage für iid-Zufallsvariablen, bei der die Ratenfunktion als Potenzreihe ausgedrückt wird.
Eine sehr unvollständige Liste von Mathematikern, die wichtige Fortschritte gemacht haben, würde Petrov,[8]Sanov,[9]SRS Varadhan (der den Abel-Preis für seinen Beitrag zur Theorie gewonnen hat), D. Ruelle, OE Lanford, Amir Dembo und Ofer Zeitouni.[10]
Anwendungen[edit]
Prinzipien großer Abweichungen können effektiv angewendet werden, um Informationen aus einem Wahrscheinlichkeitsmodell zu sammeln. Die Theorie der großen Abweichungen findet somit ihre Anwendung in der Informationstheorie und im Risikomanagement. In der Physik ergibt sich die bekannteste Anwendung der Theorie großer Abweichungen in der Thermodynamik und der statistischen Mechanik (in Verbindung mit der Beziehung zwischen Entropie und Geschwindigkeitsfunktion).
Große Abweichungen und Entropie[edit]
Die Ratenfunktion hängt mit der Entropie in der statistischen Mechanik zusammen. Dies kann heuristisch folgendermaßen gesehen werden. In der statistischen Mechanik hängt die Entropie eines bestimmten Makrozustands mit der Anzahl der Mikrozustände zusammen, die diesem Makrozustand entsprechen. In unserem Münzwurfbeispiel der Mittelwert
könnte einen bestimmten Makrozustand bezeichnen. Und die besondere Abfolge von Kopf und Zahl, die zu einem bestimmten Wert von führt
bildet einen bestimmten Mikrozustand. Ein Makrozustand mit einer höheren Anzahl von Mikrozuständen, die zu ihm führen, hat eine höhere Entropie. Und ein Zustand mit höherer Entropie hat eine höhere Chance, in tatsächlichen Experimenten verwirklicht zu werden. Der Makrozustand mit einem Mittelwert von 1/2 (so viele Köpfe wie Schwänze) weist die höchste Anzahl von Mikrozuständen auf, die ihn hervorrufen, und er ist tatsächlich der Zustand mit der höchsten Entropie. Und in den meisten praktischen Situationen werden wir diesen Makrozustand tatsächlich für eine große Anzahl von Versuchen erhalten. Das “Ratenfunktion” misst andererseits die Wahrscheinlichkeit des Auftretens eines bestimmten Makrozustands. Je kleiner die Ratenfunktion ist, desto höher ist die Wahrscheinlichkeit, dass ein Makrozustand auftritt. In unserem Münzwurf wird der Wert des “Ratenfunktion” für Mittelwert gleich 1/2 ist Null. Auf diese Weise kann man das sehen “Ratenfunktion” als das Negativ der “Entropie”.
Es besteht eine Beziehung zwischen dem “Ratenfunktion” In der Theorie großer Abweichungen und der Kullback-Leibler-Divergenz wird die Verbindung durch den Satz von Sanov hergestellt (siehe Sanov[9] und Novak,[11] CH. 14.5).
In einem besonderen Fall hängen große Abweichungen eng mit dem Konzept der Gromov-Hausdorff-Grenzen zusammen.[12]
Siehe auch[edit]
Verweise[edit]
- ^ SRS Varadhan, Asymptotische Wahrscheinlichkeits- und Differentialgleichungen, Comm. Reine Appl. Mathematik. 19 (1966), 261 & ndash; 286.
- ^ “Große Abweichungen bei der Leistungsanalyse: Warteschlangen, Kommunikation und Datenverarbeitung”, Shwartz, Adam, 1953 – TN: 1228486
- ^ Varadhan, SRS, The Annals of Probability 2008, Vol. 36, No. 2, 397–419, [1]
- ^ http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf
- ^ SRS Varadhan, Große Abweichungen und Anwendungen (SIAM, Philadelphia, 1984)
- ^ Touchette, Hugo (1. Juli 2009). “Der Ansatz der großen Abweichung zur statistischen Mechanik”. Physikberichte. 478 (1–3): 1–69. arXiv:0804.0327. Bibcode:2009PhR … 478 …. 1T. doi:10.1016 / j.physrep.2009.05.002.
- ^ Cramér, H. (1944). Auf einem neuen Grenzwertsatz der Wahrscheinlichkeitstheorie. Uspekhi Matematicheskikh Nauk, (10), 166-178.
- ^ Petrov VV (1954) Verallgemeinerung des Grenzwertsatzes von Cramér. Uspehi Matem. Nauk, Vers 9, Nr. 4 (62), 195–202. (Russisch)
- ^ ein b Sanov IN (1957) Zur Wahrscheinlichkeit großer Abweichungen zufälliger Größen. Matem. Sbornik, Vers 42 (84), 11-44.
- ^ Dembo, A. & Zeitouni, O. (2009). Techniken und Anwendungen mit großen Abweichungen (Band 38). Springer Science & Business Media
- ^ Novak SY (2011) Extremwertmethoden mit Finanzierungsanträgen. Chapman & Hall / CRC Press. ISBN 978-1-4398-3574-6.
- ^ Kotani M., Sunada T. Große Abweichung und der Tangentenkegel im Unendlichen eines Kristallgitters, Mathematik. Z. 254 (2006), 837-870.
Literaturverzeichnis[edit]
- Speziell eingeladenes Papier: Große Abweichungen von SRS Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214 / 07-AOP348
- Entropie, große Abweichungen und statistische Mechanik von RS Ellis, Springer Publication. ISBN 3-540-29059-1
- Große Abweichungen für die Leistungsanalyse von Alan Weiss und Adam Shwartz. Chapman und Hall ISBN 0-412-06311-5
- Techniken und Anwendungen mit großen Abweichungen von Amir Dembo und Ofer Zeitouni. Springer ISBN 0-387-98406-2
- Zufällige Störungen dynamischer Systeme von MI Freidlin und AD Wentzell. Springer ISBN 0-387-98362-7
- “Große Abweichungen für die zweidimensionale Navier-Stokes-Gleichung mit multiplikativem Rauschen”, SS Sritharan und P. Sundar, Stochastic Processes and Their Applications. 116 (2006) 1636–1659.[2]
- “Große Abweichungen für das stochastische Schalenmodell der Turbulenz”U. Manna, SS Sritharan und P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), no. 4, 493–521.[3]
Externe Links[edit]
Recent Comments