Steins Beispiel – Wikipedia

Das Phänomen der gemeinsamen Schätzung ist manchmal streng besser als die serielle Schätzung über Parameter hinweg

Steins Beispiel (oder Phänomen oder Paradox) ist in der Entscheidungstheorie und der Schätzungstheorie das Phänomen, dass, wenn drei oder mehr Parameter gleichzeitig geschätzt werden, kombinierte Schätzer existieren, die im Durchschnitt genauer sind (dh einen niedrigeren erwarteten mittleren quadratischen Fehler aufweisen) als jede Methode, die die Parameter separat behandelt. Es ist nach Charles Stein von der Stanford University benannt, der das Phänomen 1955 entdeckte.^[1]

Eine intuitive Erklärung ist, dass die Optimierung für den mittleren quadratischen Fehler von a kombiniert Schätzer ist nicht dasselbe wie Optimieren für die Fehler separater Schätzer der einzelnen Parameter. In der Praxis sollte, wenn der kombinierte Fehler tatsächlich von Interesse ist, ein kombinierter Schätzer verwendet werden, selbst wenn die zugrunde liegenden Parameter unabhängig sind. Wenn man stattdessen daran interessiert ist, einen einzelnen Parameter zu schätzen, hilft die Verwendung eines kombinierten Schätzers nicht und ist in der Tat schlechter.

Formelle Stellungnahme[edit]

Das Folgende ist vielleicht die einfachste Form des Paradoxons, der Sonderfall, in dem die Anzahl der Beobachtungen gleich der Anzahl der zu schätzenden Parameter ist. Lassen θ sei ein Vektor bestehend aus n ≥ 3 unbekannte Parameter. Um diese Parameter abzuschätzen, eine einzelne Messung X._ich wird für jeden Parameter durchgeführt θ_ich, was zu einem Vektor führt X. von Länge n. Angenommen, die Messungen sind als unabhängige Gaußsche Zufallsvariablen mit Mittelwert bekannt θ und Varianz 1, dh

${ displaystyle { mathbf {X}} sim N ({ boldsymbol { theta}}, 1).}$

Somit wird jeder Parameter unter Verwendung einer einzelnen verrauschten Messung geschätzt, und jede Messung ist gleichermaßen ungenau.

Unter diesen Bedingungen ist es intuitiv und üblich, jede Messung als Schätzung des entsprechenden Parameters zu verwenden. Diese sogenannte “gewöhnliche” Entscheidungsregel kann wie folgt geschrieben werden

${ displaystyle { hat { boldsymbol { theta}}} = { mathbf {X}}.}$

Die Qualität eines solchen Schätzers wird an seiner Risikofunktion gemessen. Eine häufig verwendete Risikofunktion ist der mittlere quadratische Fehler, definiert als

${ displaystyle operatorname {E} left[left|{boldsymbol {theta }}-{hat {boldsymbol {theta }}}right|^{2}right].}$

Überraschenderweise stellt sich heraus, dass der oben vorgeschlagene “gewöhnliche” Schätzer hinsichtlich des mittleren quadratischen Fehlers suboptimal ist, wenn n ≥ 3. Mit anderen Worten, in der hier diskutierten Einstellung gibt es alternative Schätzer, die immer niedriger erreichen bedeuten quadratischer Fehler, egal welchen Wert

${ displaystyle { boldsymbol { theta}}}$

ist.

Für ein gegebenes θ man könnte offensichtlich einen perfekten “Schätzer” definieren, der immer gerecht ist θ, aber dieser Schätzer wäre schlecht für andere Werte von θ. Die Schätzer von Steins Paradoxon sind selbstverständlich θ, besser als X. für einige Werte von X. aber notwendigerweise schlimmer für andere (außer vielleicht für einen bestimmten θ Vektor, für den die neue Schätzung immer besser ist als X.). Es ist nur im Durchschnitt, dass sie besser sind.

Genauer gesagt, ein Schätzer

${ displaystyle { hat { boldsymbol { theta}}} _ {1}}$

soll einen anderen Schätzer dominieren

${ displaystyle { hat { boldsymbol { theta}}} _ {2}}$

if, für alle Werte von

${ displaystyle { boldsymbol { theta}}}$

, das Risiko von

${ displaystyle { hat { boldsymbol { theta}}} _ {1}}$

ist niedriger als oder gleich dem Risiko von

${ displaystyle { hat { boldsymbol { theta}}} _ {2}}$

, und wenn die Ungleichung für einige streng ist

${ displaystyle { boldsymbol { theta}}}$

. Ein Schätzer gilt als zulässig, wenn ihn kein anderer Schätzer beherrscht, andernfalls unzulässig. Somit kann Steins Beispiel einfach wie folgt angegeben werden: Die gewöhnliche Entscheidungsregel zur Schätzung des Mittelwerts einer multivariaten Gaußschen Verteilung ist unter dem mittleren quadratischen Fehlerrisiko unzulässig.

Viele einfache, praktische Schätzer erzielen eine bessere Leistung als der gewöhnliche Schätzer. Das bekannteste Beispiel ist der James-Stein-Schätzer, der ab beginnt X. und Bewegen zu einem bestimmten Punkt (wie dem Ursprung) um einen Betrag, der umgekehrt proportional zur Entfernung von ist X. von diesem Punkt.

Eine Skizze des Beweises dieses Ergebnisses finden Sie unter Beweis von Steins Beispiel. Ein alternativer Beweis geht an Larry Brown: Er hat bewiesen, dass der gewöhnliche Schätzer für a n-dimensionaler multivariater Normalmittelvektor ist genau dann zulässig, wenn der n-dimensionale Brownsche Bewegung ist wiederkehrend.^[2] Da die Brownsche Bewegung für nicht wiederkehrend ist n ≥ 3 ist der gewöhnliche Schätzer für nicht zulässig n ≥ 3.

Implikationen[edit]

Steins Beispiel ist überraschend, da die “gewöhnliche” Entscheidungsregel intuitiv ist und häufig verwendet wird. Tatsächlich führen zahlreiche Verfahren zur Schätzerkonstruktion, einschließlich der Maximum-Likelihood-Schätzung, der besten linearen unverzerrten Schätzung, der Schätzung der kleinsten Quadrate und der optimalen äquivarianten Schätzung, alle zu dem “gewöhnlichen” Schätzer. Wie oben diskutiert, ist dieser Schätzer jedoch nicht optimal.

Betrachten Sie das folgende reale Beispiel, um die Unintuitivität von Steins Beispiel zu demonstrieren. Nehmen wir an, wir schätzen drei unabhängige Parameter, wie den US-Weizenertrag für 1993, die Anzahl der Zuschauer beim Wimbledon-Tennisturnier im Jahr 2001 und das Gewicht eines zufällig ausgewählten Schokoriegels aus dem Supermarkt. Angenommen, wir haben unabhängige Gaußsche Messungen für jede dieser Größen. Steins Beispiel zeigt uns nun, dass wir eine bessere Schätzung (im Durchschnitt) für den Vektor von drei Parametern erhalten können, indem wir gleichzeitig die drei nicht verwandten Messungen verwenden.

Auf den ersten Blick scheint es, dass wir irgendwie einen besseren Schätzer für den US-Weizenertrag erhalten, indem wir einige andere unabhängige Statistiken messen, wie die Anzahl der Zuschauer in Wimbledon und das Gewicht eines Schokoriegels. Das ist natürlich absurd; Wir haben selbst keinen besseren Schätzer für den US-Weizenertrag erhalten, aber wir haben einen Schätzer für den Vektor der Mittelwerte aller drei Zufallsvariablen erstellt, der sich verringert gesamt Risiko. Dies liegt daran, dass die Kosten einer schlechten Schätzung in einer Komponente des Vektors durch eine bessere Schätzung in einer anderen Komponente kompensiert werden. Außerdem ist ein bestimmter Satz der drei mit dem neuen Schätzer erhaltenen geschätzten Mittelwerte nicht unbedingt besser als der gewöhnliche Satz (die gemessenen Werte). Nur im Durchschnitt ist der neue Schätzer besser.

Eine intuitive Erklärung[edit]

Für einen bestimmten Wert von θ Der neue Schätzer verbessert mindestens einen der einzelnen mittleren quadratischen Fehler

${ displaystyle operatorname {E} left[left({theta _{i}}-{{hat {theta }}_{i}}right)^{2}right].}$

Das ist nicht schwer – zum Beispiel, wenn

${ displaystyle theta _ {1}}$

liegt zwischen -1 und 1 und σ = 1, dann bewegt sich ein Schätzer

${ displaystyle X_ {1}}$

gegen 0 um 0,5 (oder setzt es auf Null, wenn sein absoluter Wert kleiner als 0,5 war) hat einen niedrigeren mittleren quadratischen Fehler als

${ displaystyle X_ {1}}$

selbst. Es gibt aber auch andere Werte von

${ displaystyle theta _ {1}}$

für die dieser Schätzer schlechter ist als

${ displaystyle X_ {1}}$

selbst. Der Trick des Stein-Schätzers und anderer, die das Stein-Paradoxon ergeben, besteht darin, dass sie die Verschiebung so anpassen, dass es immer (für jeden) gibt θ Vektor) mindestens eine

${ displaystyle X_ {i}}$

deren mittlerer quadratischer Fehler verbessert wird und dessen Verbesserung eine Verschlechterung des mittleren quadratischen Fehlers, die bei einem anderen auftreten könnte, mehr als kompensiert

${ displaystyle { hat { theta}} _ {i}}$

. Das Problem ist, ohne es zu wissen θSie wissen nicht, welche der n Die mittleren quadratischen Fehler werden verbessert, sodass Sie den Stein-Schätzer nicht nur für diese Parameter verwenden können.

Ein Beispiel für die obige Einstellung tritt beispielsweise bei der Kanalschätzung in der Telekommunikation auf, weil verschiedene Faktoren die Gesamtkanalleistung beeinflussen.

Siehe auch[edit]

Verweise[edit]

• Efron, B.; Morris, C. (1977), “Steins Paradoxon in der Statistik” (PDF), Wissenschaftlicher Amerikaner, 236 (5): 119–127, doi:10.1038 / Scientificamerican0577-119
• Lehmann, EL; Casella, G. (1998), “ch.5”, Theorie der Punktschätzung (2. Aufl.), ISBN 0-471-05849-1
• Stein, C. (1956). “Unzulässigkeit des üblichen Schätzers für den Mittelwert einer multivariaten Verteilung”. Vorträge des dritten Berkeley-Symposiums für mathematische Statistik und Wahrscheinlichkeit. 1. S. 197–206. HERR 0084922.
• Samworth, RJ (2012), “Steins Paradoxon” (PDF), Eureka, 62: 38–41