Lineare kleinste Quadrate – Wikipedia

Lineare kleinste Quadrate ((LLS) ist die Annäherung der kleinsten Quadrate an lineare Funktionen an Daten. Es handelt sich um eine Reihe von Formulierungen zur Lösung statistischer Probleme bei der linearen Regression, einschließlich Varianten für gewöhnliche (ungewichtete), gewichtete und verallgemeinerte (korrelierte) Residuen. Numerische Verfahren für lineare kleinste Quadrate umfassen das Invertieren der Matrix der Normalgleichungen und orthogonale Zerlegungsverfahren.

Hauptformulierungen[edit]

Die drei wichtigsten linearen Formulierungen der kleinsten Quadrate sind:

Alternative Formulierungen[edit]

Andere Formulierungen umfassen:

Und dazu, Prozentsatz der kleinsten Quadrate konzentriert sich auf die Reduzierung prozentualer Fehler, was im Bereich der Prognose oder Zeitreihenanalyse nützlich ist. Dies ist auch in Situationen nützlich, in denen die abhängige Variable einen großen Bereich ohne konstante Varianz aufweist, da hier die größeren Residuen am oberen Ende des Bereichs dominieren würden, wenn OLS verwendet würde. Wenn der prozentuale oder relative Fehler normal verteilt ist, liefert die prozentuale Regression der kleinsten Quadrate Schätzungen der maximalen Wahrscheinlichkeit. Die prozentuale Regression ist mit einem multiplikativen Fehlermodell verknüpft, während OLS mit Modellen verknüpft ist, die einen additiven Fehlerterm enthalten.^[6]

Bei eingeschränkten kleinsten Quadraten ist man daran interessiert, ein lineares Problem der kleinsten Quadrate mit einer zusätzlichen Einschränkung der Lösung zu lösen.

Zielfunktion[edit]

In OLS (dh unter Annahme ungewichteter Beobachtungen) wird der optimale Wert der Zielfunktion durch Ersetzen des Koeffizientenvektors durch den optimalen Ausdruck ermittelt:

${ displaystyle S = mathbf {y} ^ { rm {T}} ( mathbf {I} – mathbf {H}) ^ { rm {T}} ( mathbf {I} – mathbf {H. }) mathbf {y} = mathbf {y} ^ { rm {T}} ( mathbf {I} – mathbf {H}) mathbf {y},}$

wo

${ displaystyle mathbf {H} = mathbf {X} ( mathbf {X} ^ { mathsf {T}} mathbf {X}) ^ {- 1} mathbf {X} ^ { mathsf {T. }}}$

, die letztere Gleichheit gilt seitdem

${ displaystyle ( mathbf {I} – mathbf {H})}$

ist symmetrisch und idempotent. Daraus kann gezeigt werden^[7] dass bei entsprechender Gewichtszuordnung der erwartete Wert von S. ist m– – n . Wenn stattdessen Einheitsgewichte angenommen werden, wird der erwartete Wert von S. ist

${ displaystyle (mn) sigma ^ {2}}$

, wo

${ displaystyle sigma ^ {2}}$

ist die Varianz jeder Beobachtung.

Wenn angenommen wird, dass die Residuen zu einer Normalverteilung gehören, gehört die Zielfunktion, die eine Summe der gewichteten quadratischen Residuen ist, zu einem Chi-Quadrat (

${ displaystyle chi ^ {2}}$

) Verteilung mit m – – nFreiheitsgrade. Einige veranschaulichende Perzentilwerte von

${ displaystyle chi ^ {2}}$

sind in der folgenden Tabelle angegeben.^[8]

${ displaystyle { begin {array} {r | ccc} mn & chi _ {0,50} ^ {2} & chi _ {0,95} ^ {2} & chi _ {0,99} ^ {2} \ hline 10 & 9.34 & 18.3 & 23.2 \ 25 & 24.3 & 37.7 & 44.3 \ 100 & 99.3 & 124 & 136 end {array}}}$

Diese Werte können für ein statistisches Kriterium hinsichtlich der Anpassungsgüte verwendet werden. Wenn Einheitsgewichte verwendet werden, sollten die Zahlen durch die Varianz einer Beobachtung geteilt werden.

Für WLS wird die obige gewöhnliche Zielfunktion durch einen gewichteten Durchschnitt der Residuen ersetzt.

Diskussion[edit]

In Statistik und Mathematik lineare kleinste Quadrate ist ein Ansatz zum Anpassen eines mathematischen oder statistischen Modells an Daten in Fällen, in denen der vom Modell für einen Datenpunkt bereitgestellte idealisierte Wert linear als unbekannte Parameter des Modells ausgedrückt wird. Das resultierende angepasste Modell kann verwendet werden, um die Daten zusammenzufassen, nicht beobachtete Werte aus demselben System vorherzusagen und die Mechanismen zu verstehen, die dem System zugrunde liegen können.

Mathematisch gesehen sind lineare kleinste Quadrate das Problem der ungefähren Lösung eines überbestimmten linearen Gleichungssystems EIN x = b, wo b ist kein Element des Spaltenraums der Matrix EIN. Die ungefähre Lösung wird als exakte Lösung zu realisiert EIN x = b ‘, wo b ‘ ist die Projektion von b auf den Spaltenraum von EIN. Die beste Annäherung ist dann die, die die Summe der quadratischen Differenzen zwischen den Datenwerten und ihren entsprechenden modellierten Werten minimiert. Der Ansatz heißt linearkleinste Quadrate, da die angenommene Funktion in den zu schätzenden Parametern linear ist. Probleme mit linearen kleinsten Quadraten sind konvex und haben eine einzigartige Lösung in geschlossener Form, vorausgesetzt, die Anzahl der zum Anpassen verwendeten Datenpunkte entspricht oder überschreitet die Anzahl unbekannter Parameter, außer in speziellen entarteten Situationen. Im Gegensatz dazu müssen nichtlineare Probleme der kleinsten Quadrate im Allgemeinen durch ein iteratives Verfahren gelöst werden, und die Probleme können mit mehreren Optima für die Zielfunktion nicht konvex sein. Wenn vorherige Verteilungen verfügbar sind, kann mit dem Bayes’schen MMSE-Schätzer sogar ein unterbestimmtes System gelöst werden.

In der Statistik entsprechen lineare Probleme der kleinsten Quadrate einem besonders wichtigen Typ eines statistischen Modells, der als lineare Regression bezeichnet wird und als eine bestimmte Form der Regressionsanalyse auftritt. Eine Grundform eines solchen Modells ist ein gewöhnliches Modell der kleinsten Quadrate. Der vorliegende Artikel konzentriert sich auf die mathematischen Aspekte linearer Probleme der kleinsten Quadrate, wobei die Formulierung und Interpretation statistischer Regressionsmodelle und die damit verbundenen statistischen Schlussfolgerungen in den gerade erwähnten Artikeln behandelt werden. Eine Übersicht über das Thema finden Sie unter Übersicht über die Regressionsanalyse.

Eigenschaften[edit]

Wenn die experimentellen Fehler,

${ displaystyle epsilon ,}$

sind unkorreliert, haben einen Mittelwert von Null und eine konstante Varianz,

${ displaystyle sigma}$

Der Gauß-Markov-Satz besagt, dass der Schätzer der kleinsten Quadrate,

${ displaystyle { hat { boldsymbol { beta}}}}$

hat die minimale Varianz aller Schätzer, die lineare Kombinationen der Beobachtungen sind. In diesem Sinne ist es der beste oder optimale Schätzer der Parameter. Beachten Sie insbesondere, dass diese Eigenschaft unabhängig von der statistischen Verteilungsfunktion der Fehler ist. Mit anderen Worten, Die Verteilungsfunktion der Fehler muss keine Normalverteilung sein. Für einige Wahrscheinlichkeitsverteilungen gibt es jedoch keine Garantie dafür, dass die Lösung der kleinsten Quadrate angesichts der Beobachtungen überhaupt möglich ist. In solchen Fällen ist es jedoch der beste Schätzer, der sowohl linear als auch unvoreingenommen ist.

Zum Beispiel ist es leicht zu zeigen, dass das arithmetische Mittel eines Satzes von Messungen einer Größe der Schätzer der kleinsten Quadrate des Wertes dieser Größe ist. Wenn die Bedingungen des Gauß-Markov-Theorems zutreffen, ist das arithmetische Mittel unabhängig von der Verteilung der Messfehler optimal.

Für den Fall, dass die experimentellen Fehler zu einer Normalverteilung gehören, ist der Schätzer der kleinsten Quadrate auch ein Schätzer für die maximale Wahrscheinlichkeit.^[9]

Diese Eigenschaften untermauern die Verwendung der Methode der kleinsten Quadrate für alle Arten der Datenanpassung, auch wenn die Annahmen nicht streng gültig sind.

Einschränkungen[edit]

Eine der oben angegebenen Behandlung zugrunde liegende Annahme ist, dass die unabhängige Variable, x ist fehlerfrei. In der Praxis sind die Fehler bei den Messungen der unabhängigen Variablen normalerweise viel kleiner als die Fehler bei der abhängigen Variablen und können daher ignoriert werden. Wenn dies nicht der Fall ist, werden die kleinsten Quadrate oder allgemeiner Fehler-in-Variablen-Modelle oder rigorose kleinste Quadrate, sollte benutzt werden. Dies kann erreicht werden, indem das Gewichtungsschema angepasst wird, um Fehler sowohl bei den abhängigen als auch bei den unabhängigen Variablen zu berücksichtigen, und dann dem Standardverfahren gefolgt wird.^[10][11]

In einigen Fällen die (gewichtete) Normalgleichungsmatrix X.^T.X. ist schlecht konditioniert. Bei der Anpassung von Polynomen ist die Normalgleichungsmatrix eine Vandermonde-Matrix. Vandermonde-Matrizen werden mit zunehmender Reihenfolge der Matrix zunehmend schlecht konditioniert.^{[citation needed]} In diesen Fällen verstärkt die Schätzung der kleinsten Quadrate das Messrauschen und kann stark ungenau sein.^{[citation needed]} In solchen Fällen können verschiedene Regularisierungstechniken angewendet werden, von denen die häufigste als Gratregression bezeichnet wird. Wenn weitere Informationen zu den Parametern bekannt sind, beispielsweise ein Bereich möglicher Werte von

${ displaystyle mathbf { hat { boldsymbol { beta}}}}$

Dann können verschiedene Techniken verwendet werden, um die Stabilität der Lösung zu erhöhen. Siehe beispielsweise eingeschränkte kleinste Quadrate.

Ein weiterer Nachteil des Schätzers der kleinsten Quadrate ist die Tatsache, dass die Norm der Residuen,

${ displaystyle | mathbf {y} -X { hat { boldsymbol { beta}}} |}$

wird minimiert, während man in einigen Fällen wirklich daran interessiert ist, einen kleinen Fehler im Parameter zu erhalten

${ displaystyle mathbf { hat { boldsymbol { beta}}}}$

zB ein kleiner Wert von

${ displaystyle | { boldsymbol { beta}} – { hat { boldsymbol { beta}}} |}$

.^{[citation needed]} Da jedoch der wahre Parameter

${ displaystyle { boldsymbol { beta}}}$

ist notwendigerweise unbekannt, kann diese Menge nicht direkt minimiert werden. Wenn eine vorherige Wahrscheinlichkeit auf

${ displaystyle { hat { boldsymbol { beta}}}}$

bekannt ist, kann dann ein Bayes-Schätzer verwendet werden, um den mittleren quadratischen Fehler zu minimieren,

${ displaystyle E left { | { boldsymbol { beta}} – { hat { boldsymbol { beta}}} | ^ {2} right }}$

. Die Methode der kleinsten Quadrate wird häufig angewendet, wenn kein Prior bekannt ist. Überraschenderweise können, wenn mehrere Parameter gemeinsam geschätzt werden, bessere Schätzer konstruiert werden, ein Effekt, der als Stein-Phänomen bekannt ist. Wenn der Messfehler beispielsweise Gaußsch ist, sind mehrere Schätzer bekannt, die die Technik der kleinsten Quadrate dominieren oder übertreffen. Am bekanntesten ist der James-Stein-Schätzer. Dies ist ein Beispiel für allgemeinere Schrumpfungsschätzer, die auf Regressionsprobleme angewendet wurden.

Anwendungen[edit]

• Polynomanpassung: Modelle sind Polynome in einer unabhängigen Variablen. x ::
  • Gerade Linie:
    ${ displaystyle f (x, { boldsymbol { beta}}) = beta _ {1} + beta _ {2} x}$

    .^[12]

  • Quadratisch:
    ${ displaystyle f (x, { boldsymbol { beta}}) = beta _ {1} + beta _ {2} x + beta _ {3} x ^ {2}}$

    .

  • Kubische, quartische und höhere Polynome. Für die Regression mit Polynomen höherer Ordnung wird die Verwendung von orthogonalen Polynomen empfohlen.^[13]
• Numerische Glättung und Differenzierung – dies ist eine Anwendung der Polynomanpassung.
• Multinomiale in mehr als einer unabhängigen Variablen, einschließlich Oberflächenanpassung
• Kurvenanpassung mit B-Splines ^[10]
• Chemometrie, Kalibrierungskurve, Standardaddition, Gran-Plot, Analyse von Gemischen

Verwendung bei der Datenanpassung[edit]

Die primäre Anwendung der linearen kleinsten Quadrate liegt in der Datenanpassung. Gegeben eine Reihe von mDatenpunkte

${ displaystyle y_ {1}, y_ {2}, dots, y_ {m},}$

bestehend aus experimentell gemessenen Werten bei mWerte

${ displaystyle x_ {1}, x_ {2}, dots, x_ {m}}$

einer unabhängigen Variablen (

${ displaystyle x_ {i}}$

können skalare oder Vektorgrößen sein) und eine Modellfunktion erhalten

${ displaystyle y = f (x, { boldsymbol { beta}}),}$

mit

${ displaystyle { boldsymbol { beta}} = ( beta _ {1}, beta _ {2}, dots, beta _ {n}),}$

es ist erwünscht, die Parameter zu finden

${ displaystyle beta _ {j}}$

so dass die Modellfunktion “am besten” zu den Daten passt. In linearen kleinsten Quadraten soll Linearität in Bezug auf Parameter sein

${ displaystyle beta _ {j},}$

damit

${ displaystyle f (x, { boldsymbol { beta}}) = sum _ {j = 1} ^ {n} beta _ {j} varphi _ {j} (x).}$

Hier die Funktionen

${ displaystyle varphi _ {j}}$

könnte sein nichtlinear in Bezug auf die Variable x.

Im Idealfall passt die Modellfunktion genau zu den Daten

${ displaystyle y_ {i} = f (x_ {i}, { boldsymbol { beta}})}$

für alle

${ displaystyle i = 1,2, dots, m.}$

Dies ist in der Praxis normalerweise nicht möglich, da mehr Datenpunkte als Parameter zu bestimmen sind. Der dann gewählte Ansatz besteht darin, den minimal möglichen Wert der Summe der Quadrate der Residuen zu finden

${ displaystyle r_ {i} ({ boldsymbol { beta}}) = y_ {i} -f (x_ {i}, { boldsymbol { beta}}), (i = 1,2, dots , m)}$

um die Funktion zu minimieren

${ displaystyle S ({ boldsymbol { beta}}) = sum _ {i = 1} ^ {m} r_ {i} ^ {2} ({ boldsymbol { beta}}).}$

Nach dem Ersetzen für

${ displaystyle r_ {i}}$

und dann für

${ displaystyle f}$

wird dieses Minimierungsproblem zum quadratischen Minimierungsproblem oben mit

${ displaystyle X_ {ij} = varphi _ {j} (x_ {i}),}$

und die beste Anpassung kann durch Lösen der normalen Gleichungen gefunden werden.

Beispiel[edit]

Als Ergebnis eines Experiments vier

${ displaystyle (x, y)}$

Datenpunkte wurden erhalten,

${ displaystyle (1,6),}$

${ displaystyle (2,5),}$

${ displaystyle (3,7),}$

und

${ displaystyle (4,10)}$

(im Diagramm rechts rot dargestellt). Wir hoffen, eine Linie zu finden

${ displaystyle y = beta _ {1} + beta _ {2} x}$

das passt am besten zu diesen vier Punkten. Mit anderen Worten, wir möchten die Zahlen finden

${ displaystyle beta _ {1}}$

und

${ displaystyle beta _ {2}}$

das löst ungefähr das überbestimmte lineare System

${ displaystyle { begin {alignat} {3} beta _ {1} +1 beta _ {2} && ; = ; && 6 & \ beta _ {1} +2 beta _ {2} && ; = ; && 5 & \ beta _ {1} +3 beta _ {2} && ; = ; && 7 & \ beta _ {1} +4 beta _ {2} && ; = ; && 10 & \ end {alignat}}}$

von vier Gleichungen in zwei Unbekannten in einem “besten” Sinne.

Der Rest an jedem Punkt zwischen der Kurvenanpassung und den Daten ist die Differenz zwischen der rechten und der linken Seite der obigen Gleichungen. Der Ansatz der kleinsten Quadrate zur Lösung dieses Problems besteht darin, die Summe der Quadrate dieser Residuen so klein wie möglich zu halten. das heißt, das Minimum der Funktion zu finden

${ displaystyle { begin {align} S ( beta _ {1}, beta _ {2}) = {} & left[6-(beta _{1}+1beta _{2})right]^ {2} + left[5-(beta _{1}+2beta _{2})right]^ {2} \ & {} + left[7-(beta _{1}+3beta _{2})right]^ {2} + left[10-(beta _{1}+4beta _{2})right]^ {2} \ = {} & 4 beta _ {1} ^ {2} +30 beta _ {2} ^ {2} +20 beta _ {1} beta _ {2} -56 beta _ {1} -154 beta _ {2} +210. End {align}}}$

Das Minimum wird durch Berechnung der partiellen Ableitungen von bestimmt

${ displaystyle S ( beta _ {1}, beta _ {2})}$

in Gedenken an

${ displaystyle beta _ {1}}$

und

${ displaystyle beta _ {2}}$

und setzen sie auf Null

${ displaystyle { frac { partielles S} { partielles beta _ {1}}} = 0 = 8 beta _ {1} +20 beta _ {2} -56}$

${ displaystyle { frac { partielles S} { partielles beta _ {2}}} = 0 = 20 beta _ {1} +60 beta _ {2} -154.}$

Dies führt zu einem System von zwei Gleichungen in zwei Unbekannten, den normalen Gleichungen, die, wenn sie gelöst werden, ergeben

${ displaystyle beta _ {1} = 3.5}$

${ displaystyle beta _ {2} = 1.4}$

und die Gleichung

${ displaystyle y = 3.5 + 1.4x}$

ist die Linie der besten Passform. Die Residuen, dh die Unterschiede zwischen den

${ displaystyle y}$

Werte aus den Beobachtungen und der

${ displaystyle y}$

Es wird dann festgestellt, dass prädizierte Variablen unter Verwendung der Linie der besten Anpassung sind

${ displaystyle 1.1,}$

${ displaystyle -1.3,}$

${ displaystyle -0.7,}$

und

${ displaystyle 0.9}$

(siehe Abbildung rechts). Der Minimalwert der Quadratsumme der Residuen ist

${ displaystyle S (3.5,1.4) = 1.1 ^ {2} + (- 1.3) ^ {2} + (- 0.7) ^ {2} + 0.9 ^ {2} = 4.2.}$

Allgemeiner kann man haben

${ displaystyle n}$

Regressoren

${ displaystyle x_ {j}}$

und ein lineares Modell

${ displaystyle y = beta _ {0} + sum _ {j = 1} ^ {n} beta _ {j} x_ {j}.}$

Verwendung eines quadratischen Modells[edit]

Wichtig ist, dass wir in “linearen kleinsten Quadraten” nicht darauf beschränkt sind, eine Linie als Modell zu verwenden, wie im obigen Beispiel. Zum Beispiel hätten wir das eingeschränkte quadratische Modell wählen können

${ displaystyle y = beta _ {1} x ^ {2}}$

. Dieses Modell ist in der noch linear

${ displaystyle beta _ {1}}$

Parameter, so dass wir immer noch die gleiche Analyse durchführen können, indem wir ein Gleichungssystem aus den Datenpunkten konstruieren:

${ displaystyle { begin {alignat} {2} 6 && ; = beta _ {1} (1) ^ {2} \ 5 && ; = beta _ {1} (2) ^ {2} \ 7 && ; = beta _ {1} (3) ^ {2} \ 10 && ; = beta _ {1} (4) ^ {2} \ end {alignat}}}$

Die partiellen Ableitungen in Bezug auf die Parameter (diesmal gibt es nur einen) werden erneut berechnet und auf 0 gesetzt:

${ displaystyle { frac { partielles S} { partielles beta _ {1}}} = 0 = 708 beta _ {1} -498}$

und gelöst

${ displaystyle beta _ {1} = 0.703}$

Dies führt zu dem resultierenden Best-Fit-Modell

${ displaystyle y = 0.703x ^ {2}.}$

Siehe auch[edit]

Verweise[edit]

Weiterführende Literatur[edit]

• Bevington, Philip R.; Robinson, Keith D. (2003).Datenreduktion und Fehleranalyse für die Naturwissenschaften. McGraw-Hill. ISBN 978-0-07-247227-1.

Externe Links[edit]