[{"@context":"http:\/\/schema.org\/","@type":"BlogPosting","@id":"https:\/\/wiki.edu.vn\/wiki17\/2021\/01\/27\/matthews-korrelationskoeffizient-wikipedia\/#BlogPosting","mainEntityOfPage":"https:\/\/wiki.edu.vn\/wiki17\/2021\/01\/27\/matthews-korrelationskoeffizient-wikipedia\/","headline":"Matthews Korrelationskoeffizient – Wikipedia","name":"Matthews Korrelationskoeffizient – Wikipedia","description":"before-content-x4 Das Matthews Korrelationskoeffizient (MCC) oder Phi-Koeffizient wird beim maschinellen Lernen als Ma\u00df f\u00fcr die Qualit\u00e4t bin\u00e4rer (Zwei-Klassen-) Klassifikationen verwendet,","datePublished":"2021-01-27","dateModified":"2021-01-27","author":{"@type":"Person","@id":"https:\/\/wiki.edu.vn\/wiki17\/author\/lordneo\/#Person","name":"lordneo","url":"https:\/\/wiki.edu.vn\/wiki17\/author\/lordneo\/","image":{"@type":"ImageObject","@id":"https:\/\/secure.gravatar.com\/avatar\/44a4cee54c4c053e967fe3e7d054edd4?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/44a4cee54c4c053e967fe3e7d054edd4?s=96&d=mm&r=g","height":96,"width":96}},"publisher":{"@type":"Organization","name":"Enzyklop\u00e4die","logo":{"@type":"ImageObject","@id":"https:\/\/wiki.edu.vn\/wiki4\/wp-content\/uploads\/2023\/08\/download.jpg","url":"https:\/\/wiki.edu.vn\/wiki4\/wp-content\/uploads\/2023\/08\/download.jpg","width":600,"height":60}},"image":{"@type":"ImageObject","@id":"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/87f53eda55e29fc0a1506152051e0ff789c1708b","url":"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/87f53eda55e29fc0a1506152051e0ff789c1708b","height":"","width":""},"url":"https:\/\/wiki.edu.vn\/wiki17\/2021\/01\/27\/matthews-korrelationskoeffizient-wikipedia\/","wordCount":15450,"articleBody":"     (adsbygoogle = window.adsbygoogle || []).push({});before-content-x4Das Matthews Korrelationskoeffizient (MCC) oder Phi-Koeffizient wird beim maschinellen Lernen als Ma\u00df f\u00fcr die Qualit\u00e4t bin\u00e4rer (Zwei-Klassen-) Klassifikationen verwendet, die 1975 vom Biochemiker Brian W. Matthews eingef\u00fchrt wurden.[1]  Das MCC ist identisch mit dem von Karl Pearson eingef\u00fchrten Pearson-Phi-Koeffizienten definiert.[2][3]  seit seiner Einf\u00fchrung durch Udny Yule im Jahr 1912 auch als Yule-Phi-Koeffizient bekannt.[4]  Trotz dieser Vorgeschichte, die Matthews Jahrzehnte um mehrere Jahrzehnte vorausging, ist der Begriff MCC im Bereich der Bioinformatik und des maschinellen Lernens weit verbreitet.  Der Koeffizient ber\u00fccksichtigt wahre und falsche Positive und Negative und wird allgemein als ausgewogenes Ma\u00df angesehen, das verwendet werden kann, selbst wenn die Klassen sehr unterschiedliche Gr\u00f6\u00dfen haben.[5]  Das MCC ist im Wesentlichen ein Korrelationskoeffizient zwischen den beobachteten und vorhergesagten bin\u00e4ren Klassifikationen;  es gibt einen Wert zwischen -1 und +1 zur\u00fcck.  Ein Koeffizient von +1 stellt eine perfekte Vorhersage dar, 0 ist nicht besser als eine zuf\u00e4llige Vorhersage und -1 zeigt eine v\u00f6llige Uneinigkeit zwischen Vorhersage und Beobachtung an.  MCC ist eng mit der Chi-Quadrat-Statistik f\u00fcr eine 2 \u00d7 2-Kontingenztabelle verwandt|MCC|=\u03c72n{ displaystyle | { text {MCC}} | = { sqrt { frac { chi ^ {2}} {n}}}}wo n ist die Gesamtzahl der Beobachtungen.  W\u00e4hrend es keine perfekte M\u00f6glichkeit gibt, die Verwirrungsmatrix von wahren und falschen Positiven und Negativen durch eine einzige Zahl zu beschreiben, wird der Matthews-Korrelationskoeffizient allgemein als eine der besten derartigen Ma\u00dfnahmen angesehen.[6]  Andere Ma\u00dfnahmen, wie der Anteil korrekter Vorhersagen (auch als Genauigkeit bezeichnet), sind nicht sinnvoll, wenn die beiden Klassen sehr unterschiedliche Gr\u00f6\u00dfen haben.  Wenn Sie beispielsweise jedes Objekt der gr\u00f6\u00dferen Menge zuweisen, wird ein hoher Anteil korrekter Vorhersagen erzielt, dies ist jedoch im Allgemeinen keine n\u00fctzliche Klassifizierung.Das Kundencenter kann direkt aus der Verwirrungsmatrix mit der folgenden Formel berechnet werden:MCC=T.P.\u00d7T.N.– –F.P.\u00d7F.N.((T.P.+F.P.)((T.P.+F.N.)((T.N.+F.P.)((T.N.+F.N.){ displaystyle { text {MCC}} = { frac {{ mathit {TP}}  times { mathit {TN}} – { mathit {FP}}  times { mathit {FN}}} {  sqrt {({ mathit {TP}} + { mathit {FP}}) ({ mathit {TP}} + { mathit {FN}}) ({ mathit {TN}} + { mathit { FP}}) ({ mathit {TN}} + { mathit {FN}})}}}In dieser Gleichung TP ist die Anzahl der echten Positiven, TN die Anzahl der wahren Negative, FP die Anzahl der falsch positiven und FN die Anzahl der falsch negativen Ergebnisse.  Wenn eine der vier Summen im Nenner Null ist, kann der Nenner willk\u00fcrlich auf Eins gesetzt werden.  Dies f\u00fchrt zu einem Matthews-Korrelationskoeffizienten von Null, von dem gezeigt werden kann, dass er der richtige Grenzwert ist.  Das Kundencenter kann mit folgender Formel berechnet werden:MCC=P.P.V.\u00d7T.P.R.\u00d7T.N.R.\u00d7N.P.V.– –F.D.R.\u00d7F.N.R.\u00d7F.P.R.\u00d7F.\u00d6R.{ displaystyle { text {MCC}} = { sqrt {{ mathit {PPV}}  times { mathit {TPR}}  times { mathit {TNR}}  times { mathit {NPV}}} } – { sqrt {{ mathit {FDR}}  times { mathit {FNR}}  times { mathit {FPR}}  times { mathit {FOR}}}}Verwenden des positiven Vorhersagewerts, der wahren positiven Rate, der wahren negativen Rate, des negativen Vorhersagewerts, der falschen Entdeckungsrate, der falsch negativen Rate, der falsch positiven Rate und der falschen Auslassungsrate.Die urspr\u00fcngliche Formel von Matthews lautete:[1]N.=T.N.+T.P.+F.N.+F.P.{ displaystyle N = { mathit {TN}} + { mathit {TP}} + { mathit {FN}} + { mathit {FP}}}S.=T.P.+F.N.N.{ displaystyle S = { frac {{ mathit {TP}} + { mathit {FN}}} {N}}}P.=T.P.+F.P.N.{ displaystyle P = { frac {{ mathit {TP}} + { mathit {FP}}} {N}}}MCC=T.P.\/.N.– –S.\u00d7P.P.S.((1– –S.)((1– –P.){ displaystyle { text {MCC}} = { frac {{ mathit {TP}} \/ NS  times P} { sqrt {PS (1-S) (1-P)}}}Dies entspricht der oben angegebenen Formel.  Als Korrelationskoeffizient ist der Matthews-Korrelationskoeffizient das geometrische Mittel der Regressionskoeffizienten des Problems und seines Dualen.  Die Komponentenregressionskoeffizienten des Matthews-Korrelationskoeffizienten sind Markedness (\u0394p) und Youdens J-Statistik (Informedness oder \u0394p ‘).[6][7]Markiertheit und Informiertheit entsprechen unterschiedlichen Richtungen des Informationsflusses und verallgemeinern Youdens J-Statistik, die \u03b4{ displaystyle  delta}p-Statistiken und (als geometrisches Mittel) der Matthews-Korrelationskoeffizient f\u00fcr mehr als zwei Klassen.[6]Einige Wissenschaftler behaupten, der Matthews-Korrelationskoeffizient sei der informativste Einzelwert, um die Qualit\u00e4t einer bin\u00e4ren Klassifikatorvorhersage in einem Verwirrungsmatrixkontext zu bestimmen.[8]Table of ContentsBeispiel[edit]Verwirrung Matrix[edit]Fall mit mehreren Klassen[edit]Vorteile von MCC gegen\u00fcber Genauigkeit und F1-Punktzahl[edit]Siehe auch[edit]Verweise[edit]Beispiel[edit]Bei einer Stichprobe von 13 Bildern, 8 von Katzen und 5 von Hunden, wobei Katzen der Klasse 1 und Hunde der Klasse 0 angeh\u00f6ren,Ist = [1,1,1,1,1,1,1,1,0,0,0,0,0],Nehmen wir an, dass ein Klassifikator, der zwischen Katzen und Hunden unterscheidet, trainiert ist. Wir machen die 13 Bilder und lassen sie durch den Klassifikator laufen. Der Klassifikator macht 8 genaue Vorhersagen und verfehlt 5: 3 Katzen, die f\u00e4lschlicherweise als Hunde vorhergesagt wurden (erste 3 Vorhersagen) und 2 Hunde f\u00e4lschlicherweise als Katzen vorhergesagt (letzte 2 Vorhersagen).Vorhersage = [0,0,0,1,1,1,1,1,0,0,0,1,1]Mit diesen beiden beschrifteten Mengen (Ist und Vorhersagen) k\u00f6nnen wir eine Verwirrungsmatrix erstellen, die die Ergebnisse des Testens des Klassifikators zusammenfasst:Tats\u00e4chliche KlasseKatzeHundVorausgesagtKlasseKatze52Hund33In dieser Verwirrungsmatrix beurteilte das System von den 8 Katzenbildern, dass 3 Hunde waren, und von den 5 Hundebildern, dass 2 Katzen waren.  Alle korrekten Vorhersagen befinden sich in der Diagonale der Tabelle (fett hervorgehoben), sodass die Tabelle leicht visuell auf Vorhersagefehler \u00fcberpr\u00fcft werden kann, da sie durch Werte au\u00dferhalb der Diagonale dargestellt werden.In abstrakten Begriffen lautet die Verwirrungsmatrix wie folgt:Tats\u00e4chliche KlasseP.N.VorausgesagtKlasseP.TPFPN.FNTNwobei: P = positiv;  N = negativ;  TP = True Positive;  FP = falsch positiv;  TN = True Negative;  FN = falsch negativ.Stecken Sie die Zahlen aus der Formel:MCC = [(5*3) – (2*3)]\/ SQRT[(5+2)*(5+3)*(3+2)*(3+3)] = 9 \/ SQRT[1680] = 0,219Verwirrung Matrix[edit]Terminologie und Ableitungenaus einer VerwirrungsmatrixZustand positiv (P)die Anzahl der wirklich positiven F\u00e4lle in den DatenBedingung negativ (N)die Anzahl der echten negativen F\u00e4lle in den Datenwahr positiv (TP)Gl.  mit Trefferwahr negativ (TN)Gl.  mit korrekter Ablehnungfalsch positiv (FP)Gl.  bei Fehlalarm Typ I Fehlerfalsch negativ (FN)Gl.  mit Fehlschlag Typ II FehlerEmpfindlichkeit, R\u00fcckruf, Trefferquote oder echte positive Quote (TPR)T.P.R.=T.P.P.=T.P.T.P.+F.N.=1– –F.N.R.{ displaystyle  mathrm {TPR} = { frac { mathrm {TP}} { mathrm {P}}} = { frac { mathrm {TP}} { mathrm {TP} +  mathrm {FN} }} = 1-  mathrm {FNR}}Spezifit\u00e4t, Selektivit\u00e4t oder echte negative Rate (TNR)T.N.R.=T.N.N.=T.N.T.N.+F.P.=1– –F.P.R.{ displaystyle  mathrm {TNR} = { frac { mathrm {TN}} { mathrm {N}}} = { frac { mathrm {TN}} { mathrm {TN} +  mathrm {FP} }} = 1-  mathrm {FPR}}Pr\u00e4zision oder positiver Vorhersagewert (PPV)P.P.V.=T.P.T.P.+F.P.=1– –F.D.R.{ displaystyle  mathrm {PPV} = { frac { mathrm {TP}} { mathrm {TP} +  mathrm {FP}}} = 1-  mathrm {FDR}}negativer Vorhersagewert (NPV)N.P.V.=T.N.T.N.+F.N.=1– –F.\u00d6R.{ displaystyle  mathrm {NPV} = { frac { mathrm {TN}} { mathrm {TN} +  mathrm {FN}}} = 1-  mathrm {FOR}}Miss Rate oder False Negative Rate (FNR)F.N.R.=F.N.P.=F.N.F.N.+T.P.=1– –T.P.R.{ displaystyle  mathrm {FNR} = { frac { mathrm {FN}} { mathrm {P}}} = { frac { mathrm {FN}} { mathrm {FN} +  mathrm {TP} }} = 1-  mathrm {TPR}}Fallout- oder False-Positive-Rate (FPR)F.P.R.=F.P.N.=F.P.F.P.+T.N.=1– –T.N.R.{ displaystyle  mathrm {FPR} = { frac { mathrm {FP}} { mathrm {N}}} = { frac { mathrm {FP}} { mathrm {FP} +  mathrm {TN} }} = 1-  mathrm {TNR}}Falschentdeckungsrate (FDR)F.D.R.=F.P.F.P.+T.P.=1– –P.P.V.{ displaystyle  mathrm {FDR} = { frac { mathrm {FP}} { mathrm {FP} +  mathrm {TP}}} = 1-  mathrm {PPV}}falsche Auslassungsrate (FOR)F.\u00d6R.=F.N.F.N.+T.N.=1– –N.P.V.{ displaystyle  mathrm {FOR} = { frac { mathrm {FN}} { mathrm {FN} +  mathrm {TN}}} = 1-  mathrm {NPV}}Pr\u00e4valenzschwelle (PT)P.T.=T.P.R.((– –T.N.R.+1)+T.N.R.– –1((T.P.R.+T.N.R.– –1){ displaystyle PT = { frac {{ sqrt {TPR (-TNR + 1)}} + TNR-1} {(TPR + TNR-1)}}}Bedrohungswert (TS) oder kritischer Erfolgsindex (CSI)T.S.=T.P.T.P.+F.N.+F.P.{ displaystyle  mathrm {TS} = { frac { mathrm {TP}} { mathrm {TP} +  mathrm {FN} +  mathrm {FP}}}}Genauigkeit (ACC)EINC.C.=T.P.+T.N.P.+N.=T.P.+T.N.T.P.+T.N.+F.P.+F.N.{ displaystyle  mathrm {ACC} = { frac { mathrm {TP} +  mathrm {TN}} { mathrm {P} +  mathrm {N}} = { frac { mathrm {TP} +  mathrm {TN}} { mathrm {TP} +  mathrm {TN} +  mathrm {FP} +  mathrm {FN}}}}ausgeglichene Genauigkeit (BA)B.EIN=T.P.R.+T.N.R.2{ displaystyle  mathrm {BA} = { frac {TPR + TNR} {2}}}F1-Punktzahlist das harmonische Mittel f\u00fcr Pr\u00e4zision und EmpfindlichkeitF.1=2\u22c5P.P.V.\u22c5T.P.R.P.P.V.+T.P.R.=2T.P.2T.P.+F.P.+F.N.{ displaystyle  mathrm {F} _ {1} = 2  cdot { frac { mathrm {PPV}  cdot  mathrm {TPR}} { mathrm {PPV} +  mathrm {TPR}} = { frac {2  mathrm {TP}} {2  mathrm {TP} +  mathrm {FP} +  mathrm {FN}}}}Matthews Korrelationskoeffizient (MCC)M.C.C.=T.P.\u00d7T.N.– –F.P.\u00d7F.N.((T.P.+F.P.)((T.P.+F.N.)((T.N.+F.P.)((T.N.+F.N.){ displaystyle  mathrm {MCC} = { frac { mathrm {TP}  times  mathrm {TN} –  mathrm {FP}  times  mathrm {FN}} { sqrt {( mathrm {TP} +  mathrm {FP}) ( mathrm {TP} +  mathrm {FN}) ( mathrm {TN} +  mathrm {FP}) ( mathrm {TN} +  mathrm {FN})}}}Fowlkes-Mallows-Index (FM)F.M.=T.P.T.P.+F.P.\u22c5T.P.T.P.+F.N.=P.P.V.\u22c5T.P.R.{ displaystyle  mathrm {FM} = { sqrt {{ frac {TP} {TP + FP}}  cdot { frac {TP} {TP + FN}}} = { sqrt {PPV  cdot TPR }}}Informiertheit oder Buchmacherinformiertheit (BM)B.M.=T.P.R.+T.N.R.– –1{ displaystyle  mathrm {BM} =  mathrm {TPR} +  mathrm {TNR} -1}Markiertheit (MK) oder DeltaPM.K.=P.P.V.+N.P.V.– –1{ displaystyle  mathrm {MK} =  mathrm {PPV} +  mathrm {NPV} -1}Quellen: Fawcett (2006),[9]  Powers (2011),[10]  Ting (2011),[11]  CAWCR,[12]D. Chicco & G. Jurman (2020),[13]  Tharwat (2018).[14]Definieren wir ein Experiment aus P. positive Instanzen und N. negative Instanzen f\u00fcr eine Bedingung.  Die vier Ergebnisse k\u00f6nnen in 2 \u00d7 2 formuliert werden Kontingenztabelle oder Verwirrung Matrix, wie folgt:Wahrer ZustandGesamtbev\u00f6lkerungZustand positivZustand negativH\u00e4ufigkeit = \u03a3 Zustand positiv\/.\u03a3 Gesamtbev\u00f6lkerungGenauigkeit (ACC) = \u03a3 Richtig positiv + \u03a3 Richtig negativ\/.\u03a3 Gesamtbev\u00f6lkerungVoraussichtlicher ZustandVoraussichtlicher ZustandpositivRichtig positivFalsch positiv,Typ I FehlerPositiver Vorhersagewert (PPV), Pr\u00e4zision = \u03a3 Richtig positiv\/.\u03a3 Voraussichtlicher Zustand positivFalsche Entdeckungsrate (FDR) = \u03a3 Falsch positiv\/.\u03a3 Voraussichtlicher Zustand positivVoraussichtlicher ZustandNegativFalsch negativ,Typ II FehlerRichtig negativFalsche Auslassungsrate (FOR) = \u03a3 Falsch negativ\/.\u03a3 Voraussichtlicher Zustand negativNegativer Vorhersagewert (NPV) = \u03a3 Richtig negativ\/.\u03a3 Voraussichtlicher Zustand negativTrue Positive Rate (TPR), R\u00fcckruf, Empfindlichkeit, Erkennungswahrscheinlichkeit, Leistung = \u03a3 Richtig positiv\/.\u03a3 Zustand positivFalsch positive Rate (FPR), Ausfallen, Wahrscheinlichkeit eines Fehlalarms = \u03a3 Falsch positiv\/.\u03a3 Zustand negativPositives Wahrscheinlichkeitsverh\u00e4ltnis (LR +) = TPR\/.FPRDiagnostic Odds Ratio (DOR) = LR +\/.LR\u2212F.1 Punktzahl = 2 \u00b7 Pr\u00e4zision \u00b7 R\u00fcckruf\/.Pr\u00e4zision + R\u00fcckrufFalsch negative Rate (FNR), Miss Rate = \u03a3 Falsch negativ\/.\u03a3 Zustand positivSpezifit\u00e4t (SPC), Selektivit\u00e4t, True Negative Rate (TNR) = \u03a3 Richtig negativ\/.\u03a3 Zustand negativNegatives Wahrscheinlichkeitsverh\u00e4ltnis (LR\u2212) = FNR\/.TNRFall mit mehreren Klassen[edit]Der Matthews-Korrelationskoeffizient wurde auf den Fall mehrerer Klassen verallgemeinert.  Diese Verallgemeinerung wurde die genannt  R.K.{ displaystyle R_ {K}}  Statistik (f\u00fcr K verschiedene Klassen) des Autors und definiert als a K.\u00d7K.{ displaystyle K  times K}  Verwirrung Matrix C.{ displaystyle C}[15].[16]MCC=\u2211k\u2211l\u2211mC.kkC.lm– –C.klC.mk\u2211k((\u2211lC.kl)((\u2211k‘|k‘\u2260k\u2211l‘C.k‘l‘)\u2211k((\u2211lC.lk)((\u2211k‘|k‘\u2260k\u2211l‘C.l‘k‘){ displaystyle { text {MCC}} = { frac { sum _ {k}  sum _ {l}  sum _ {m} C_ {kk} C_ {lm} -C_ {kl} C_ {mk} } {{ sqrt { sum _ {k} ( sum _ {l} C_ {kl}) ( sum _ {k ‘| k’  neq k}  sum _ {l ‘} C_ {k’l ‘})}} { sqrt { sum _ {k} ( sum _ {l} C_ {lk}) ( sum _ {k’ | k ‘ neq k}  sum _ {l’} C_ { l’k ‘})}}}}}Wenn mehr als zwei Beschriftungen vorhanden sind, liegt das Kundencenter nicht mehr zwischen -1 und +1.  Stattdessen liegt der Mindestwert je nach wahrer Verteilung zwischen -1 und 0.  Der Maximalwert ist immer +1.Diese Formel kann leichter verstanden werden, indem Zwischenvariablen definiert werden:[17]tk=\u2211ichC.ichk{ displaystyle t_ {k} =  sum _ {i} C_ {ik}}  die H\u00e4ufigkeit, mit der Klasse k tats\u00e4chlich auftrat,pk=\u2211ichC.kich{ displaystyle p_ {k} =  sum _ {i} C_ {ki}}  die H\u00e4ufigkeit, mit der die Klasse k vorhergesagt wurde,c=\u2211kC.kk{ displaystyle c =  sum _ {k} C_ {kk}}  die Gesamtzahl der korrekt vorhergesagten Proben,s=\u2211ich\u2211jC.ichj{ displaystyle s =  sum _ {i}  sum _ {j} C_ {ij}}  die Gesamtzahl der Proben.  Dadurch kann die Formel wie folgt ausgedr\u00fcckt werden:MCC=cs– –t\u2192\u22c5p\u2192s2– –p\u2192\u22c5p\u2192s2– –t\u2192\u22c5t\u2192{ displaystyle { text {MCC}} = { frac {cs – { vec {t}}  cdot { vec {p}}} {{ sqrt {s ^ {2} – { vec {p }}  cdot { vec {p}}}} { sqrt {s ^ {2} – { vec {t}}  cdot { vec {t}}}}}Verwenden der obigen Formel zur Berechnung des MCC-Ma\u00dfes f\u00fcr die oben diskutierte Hunde- und Katzenvorhersage, wobei die Verwirrungsmatrix als 2 x Multiklassen-Beispiel behandelt wird:numer = (8 * 13) – (7 * 8) – (6 * 5) = 18denom = SQRT[(13^2 – 7^2 – 6^2) * (13^2 – 8^2 – 5^2)] = SQRT[6720]MCC = 18 \/ 81,975 = 0,219Vorteile von MCC gegen\u00fcber Genauigkeit und F1-Punktzahl[edit]Wie von Davide Chicco in seiner Arbeit erkl\u00e4rt “Zehn schnelle Tipps f\u00fcr maschinelles Lernen in der Computerbiologie” (BioData Mining, 2017) und von Giuseppe Jurman in seiner Arbeit “Die Vorteile des Matthews-Korrelationskoeffizienten (MCC) gegen\u00fcber dem F1-Score und der Genauigkeit bei der Bewertung der bin\u00e4ren Klassifizierung” (BMC Genomics, 2020) ist der Matthews-Korrelationskoeffizient informativer als der F1-Score und die Genauigkeit bei der Bewertung von bin\u00e4ren Klassifizierungsproblemen, da er die Gleichgewichtsverh\u00e4ltnisse der vier Verwirrungsmatrixkategorien (wahr-positiv, wahr-negativ, falsch-positiv, falsch) ber\u00fccksichtigt Negative).[8][18]Der fr\u00fchere Artikel erkl\u00e4rt, z Tipp 8::Um ein umfassendes Verst\u00e4ndnis Ihrer Vorhersage zu erhalten, entscheiden Sie sich, allgemeine statistische Bewertungen wie Genauigkeit und F1-Bewertung zu nutzen.Richtigkeit=T.P.+T.N.T.P.+T.N.+F.P.+F.N.{ displaystyle { text {Genauigkeit}} = { frac {TP + TN} {TP + TN + FP + FN}}}(Gleichung 1, Genauigkeit: schlechtester Wert = 0; bester Wert = 1)F1-Punktzahl=2T.P.2T.P.+F.P.+F.N.{ displaystyle { text {F1 score}} = { frac {2TP} {2TP + FP + FN}}}(Gleichung 2, F1-Punktzahl: schlechtester Wert = 0; bester Wert = 1)Selbst wenn Genauigkeit und F1-Punktzahl in der Statistik weit verbreitet sind, k\u00f6nnen beide irref\u00fchrend sein, da sie die Gr\u00f6\u00dfe der vier Klassen der Verwirrungsmatrix bei ihrer Berechnung der endg\u00fcltigen Punktzahl nicht vollst\u00e4ndig ber\u00fccksichtigen.Angenommen, Sie haben beispielsweise einen sehr unausgewogenen Validierungssatz aus 100 Elementen, von denen 95 positive und nur 5 negative Elemente sind (wie in Tipp 5 erl\u00e4utert).  Angenommen, Sie haben beim Entwerfen und Trainieren Ihres Klassifikators f\u00fcr maschinelles Lernen einige Fehler gemacht, und jetzt haben Sie einen Algorithmus, der immer positive Vorhersagen macht.  Stellen Sie sich vor, Sie kennen dieses Problem nicht.Indem Sie Ihren nur positiven Pr\u00e4diktor auf Ihren unausgeglichenen Validierungssatz anwenden, erhalten Sie Werte f\u00fcr die Verwirrungsmatrixkategorien:TP = 95, FP = 5;  TN = 0, FN = 0.Diese Werte f\u00fchren zu den folgenden Leistungswerten: Genauigkeit = 95% und F1-Wert = 97,44%.  Wenn Sie diese \u00fcberoptimistischen Ergebnisse lesen, werden Sie sehr gl\u00fccklich sein und denken, dass Ihr Algorithmus f\u00fcr maschinelles Lernen hervorragende Arbeit leistet.  Offensichtlich w\u00e4ren Sie auf dem falschen Weg.Um diese gef\u00e4hrlichen irref\u00fchrenden Illusionen zu vermeiden, k\u00f6nnen Sie im Gegenteil einen weiteren Leistungsfaktor nutzen: den Matthews-Korrelationskoeffizienten [40] (MCC).MCC=T.P.\u00d7T.N.– –F.P.\u00d7F.N.((T.P.+F.P.)((T.P.+F.N.)((T.N.+F.P.)((T.N.+F.N.){ displaystyle { text {MCC}} = { frac {TP  mal TN-FP  mal FN} { sqrt {(TP + FP) (TP + FN) (TN + FP) (TN + FN)} }}}(Gleichung 3, MCC: schlechtester Wert = \u20131; bester Wert = +1).Wenn Sie den Anteil jeder Klasse der Verwirrungsmatrix in ihrer Formel ber\u00fccksichtigen, ist ihre Punktzahl nur dann hoch, wenn Ihr Klassifikator sowohl bei den negativen als auch bei den positiven Elementen gut abschneidet.Im obigen Beispiel w\u00e4re die MCC-Bewertung undefiniert (da TN und FN 0 w\u00e4ren, w\u00e4re der Nenner von Gleichung 3 0).  Wenn Sie diesen Wert anstelle von Genauigkeit und F1-Punktzahl \u00fcberpr\u00fcfen, k\u00f6nnen Sie feststellen, dass Ihr Klassifikator in die falsche Richtung geht, und Sie werden sich bewusst, dass es Probleme gibt, die Sie l\u00f6sen sollten, bevor Sie fortfahren.Betrachten Sie dieses andere Beispiel.  Sie haben eine Klassifizierung f\u00fcr denselben Datensatz ausgef\u00fchrt, die zu den folgenden Werten f\u00fcr die Verwirrungsmatrixkategorien f\u00fchrte:TP = 90, FP = 4;  TN = 1, FN = 5.In diesem Beispiel hat der Klassifizierer bei der Klassifizierung positiver Instanzen gute Ergebnisse erzielt, konnte jedoch negative Datenelemente nicht korrekt erkennen.  Wiederum w\u00e4ren die resultierenden F1-Bewertungen und Genauigkeitsbewertungen extrem hoch: Genauigkeit = 91% und F1-Bewertung = 95,24%.  \u00c4hnlich wie im vorherigen Fall w\u00fcrde ein Forscher, wenn er nur diese beiden Bewertungsindikatoren analysiert, ohne das Kundencenter zu ber\u00fccksichtigen, f\u00e4lschlicherweise glauben, dass der Algorithmus in seiner Aufgabe recht gut abschneidet, und die Illusion haben, erfolgreich zu sein.Andererseits w\u00e4re die \u00dcberpr\u00fcfung des Matthews-Korrelationskoeffizienten erneut von entscheidender Bedeutung.  In diesem Beispiel w\u00e4re der Wert des MCC 0,14 (Gleichung 3), was anzeigt, dass der Algorithmus \u00e4hnlich wie zuf\u00e4lliges Erraten arbeitet.  Als Alarm k\u00f6nnte das Kundencenter den Data-Mining-Praktiker dar\u00fcber informieren, dass das statistische Modell eine schlechte Leistung erbringt.Aus diesen Gr\u00fcnden empfehlen wir dringend, jede Testleistung anhand des Matthews-Korrelationskoeffizienten (MCC) anstelle der Genauigkeit und des F1-Scores f\u00fcr jedes bin\u00e4re Klassifizierungsproblem zu bewerten.– –Davide Chicco, Zehn schnelle Tipps f\u00fcr maschinelles Lernen in der Computerbiologie[8]Beachten Sie, dass die F1-Punktzahl davon abh\u00e4ngt, welche Klasse als positive Klasse definiert ist.  Im ersten Beispiel oben ist die F1-Punktzahl hoch, da die Mehrheitsklasse als positive Klasse definiert ist.  Das Invertieren der positiven und negativen Klassen f\u00fchrt zu der folgenden Verwirrungsmatrix:TP = 0, FP = 0;  TN = 5, FN = 95Dies ergibt eine F1-Punktzahl = 0%.Das Kundencenter h\u00e4ngt nicht davon ab, welche Klasse die positive ist. Dies hat den Vorteil gegen\u00fcber der F1-Punktzahl, dass die positive Klasse nicht falsch definiert wird.Siehe auch[edit]Verweise[edit]^ ein b Matthews, BW (1975).  “Vergleich der vorhergesagten und beobachteten Sekund\u00e4rstruktur von T4-Phagenlysozym”. Biochimica et Biophysica Acta (BBA) – Proteinstruktur. 405 (2): 442\u2013451.  doi:10.1016 \/ 0005-2795 (75) 90109-9.  PMID 1180967.^ Cramer, H. (1946). Mathematische Methoden der Statistik.  Princeton: Princeton University Press, p.  282 (zweiter Absatz). ISBN 0-691-08004-6^ Datum unklar, aber vor seinem Tod im Jahr 1936.^ Yule, G. Udny (1912). “\u00dcber die Methoden zur Messung der Assoziation zwischen zwei Attributen”. Zeitschrift der Royal Statistical Society. 75 (6): 579\u2013652.  doi:10.2307 \/ 2340126.  JSTOR 2340126.^ Boughorbel, SB (2017). “Optimaler Klassifikator f\u00fcr unausgeglichene Daten unter Verwendung der Matthews-Korrelationskoeffizientenmetrik”. PLUS EINS. 12 (6): e0177678.  Bibcode:2017PLoSO..1277678B.  doi:10.1371 \/ journal.pone.0177678.  PMC 5456046.  PMID 28574989.^ ein b c Powers, David MW (2011). “Bewertung: Von Pr\u00e4zision, R\u00fcckruf und F-Messung zu ROC, Informiertheit, Markiertheit und Korrelation” (PDF). Journal of Machine Learning Technologies. 2 (1): 37\u201363.^ Perruchet, P.;  Peereman, R. (2004).  “Die Nutzung von Verteilungsinformationen in der Silbenverarbeitung”. J. Neurolinguistics. 17 (2\u20133): 97\u2013119.  doi:10.1016 \/ s0911-6044 (03) 00059-9.  S2CID 17104364.^ ein b c Chicco D (Dezember 2017). “Zehn schnelle Tipps f\u00fcr maschinelles Lernen in der Computerbiologie”. BioData Mining. 10 (35): 35. doi:10.1186 \/ s13040-017-0155-3.  PMC 5721660.  PMID 29234465.^ Fawcett, Tom (2006). “Eine Einf\u00fchrung in die ROC-Analyse” (PDF). Mustererkennungsbuchstaben. 27 (8): 861\u2013874.  doi:10.1016 \/ j.patrec.2005.10.010.^ Powers, David MW (2011). “Bewertung: Von Pr\u00e4zision, R\u00fcckruf und F-Messung zu ROC, Informiertheit, Markiertheit und Korrelation”. Journal of Machine Learning Technologies. 2 (1): 37\u201363.^ Ting, Kai Ming (2011).  Sammut, Claude;  Webb, Geoffrey I. (Hrsg.). Enzyklop\u00e4die des maschinellen Lernens.  Springer.  doi:10.1007 \/ 978-0-387-30164-8.  ISBN 978-0-387-30164-8.^ Brooks, Harold;  Brown, Barb;  Ebert, Beth;  Ferro, Chris;  Jolliffe, Ian;  Koh, Tieh-Yong;  Roebber, Paul;  Stephenson, David (26.01.2015). “WWRP \/ WGNE Joint Working Group on Forecast Verification Research”. Zusammenarbeit f\u00fcr die australische Wetter- und Klimaforschung.  Weltorganisation f\u00fcr Meteorologie.  Abgerufen 2019-07-17.^ Chicco D., Jurman G. (Januar 2020). “Die Vorteile des Matthews-Korrelationskoeffizienten (MCC) gegen\u00fcber dem F1-Score und der Genauigkeit bei der Bewertung der bin\u00e4ren Klassifizierung”. BMC Genomics. 21 (1): 6-1\u20136-13.  doi:10.1186 \/ s12864-019-6413-7.  PMC 6941312.  PMID 31898477.CS1-Wartung: Verwendet den Autorenparameter (Link)^ Tharwat A. (August 2018). “Klassifizierungsbewertungsmethoden”. Angewandte Datenverarbeitung und Informatik.  doi:10.1016 \/ j.aci.2018.08.003.^ Gorodkin, Jan (2004).  “Vergleichen von zwei K-Kategorie-Zuordnungen durch einen K-Kategorie-Korrelationskoeffizienten”. Computational Biology and Chemistry. 28 (5): 367\u2013374.  doi:10.1016 \/ j.compbiolchem.2004.09.006.  PMID 15556477.^ Gorodkin, Jan. “Die Rk-Seite”. Die Rk-Seite.  Abgerufen 28. Dezember 2016.^ “Matthew Korrelationskoeffizient”. scikit-learn.org.^ Chicco D, Jurman G (Januar 2020). “Die Vorteile des Matthews-Korrelationskoeffizienten (MCC) gegen\u00fcber dem F1-Score und der Genauigkeit bei der Bewertung der bin\u00e4ren Klassifizierung”. BMC Genomics. 21 (1): 6-1\u20136-13.  doi:10.1186 \/ s12864-019-6413-7.  PMC 6941312.  PMID 31898477.     (adsbygoogle = window.adsbygoogle || []).push({});after-content-x4"},{"@context":"http:\/\/schema.org\/","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"item":{"@id":"https:\/\/wiki.edu.vn\/wiki17\/#breadcrumbitem","name":"Enzyklop\u00e4die"}},{"@type":"ListItem","position":2,"item":{"@id":"https:\/\/wiki.edu.vn\/wiki17\/2021\/01\/27\/matthews-korrelationskoeffizient-wikipedia\/#breadcrumbitem","name":"Matthews Korrelationskoeffizient – Wikipedia"}}]}]