[{"@context":"http:\/\/schema.org\/","@type":"BlogPosting","@id":"https:\/\/wiki.edu.vn\/wiki10\/2020\/12\/25\/t-verteilte-stochastische-nachbareinbettung-wikipedia\/#BlogPosting","mainEntityOfPage":"https:\/\/wiki.edu.vn\/wiki10\/2020\/12\/25\/t-verteilte-stochastische-nachbareinbettung-wikipedia\/","headline":"t-verteilte stochastische Nachbareinbettung – Wikipedia","name":"t-verteilte stochastische Nachbareinbettung – Wikipedia","description":"before-content-x4 Technik zur Dimensionsreduktion after-content-x4 t-verteilte stochastische Nachbareinbettung ((t-SNE) ist ein Algorithmus f\u00fcr maschinelles Lernen zur Visualisierung basierend auf Stochastic","datePublished":"2020-12-25","dateModified":"2020-12-25","author":{"@type":"Person","@id":"https:\/\/wiki.edu.vn\/wiki10\/author\/lordneo\/#Person","name":"lordneo","url":"https:\/\/wiki.edu.vn\/wiki10\/author\/lordneo\/","image":{"@type":"ImageObject","@id":"https:\/\/secure.gravatar.com\/avatar\/44a4cee54c4c053e967fe3e7d054edd4?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/44a4cee54c4c053e967fe3e7d054edd4?s=96&d=mm&r=g","height":96,"width":96}},"publisher":{"@type":"Organization","name":"Enzyklop\u00e4die","logo":{"@type":"ImageObject","@id":"https:\/\/wiki.edu.vn\/wiki4\/wp-content\/uploads\/2023\/08\/download.jpg","url":"https:\/\/wiki.edu.vn\/wiki4\/wp-content\/uploads\/2023\/08\/download.jpg","width":600,"height":60}},"image":{"@type":"ImageObject","@id":"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/f5e3890c981ae85503089652feb48b191b57aae3","url":"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/f5e3890c981ae85503089652feb48b191b57aae3","height":"","width":""},"url":"https:\/\/wiki.edu.vn\/wiki10\/2020\/12\/25\/t-verteilte-stochastische-nachbareinbettung-wikipedia\/","wordCount":8207,"articleBody":"     (adsbygoogle = window.adsbygoogle || []).push({});before-content-x4Technik zur Dimensionsreduktion       (adsbygoogle = window.adsbygoogle || []).push({});after-content-x4t-verteilte stochastische Nachbareinbettung ((t-SNE) ist ein Algorithmus f\u00fcr maschinelles Lernen zur Visualisierung basierend auf Stochastic Neighbor Embedding, der urspr\u00fcnglich von Sam Roweis und Geoffrey Hinton entwickelt wurde.[1]  wo Laurens van der Maaten das vorschlug t-verteilte Variante.[2]  Es handelt sich um eine nichtlineare Technik zur Reduzierung der Dimensionalit\u00e4t, die sich gut zum Einbetten hochdimensionaler Daten zur Visualisierung in einen niedrigdimensionalen Raum mit zwei oder drei Dimensionen eignet.  Insbesondere wird jedes hochdimensionale Objekt durch einen zwei- oder dreidimensionalen Punkt so modelliert, dass \u00e4hnliche Objekte durch nahegelegene Punkte und unterschiedliche Objekte mit hoher Wahrscheinlichkeit durch entfernte Punkte modelliert werden.Der t-SNE-Algorithmus umfasst zwei Hauptstufen.  Zun\u00e4chst konstruiert t-SNE eine Wahrscheinlichkeitsverteilung \u00fcber Paare hochdimensionaler Objekte, so dass \u00e4hnlichen Objekten eine h\u00f6here Wahrscheinlichkeit zugewiesen wird, w\u00e4hrend unterschiedlichen Punkten eine niedrigere Wahrscheinlichkeit zugewiesen wird.  Zweitens definiert t-SNE eine \u00e4hnliche Wahrscheinlichkeitsverteilung \u00fcber die Punkte in der niedrigdimensionalen Karte und minimiert die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen den beiden Verteilungen in Bezug auf die Positionen der Punkte in der Karte.  W\u00e4hrend der urspr\u00fcngliche Algorithmus den euklidischen Abstand zwischen Objekten als Grundlage f\u00fcr seine \u00c4hnlichkeitsmetrik verwendet, kann dieser entsprechend ge\u00e4ndert werden.t-SNE wurde zur Visualisierung in einer Vielzahl von Anwendungen verwendet, einschlie\u00dflich der Computersicherheitsforschung.[3]Musikanalyse,[4]Krebsforschung,[5]Bioinformatik,[6]  und biomedizinische Signalverarbeitung.[7]  Es wird h\u00e4ufig verwendet, um Darstellungen auf hoher Ebene zu visualisieren, die von einem k\u00fcnstlichen neuronalen Netzwerk gelernt wurden.[8]       (adsbygoogle = window.adsbygoogle || []).push({});after-content-x4W\u00e4hrend t-SNE-Diagramme h\u00e4ufig Cluster anzuzeigen scheinen, k\u00f6nnen die visuellen Cluster stark durch die gew\u00e4hlte Parametrisierung beeinflusst werden. Daher ist ein gutes Verst\u00e4ndnis der Parameter f\u00fcr t-SNE erforderlich.  Es kann gezeigt werden, dass solche “Cluster” sogar in nicht geclusterten Daten erscheinen.[9]  und kann daher falsche Befunde sein.  Eine interaktive Exploration kann daher erforderlich sein, um Parameter auszuw\u00e4hlen und Ergebnisse zu validieren.[10][11]  Es wurde gezeigt, dass t-SNE h\u00e4ufig gut getrennte Cluster wiederherstellen kann und mit speziellen Parameteroptionen eine einfache Form der spektralen Clusterbildung ann\u00e4hert.[12]Table of ContentsEinzelheiten[edit]Software[edit]Verweise[edit]Externe Links[edit]Einzelheiten[edit]Gegeben eine Reihe von N.{ displaystyle N}  hochdimensionale Objekte        (adsbygoogle = window.adsbygoogle || []).push({});after-content-x4x1,\u2026,xN.{ displaystyle  mathbf {x} _ {1},  dots,  mathbf {x} _ {N}}, t-SNE berechnet zuerst Wahrscheinlichkeiten pichj{ displaystyle p_ {ij}}  das ist proportional zur \u00c4hnlichkeit von Objekten xich{ displaystyle  mathbf {x} _ {i}}  und xj{ displaystyle  mathbf {x} _ {j}}, wie folgt.Zum ich\u2260j{ displaystyle i  neq j}, definierenpj\u2223ich=exp\u2061((– –\u2016xich– –xj\u20162\/.2\u03c3ich2)\u2211k\u2260ichexp\u2061((– –\u2016xich– –xk\u20162\/.2\u03c3ich2){ displaystyle p_ {j  mid i} = { frac { exp (-  lVert  mathbf {x} _ {i} –  mathbf {x} _ {j}  rVert ^ {2} \/ 2  sigma _ {i} ^ {2})} { sum _ {k  neq i}  exp (-  lVert  mathbf {x} _ {i} –  mathbf {x} _ {k}  rVert ^ {2 } \/ 2  sigma _ {i} ^ {2})}}}und setzen pich\u2223ich=0{ displaystyle p_ {i  mid i} = 0}.  Beachten Sie, dass \u2211jpj\u2223ich=1{ displaystyle  sum _ {j} p_ {j  mid i} = 1}  f\u00fcr alle ich{ displaystyle i}.Wie Van der Maaten und Hinton erkl\u00e4rten: “Die \u00c4hnlichkeit des Datenpunkts xj{ displaystyle x_ {j}}  zum Datenpunkt xich{ displaystyle x_ {i}}  ist die bedingte Wahrscheinlichkeit, pj|ich{ displaystyle p_ {j | i}}, Das xich{ displaystyle x_ {i}}  w\u00fcrde w\u00e4hlen xj{ displaystyle x_ {j}}  als sein Nachbar, wenn Nachbarn proportional zu ihrer Wahrscheinlichkeitsdichte unter einem Gau\u00dfschen zentriert bei ausgew\u00e4hlt wurden xich{ displaystyle x_ {i}}. “[2]Nun definierenpichj=pj\u2223ich+pich\u2223j2N.{ displaystyle p_ {ij} = { frac {p_ {j  mid i} + p_ {i  mid j}} {2N}}}und beachte das pichj=pjich{ displaystyle p_ {ij} = p_ {ji}}, pichich=0{ displaystyle p_ {ii} = 0}, und \u2211ich,jpichj=1{ displaystyle  sum _ {i, j} p_ {ij} = 1}.Die Bandbreite der Gau\u00dfschen Kernel \u03c3ich{ displaystyle  sigma _ {i}}  wird so eingestellt, dass die Ratlosigkeit der bedingten Verteilung einer vordefinierten Ratlosigkeit unter Verwendung der Halbierungsmethode entspricht.  Infolgedessen wird die Bandbreite an die Dichte der Daten angepasst: kleinere Werte von \u03c3ich{ displaystyle  sigma _ {i}}  werden in dichteren Teilen des Datenraums verwendet.Da der Gau\u00dfsche Kern den euklidischen Abstand verwendet \u2016xich– –xj\u2016{ displaystyle  lVert x_ {i} -x_ {j}  rVert}wird es durch den Fluch der Dimensionalit\u00e4t beeinflusst, und in hochdimensionalen Daten, wenn Entfernungen die F\u00e4higkeit zur Unterscheidung verlieren, die pichj{ displaystyle p_ {ij}}  zu \u00e4hnlich werden (asymptotisch w\u00fcrden sie zu einer Konstanten konvergieren).  Es wurde vorgeschlagen, die Abst\u00e4nde mit einer Leistungstransformation basierend auf der intrinsischen Dimension jedes Punkts anzupassen, um dies zu mildern.[13]t-SNE zielt darauf ab, a zu lernen d{ displaystyle d}-dimensionale Karte y1,\u2026,yN.{ displaystyle  mathbf {y} _ {1},  dots,  mathbf {y} _ {N}}  (mit yich\u2208R.d{ displaystyle  mathbf {y} _ {i}  in  mathbb {R} ^ {d}}), die die \u00c4hnlichkeiten widerspiegeln  pichj{ displaystyle p_ {ij}}  so gut wie m\u00f6glich.  Zu diesem Zweck werden \u00c4hnlichkeiten gemessen qichj{ displaystyle q_ {ij}}  zwischen zwei Punkten in der Karte yich{ displaystyle  mathbf {y} _ {i}}  und yj{ displaystyle  mathbf {y} _ {j}}mit einem sehr \u00e4hnlichen Ansatz.  Speziell f\u00fcr ich\u2260j{ displaystyle i  neq j}, definieren qichj{ displaystyle q_ {ij}}  wieqichj=((1+\u2016yich– –yj\u20162)– –1\u2211k\u2211l\u2260k((1+\u2016yk– –yl\u20162)– –1{ displaystyle q_ {ij} = { frac {(1+  lVert  mathbf {y} _ {i} –  mathbf {y} _ {j}  rVert ^ {2}) ^ {- 1}} {  sum _ {k}  sum _ {l  neq k} (1+  lVert  mathbf {y} _ {k} –  mathbf {y} _ {l}  rVert ^ {2}) ^ {- 1 }}}}und setzen qichich=0{ displaystyle q_ {ii} = 0}.  Hier wird eine schwerf\u00e4llige Student-T-Verteilung (mit einem Freiheitsgrad, der einer Cauchy-Verteilung entspricht) verwendet, um \u00c4hnlichkeiten zwischen niedrigdimensionalen Punkten zu messen, damit unterschiedliche Objekte in der Karte weit auseinander modelliert werden k\u00f6nnen .Die Positionen der Punkte yich{ displaystyle  mathbf {y} _ {i}}  in der Karte werden durch Minimierung der (nicht symmetrischen) Kullback-Leibler-Divergenz der Verteilung bestimmt P.{ displaystyle P}  aus der Verteilung Q.{ displaystyle Q}, das ist:K.L.((P.\u2225Q.)=\u2211ich\u2260jpichjLog\u2061pichjqichj{ displaystyle  mathrm {KL}  left (P  parallel Q  right) =  sum _ {i  neq j} p_ {ij}  log { frac {p_ {ij}} {q_ {ij}}} }}Die Minimierung der Kullback-Leibler-Divergenz in Bezug auf die Punkte yich{ displaystyle  mathbf {y} _ {i}}  wird mit Gradientenabstieg durchgef\u00fchrt.  Das Ergebnis dieser Optimierung ist eine Karte, die die \u00c4hnlichkeiten zwischen den hochdimensionalen Eingaben widerspiegelt.Software[edit]ELKI enth\u00e4lt tSNE, ebenfalls mit Barnes-Hut-N\u00e4herungScikit-learn, ein beliebtes Toolkit f\u00fcr maschinelles Lernen in Python, implementiert t-SNE sowohl mit exakten L\u00f6sungen als auch mit der Barnes-Hut-N\u00e4herung.Verweise[edit]^ Roweis, Sam;  Hinton, Geoffrey (Januar 2002). Stochastische Nachbareinbettung (PDF).  Neuronale Informationsverarbeitungssysteme.^ ein b van der Maaten, LJP;  Hinton, GE (November 2008). “Visualisieren von Daten mit t-SNE” (PDF). Journal of Machine Learning Research. 9: 2579\u20132605.^ Gashi, I.;  Stankovic, V.;  Leita, C.;  Thonnard, O. (2009).  “Eine experimentelle Untersuchung der Vielfalt mit handels\u00fcblichen Anti-Virus-Engines”. Vortr\u00e4ge des IEEE International Symposium on Network Computing and Applications: 4\u201311.^ Hamel, P.;  Eck, D. (2010).  “Lernen von Funktionen aus Musik-Audio mit Deep Belief-Netzwerken”. Tagungsband der International Society for Music Information Retrieval Conference: 339\u2013344.^ Jamieson, AR;  Giger, ML;  Drukker, K.;  Lui, H.;  Yuan, Y.;  Bhooshan, N. (2010). “Untersuchung der Reduzierung nichtlinearer Merkmalsraumdimensionen und der Datendarstellung in Brust-CADx mit Laplace-Eigenkarten und t-SNE”. Medizinische Physik. 37 (1): 339\u2013351.  doi:10.1118 \/ 1.3267037.  PMC 2807447.  PMID 20175497.^ Wallach, I.;  Liliean, R. (2009). “Die Protein-Small-Molecule-Datenbank, eine nicht redundante strukturelle Ressource f\u00fcr die Analyse der Protein-Ligand-Bindung”. Bioinformatik. 25 (5): 615\u2013620.  doi:10.1093 \/ bioinformatics \/ btp035.  PMID 19153135.^ Birjandtalab, J.;  Pouyan, MB;  Nourani, M. (2016-02-01). Nichtlineare Dimensionsreduktion f\u00fcr die EEG-basierte Erkennung epileptischer Anf\u00e4lle. 2016 IEEE-EMBS Internationale Konferenz f\u00fcr Biomedizin und Gesundheitsinformatik (BHI).  S. 595\u2013598.  doi:10.1109 \/ BHI.2016.7455968.  ISBN 978-1-5090-2455-1.  S2CID 8074617.^ Repr\u00e4sentationen visualisieren: Deep Learning und Menschen Christopher Olahs Blog, 2015^ “K-bedeutet Clustering am Ausgang von t-SNE”. Kreuzvalidiert.  Abgerufen 2018-04-16.^ Pezzotti, Nicola;  Lelieveldt, Boudewijn PF;  Maaten, Laurens van der;  Hollt, Thomas;  Eisemann, Elmar;  Vilanova, Anna (2017-07-01).  “Ungef\u00e4hre und benutzergesteuerte tSNE f\u00fcr Progressive Visual Analytics”. IEEE-Transaktionen zu Visualisierung und Computergrafik. 23 (7): 1739\u20131752.  arXiv:1512.01655.  doi:10.1109 \/ tvcg.2016.2570755.  ISSN 1077-2626.  PMID 28113434.  S2CID 353336.^ Wattenberg, Martin;  Vi\u00e9gas, Fernanda;  Johnson, Ian (2016-10-13). “Wie man t-SNE effektiv einsetzt”.  Destillieren.  Abgerufen 4. Dezember 2017.^ Linderman, George C.;  Steinerberger, Stefan (08.06.2017).  “Clustering mit t-SNE nachweislich”.  arXiv:1706.02582 [cs.LG].^ Schubert, Erich;  Gertz, Michael (2017-10-04). Intrinsische t-stochastische Nachbar-Einbettung zur Visualisierung und Ausrei\u00dfererkennung.  SISAP 2017 – 10. Internationale Konferenz \u00fcber \u00c4hnlichkeitssuche und Anwendungen.  S. 188\u2013203.  doi:10.1007 \/ 978-3-319-68474-1_13.Externe Links[edit]     (adsbygoogle = window.adsbygoogle || []).push({});after-content-x4"},{"@context":"http:\/\/schema.org\/","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"item":{"@id":"https:\/\/wiki.edu.vn\/wiki10\/#breadcrumbitem","name":"Enzyklop\u00e4die"}},{"@type":"ListItem","position":2,"item":{"@id":"https:\/\/wiki.edu.vn\/wiki10\/2020\/12\/25\/t-verteilte-stochastische-nachbareinbettung-wikipedia\/#breadcrumbitem","name":"t-verteilte stochastische Nachbareinbettung – Wikipedia"}}]}]