Rozróżnij Jaro-Winkler-Wikipedia

. Odległość jar-winkler mierzy podobieństwo między dwoma ciągami znaków. Jest to wariant zaproponowany w 1999 roku przez Williama E. Winklera, wynikający z Odległość roku (1989, Matthew A. Jaro), który jest stosowany głównie w wykrywaniu duplikatów.

Wynik jest standaryzowany tak, aby mieć miarę między 0 a 1, więc 0 reprezentuje brak podobieństwa i 1, równość kanałów porównywanych.

Ta miara jest szczególnie odpowiednia do leczenia krótkich łańcuchów, takich jak nazwy lub hasła.

Odległość Jaro między kanałami

${DisplayStyle S_ {1}}$

I

${DisplayStyle S_ {2}}$

jest zdefiniowany przez:

${DisplayStyle d_ {j} = {frac {1} {3}} po lewej ({frac {m} {| s_ {1} |}}+{frac {m} {| s_ {2} |}}+{frac {M-T} {M}} right)}$

Lub:

• 
  ${DisplayStyle | S_ {i} |}$

  to długość sznurka znaku

  ${DisplayStyle S_ {i}}$

  ;

• 
  ${DisplayStyle M}$

  to liczba odpowiadające znaki (patrz poniżej);

• 
  ${DisplayStyle T}$

  to liczba Transpozycje (patrz poniżej).

Dwie identyczne postacie

${DisplayStyle S_ {1}}$

i

${DisplayStyle S_ {2}}$

są rozważane korespondenci Jeśli ich odległość (tj. Różnica między ich pozycjami w odpowiednich kanałach) nie przekracza:

${displayStyle leftlfloor {frac {max (| s_ {1} |, | s_ {2} |)} {2}} Rightrfloor -1}$

.

Liczbę transpozycji uzyskuje się przez porównanie I -. odpowiedni z

${DisplayStyle S_ {1}}$

Z postać i odpowiedni z

${DisplayStyle S_ {2}}$

. Liczba razy te znaki są różne, podzielone przez dwa, daje liczbę Transpozycje .

Metoda wprowadzona przez Winklera używa Współczynnik przedrostka

${DisplayStyle P}$

który promuje łańcuchy, zaczynając od przedrostka długości

${DisplayStyle ELL}$

(z

${DisplayStyle ell leq 4}$

). Biorąc pod uwagę dwa kanały

${DisplayStyle S_ {1}}$

I

${DisplayStyle S_ {2}}$

, ich odległość od Jaro-Winkler

${DisplayStyle D_ {w}}$

Wschód :

${DisplayStyle d_ {w} = d_ {j}+(ell p (1-d_ {j})}$

Lub :

Lub dwa kanały

${DisplayStyle S_ {1}}$

Martha I

${DisplayStyle S_ {2}}$

Marhta . Przygotujemy ich Tabela korespondencyjna . Tutaj maksymalna odległość wynosi 6/2 – 1 = 2. W żółtych skrzynkach poniższej tabeli zarejestrujemy się zatem 1, gdy znaki są identyczne (istnieje korespondencja ) i 0 w przeciwnym razie:

	M	A	R	T	H	A
M	Pierwszy	0	0	0	0	0
A	0	Pierwszy	0	0	0	0
R	0	0	Pierwszy	0	0	0
H	0	0	0	0	Pierwszy	0
T	0	0	0	Pierwszy	0	0
A	0	0	0	0	0	Pierwszy

• 
  ${DisplayStyle M = 6}$

  (liczba 1 w tabeli)

• 
  ${DisplayStyle | S_ {1} | = 6}$

  

• 
  ${DisplayStyle | S_ {2} | = 6}$

  

• Postaci korespondenci są {m, a, r, t, h, a}
  ${DisplayStyle S_ {1}}$

  i {m, a, r, h, t, a}

  ${DisplayStyle S_ {2}}$

  . Rozważając te uporządkowane zestawy, mamy zatem 2 pary (t/h i h/t) znaków korespondenci Różne, dwa pół-przenoszenie. Skąd

  ${DisplayStyle t = {frac {2} {2}} = 1}$

  

Odległość Jaro to:

${DisplayStyle d_ {j} = {frac {1} {3}} po lewej ({frac {6} {6}}+{frac {6} {6}}+{frac {6-1} {6}} prawy prawy ) = 0 {,} 944}$

Odległość jaro-winklera z

${DisplayStyle p = 0 {,} 1}$

z prefiksem długości

${DisplayStyle ell = 3}$

staje się

${DisplayStyle D_ {w} = 0 {,} 944+ (3Times 0 {,} 1 (1-0 {,} 944)) = 0 {,} 961}$

Z kanałami

${DisplayStyle S_ {1}}$

Dwayne I

${DisplayStyle S_ {2}}$

Duane znaleźliśmy :

• 
  ${DisplayStyle M = 4}$

  

• 
  ${DisplayStyle | S_ {1} | = 6}$

  

• 
  ${DisplayStyle | S_ {2} | = 5}$

  

• 
  ${DisplayStyle t = 0}$

  

Odległość Jaro to:

${DisplayStyle d_ {j} = {frac {1} {3}} po lewej ({frac {4} {6}}+{frac {4} {5}}+{frac {4-0} {4}} po prawej stronie ) = 0 {,} 822}$

Z Jaro-Winkler z

${DisplayStyle ell = 1}$

:

${DisplayStyle D_ {w} = 0 {,} 822+ (1Times 0 {,} 1 (1-0 {,} 822)) = 0 {,} 84}$

Z kanałami

${DisplayStyle S_ {1}}$

Dixon I

${DisplayStyle S_ {2}}$

Dicksonx , otrzymujemy:

	D	I	X	O	N
D	Pierwszy	0	0	0	0
I	0	Pierwszy	0	0	0
C	0	0	0	0	0
K	0	0	0	0	0
S	0	0	0	0	0
O	0	0	0	Pierwszy	0
N	0	0	0	0	Pierwszy
X	0	0	0	0	0

Obliczamy maksymalną odległość dla kryterium korespondencji

${displayStyle leftlfloor {frac {max (| s_ {1} |, | s_ {2} |)} {2}} rightrfloor -1 = lfloor {frac {8} {2}} rfloor -1 = 3} 3}$

.

• 
  ${DisplayStyle M = 4}$

  (Zarówno X to jest korespondent nie, ponieważ są daleko od więcej niż 3 znaków)

• 
  ${DisplayStyle | S_ {1} | = 5}$

  

• 
  ${DisplayStyle | S_ {2} | = 8}$

  

• 
  ${DisplayStyle t = 0}$

  

Odległość Jaro:

${DisplayStyle d_ {j} = {frac {1} {3}} po lewej ({frac {4} {5}}+{frac {4} {8}}+{frac {4-0} {4}} po prawej stronie ) = 0,767}$

Odległość jaro-winklera z

${DisplayStyle ell = 2}$

:

${DisplayStyle D_ {w} = 0 {,} 767+ (2Times 0 {,} 1 (1-0 {,} 767)) = 0 {,} 813}$

• (W) Jaro, M. A., ‘ Postępy w rekordowej metodologii łączącej zastosowanie do spisu powszechnego Tampa Florida z 1985 r. » W Journal of the American Statistical Society W tom. 84, N ^O 406, 1989 W P. 414-420
• (W) Jaro, M. A., ‘ Probabilistyczne powiązanie dużego pliku danych zdrowia publicznego » W Statystyki w medycynie W tom. 14, 1995 W P. 491-498 ( Czytaj online )
• (W) Winkler, W. E., ‘ Stan powiązania rekordów i aktualne problemy badawcze » W Statystyki działu dochodów, publikacja usług przychodów wewnętrznych R99/04 W 1999 ( Czytaj online )
• (W) Winkler, W. E., ‘ Przegląd powiązań rekordów i aktualnych kierunków badań » W Seria raportów badawczych, RRS W 2006 ( Czytaj online )