w 1964 roku Savitsky i Golay zaproponowali metodę równoważną LESSOWI, która jest powszechnie określana jako filtr Savitzky–Golay.William S. Cleveland odkrył tę metodę w 1979 roku i nadał jej odrębną nazwę. Metoda została rozwinięta przez Cleveland i Susan J. Devlin (1988). LOWESS jest również znany jako regresja wielomianowa lokalnie ważona.

w każdym punkcie w zakresie zbioru danych do podzbioru danych dopasowany jest wielomian niskiego stopnia, z wartościami zmiennej objaśniającej w pobliżu punktu, którego odpowiedź jest szacowana., Wielomian jest montowany przy użyciu najmniejszych ważonych kwadratów, dając większą wagę punktom w pobliżu punktu, którego odpowiedź jest szacowana, a mniejszą wagę punktom dalej. Wartość funkcji regresji dla punktu otrzymuje się następnie przez oszacowanie wielomianu lokalnego przy użyciu wartości zmiennych objaśniających dla tego punktu danych. Dopasowanie lessowe jest całkowite po obliczeniu wartości funkcji regresji dla każdego z n {\displaystyle n} punktów danych. Wiele szczegółów tej metody, takich jak stopień modelu wielomianowego i wagi, są elastyczne., Zakres wyborów dla każdej części metody i typowe wartości domyślne są pokrótce omówione dalej.

lokalne podzbiory dataEdit

podzbiory danych używane dla każdego ważonego najmniejszego kwadratu mieszczącego się w less są określane przez algorytm najbliższych sąsiadów. Określone przez Użytkownika wejście do procedury zwanej „przepustowością ” lub” parametrem wygładzania ” określa, ile danych jest używanych do dopasowania każdego lokalnego wielomianu. Parametr wygładzania, α {\displaystyle \ alpha}, jest ułamkiem całkowitej liczby n punktów danych, które są używane w każdym dopasowaniu lokalnym., Podzbiór danych użytych w każdym ważonym najmniejszym kwadracie fit obejmuje zatem n α {\displaystyle N \ alpha} punkty (zaokrąglone do następnej największej liczby całkowitej), których wartości zmiennych objaśniających są najbliższe punktowi, w którym szacowana jest odpowiedź.

α {\displaystyle \ alpha } nazywa się parametrem wygładzania, ponieważ kontroluje elastyczność funkcji regresji LEESSA. Duże wartości α {\displaystyle \alpha } wytwarzają najbardziej płynne funkcje, które poruszają się najmniej w odpowiedzi na wahania danych., Im mniejsza α {\displaystyle \ alpha}, tym bliższa jest funkcja regresji. Używanie zbyt małej wartości parametru wygładzania nie jest jednak pożądane, ponieważ funkcja regresji ostatecznie zacznie przechwytywać losowy błąd w danych.

Stopień wielomianów lokalnych

wielomiany lokalne pasujące do każdego podzbioru danych są prawie zawsze pierwszego lub drugiego stopnia, czyli albo lokalnie liniowe (w sensie liniowym), albo lokalnie kwadratowe. Użycie wielomianu zerowego zmienia LEESSA w ważoną średnią ruchomą., Wielomiany wyższego stopnia sprawdziłyby się w teorii, ale dają modele, które tak naprawdę nie są w duchu LEESSA. LEESS opiera się na założeniu, że każda funkcja może być dobrze przybliżona w małym sąsiedztwie przez wielomian niskiego rzędu i że proste modele mogą być łatwo dopasowane do danych. Wielomiany wysokiego stopnia mają tendencję do nadmiernego dopasowania danych w każdym podzbiorze i są niestabilne numerycznie, co utrudnia dokładne obliczenia.,

funkcja Wagaedytuj

jak wspomniano powyżej, funkcja wagi daje największą wagę punktom danych znajdującym się najbliżej punktu estymacji, a najmniejszą wagę punktom danych, które są najdalej. Użycie wag opiera się na założeniu, że punkty blisko siebie w przestrzeni zmiennej objaśniającej są bardziej prawdopodobne, aby były ze sobą powiązane w prosty sposób niż punkty, które są dalej od siebie. Zgodnie z tą logiką punkty, które prawdopodobnie będą podążać za modelem lokalnym, mają największy wpływ na szacowany parametr modelu lokalnego., Punkty, które są mniej prawdopodobne, aby faktycznie zgodne z modelem lokalnym mają mniejszy wpływ na lokalne szacunki parametrów modelu.

tradycyjna funkcja wagowa stosowana dla less jest funkcją wagi trójściennej, w ( x ) = ( 1 − | d / 3 ) 3 {\displaystyle w(x)=(1 – / d|^{3})^{3}}

Gdzie d jest odległością danego punktu danych od punktu na wyposażonej krzywej, skalowaną tak, aby leżała w zakresie od 0 do 1.

, Waga dla określonego punktu w dowolnym lokalnym podzbiorze danych uzyskuje się przez ocenę funkcji wagi w odległości między tym punktem a punktem estymacji, po przeskalowaniu odległości tak, aby maksymalna odległość bezwzględna dla wszystkich punktów w podzbiorze danych była dokładnie jedna.

RSS x ⁡ ( A ) = ∑ i = 1 n ( y i − A X ^ i ) T W i ( x) (y I − A X ^ i). {\displaystyle \ operatorname {RSS} _{x}(a)=\sum _{i=1}^{n}(y_ {i}-A {\hat{x}}_{i})^{T}w_{i}(x)(y_ {i}-A {\hat{x}}_{i})., TR ⁡ ( W ( x ) ( Y − A X ^ ) T ( Y − A x ^ ) ) {\displaystyle \operatorname {Tr} (W(x)(Y-A{\hat {X}})^{T}(Y-A{\hat {X}}))} A X ^ W ( x ) X ^ T = Y W ( x ) X ^ T . {\displaystyle A {\hat {X}}W(x) {\hat{X}}^{T}=YW(x) {\hat{X}}^{T}. A (x) = Y W (x ) X ^ T ( X ^ W (x ) X ^ T) – 1 . {\displaystyle A(x)=YW(x) {\hat{X}}^{T} ({\hat {x}}W(x) {\hat{x}}^{T})^{-1}.}

typowym wyborem dla w(x , z ) {\displaystyle W ( x,Z)} jest waga Gaussa

W (x , z ) = exp ⁡ (−(x − z ) 2 2 σ 2 ) {\displaystyle w (x,z)=\exp \left (- {\frac {(x-z)^{2}}{2\sigma ^{2}}} \ right)}