Articles

Lokale regressie

in 1964 stelden Savitsky en Golay een methode voor die gelijkwaardig is aan löss, dat gewoonlijk Savitzky–Golay filter wordt genoemd.William S. Cleveland herontdekte de methode in 1979 en gaf het een duidelijke naam. De methode werd verder ontwikkeld door Cleveland en Susan J. Devlin (1988). LOWESS is ook bekend als lokaal gewogen polynoom regressie.

op elk punt in het bereik van de gegevensverzameling wordt een laaggradenpolynoom aangebracht op een deelverzameling van de gegevens, met verklarende variabele waarden in de buurt van het punt waarvan de respons wordt geschat., De veelterm wordt gemonteerd met behulp van gewogen kleinste kwadraten, waardoor meer gewicht aan punten in de buurt van het punt waarvan de respons wordt geschat en minder gewicht aan punten verder weg. De waarde van de regressiefunctie voor het punt wordt vervolgens verkregen door de lokale veelterm te evalueren met behulp van de verklarende variabele waarden voor dat gegevenspunt. De löss fit is voltooid nadat de regressiefunctiewaarden zijn berekend voor elk van de n {\displaystyle n} datapunten. Veel van de details van deze methode, zoals de mate van het veeltermmodel en de gewichten, zijn flexibel., Het bereik van keuzes voor elk deel van de methode en typische standaardwaarden worden hierna kort besproken.

gelokaliseerde subsets van dataEdit

de subsets van gegevens die worden gebruikt voor elke gewogen kleinste kwadraten die in löss passen, worden bepaald door een algoritme voor naaste buren. Een door de gebruiker opgegeven invoer voor de procedure genaamd de “bandbreedte” of “smoothing parameter” bepaalt hoeveel van de gegevens wordt gebruikt om in elke lokale veelterm te passen. De smoothing parameter, α {\displaystyle \ alpha }, is de fractie van het totale aantal n datapunten dat wordt gebruikt in elke lokale fit., De deelverzameling van gegevens die wordt gebruikt in elke gewogen kleinste kwadraten die passen, omvat dus de N α {\displaystyle n\alpha } punten (afgerond op het op één na grootste gehele getal) waarvan de verklarende variabelen het dichtst liggen bij het punt waarop de respons wordt geschat.

α {\displaystyle \ alpha } wordt de smoothing parameter genoemd omdat het de flexibiliteit van de löss regressiefunctie controleert. Grote waarden van α {\displaystyle \ alpha } produceren de soepelste functies die het minst bewegen in reactie op schommelingen in de gegevens., Hoe kleiner α {\displaystyle \ alpha } is, des te dichter zal de regressiefunctie zich aanpassen aan de data. Het gebruik van een te kleine waarde van de smoothing-parameter is echter niet wenselijk, omdat de regressiefunctie uiteindelijk de willekeurige fout in de gegevens zal vastleggen.

mate van lokale polynomialsEdit

de lokale Polynomen die passen bij elke deelverzameling van de gegevens zijn bijna altijd van eerste of tweede graad; dat wil zeggen lokaal lineair (in de rechte zin) of lokaal kwadratisch. Met behulp van een nul graad polynoom verandert löss in een gewogen voortschrijdend gemiddelde., Hogere-graad veeltermen zou werken in theorie, maar opbrengst modellen die niet echt in de geest van löss. Löss is gebaseerd op de ideeën dat elke functie goed kan worden benaderd in een kleine buurt door een lage-orde veelterm en dat eenvoudige modellen gemakkelijk kunnen worden aangepast aan gegevens. Veeltermen van hoge graad zouden de neiging hebben om de gegevens in elke deelverzameling over te boeken en zijn numeriek onstabiel, waardoor nauwkeurige berekeningen moeilijk zijn.,

Gewichtsfunctiedit

zoals hierboven vermeld, geeft de gewichtsfunctie het grootste gewicht aan de gegevenspunten die het dichtst bij het schattingspunt liggen en het kleinste gewicht aan de gegevenspunten die het verst weg liggen. Het gebruik van de gewichten is gebaseerd op het idee dat punten dicht bij elkaar in de verklarende variabele ruimte eerder op een eenvoudige manier aan elkaar gerelateerd zijn dan punten die verder uit elkaar liggen. Volgens deze logica beïnvloeden punten die waarschijnlijk het lokale model volgen het beste de schattingen van de lokale modelparameter., Punten die minder waarschijnlijk in overeenstemming zijn met het lokale model hebben minder invloed op de schattingen van de lokale modelparameters.

de traditionele gewichtsfunctie die gebruikt wordt voor löss is de tri-cube gewichtsfunctie, w ( x ) = ( 1 − | d|3 ) 3 {\displaystyle w(x)=(1- / d)|^{3})^{3}}

waarbij d de afstand is van een gegeven gegevenspunt tot het punt op de gemonteerde kromme, zodanig geschaald dat het tussen 0 en 1 ligt.

echter, elke andere gewichtsfunctie die voldoet aan de eigenschappen vermeld in Cleveland (1979) kan ook worden gebruikt., Het gewicht voor een specifiek punt in een gelokaliseerde deelverzameling van gegevens wordt verkregen door de gewichtsfunctie op de afstand tussen dat punt en het punt van schatting te evalueren, na het schalen van de afstand zodat de maximale absolute afstand over alle punten in de deelverzameling van gegevens precies één is.

RSS x ⁡ (A) = ∑ i = 1 N ( y i − A x ^ i) T w i ( x) (y i − A x ^ i). {\displaystyle \ operatorname {RSS} _{x} (A)=\sum _{i = 1}^{n}(y_{i}-A{\hat {x}}_{i})^{T}w_{i}(x) (y_{i}-a{\hat {x}}_{i}).,} Tr ⁡ ( W (X) (Y − A X^) T (Y − A x^)) {\displaystyle \operatorname {Tr} (W(x) (Y-a{\hat {X}})^{T} (Y-a{\hat {X}}))} A X ^ W ( x ) x ^ T = Y W (x) x ^ T . {\displaystyle A {\hat {X}} W(x) {\hat {X}}^{T}=YW (x) {\hat {X}}^{t}.} A (x ) = Y W (x ) x ^ T ( X ^ W ( x) x ^ T) − 1 . {\displaystyle A(x) = YW(x) {\hat {X}}^{T}({\hat {X}}W(x) {\hat {X}}^{T})^{-1}.}

een typische keuze voor w (x , z ) {\displaystyle w (x,z)} is het Gaussiaanse gewicht

w ( x, z)=exp ⁡ ( − ( x − z) 2 2 σ 2) {\displaystyle w(x,z) = \exp \left(-{\frac {(x-z)^{2}}{2 \ sigma ^{2}}} \ right)}