局所回帰
1964年、SavitskyとGolayは、一般にSavitzky–Golayフィルターと呼ばれる黄土に相当する方法を提案しました。ウィリアム-S-クリーブランドは1979年にこの方法を再発見し、それに明確な名前を与えた。 この方法は、ClevelandおよびSusan J.Devlin(1988)によってさらに開発された。 LOWESSは局所加重多項式回帰としても知られています。
データセットの範囲内の各点において、低次多項式がデータのサブセットに適合され、応答が推定される点の近くに説明変数の値があります。, 多項式は重み付き最小二乗法を使用して近似され、応答が推定される点の近くの点にはより多くの重みが与えられ、さらに離れた点にはより少な 点の回帰関数の値は、そのデータ点の説明変数値を使用して局所多項式を評価することによって得られます。 黄土フィットは、n{\displaystyle n}データ点のそれぞれについて回帰関数値が計算された後に完了する。 多項式モデルの次数や重みなど、この方法の詳細の多くは柔軟性があります。, 次に，メソッドの各部分の選択肢の範囲と典型的なデフォルトについて簡単に説明した。
dataEditのローカライズされたサブセット
黄土の各加重最小二乗近似に使用されるデータのサブセットは、最近傍アルゴリズムによって決定されます。 “帯域幅”または”平滑化パラメーター”と呼ばれるプロシージャへのユーザー指定の入力により、各ローカル多項式を近似するために使用されるデータの量が決定されま 平滑化パラメータα{\displaystyle\alpha}は、各局所近似において使用されるデータ点の総数nの分数である。, したがって、各重み付き最小二乗近似で使用されるデータのサブセットは、説明変数の値が応答が推定されている点に最も近いn α{\displaystyle n\alpha}点（次の最大の整数に丸められる）からなる。
α{\displaystyle\alpha}は、黄土回帰関数の柔軟性を制御するため、平滑化パラメータと呼ばれます。 Α{\displaystyle\alpha}の大きな値は、データのゆらぎに応答して最も小さく揺れる最も滑らかな関数を生成する。, Α{\displaystyle\alpha}が小さければ小さいほど、回帰関数はデータに近づきます。 ただし、平滑化パラメーターの値が小さすぎると、回帰関数が最終的にデータのランダム誤差をキャプチャし始めるため、使用することは望ましくありませ
局所多項式の次数編集
データの各部分集合に適合する局所多項式は、ほとんど常に第一次次または第二次であり、すなわち局所線型（直線の意味で）または局所二次のいずれかである。 零次多項式を使用すると、黄土は加重移動平均に変わります。, 高次多項式は理論的には機能しますが、実際には黄土の精神にはないモデルが得られます。 LOESSは、任意の関数が小さな近傍で低次多項式によってよく近似でき、単純なモデルがデータに容易に適合できるという考えに基づいています。 高次多項式は、各サブセットのデータをオーバーフィットする傾向があり、数値的に不安定であり、正確な計算が困難になります。,
Weight functionEdit
上記のように、weight関数は、推定ポイントに最も近いデータポイントに最大の重みを与え、最も遠いデータポイントに最小の重みを与えます。 重みの使用は、説明変数空間内の互いに近い点が、さらに離れている点よりも簡単な方法で互いに関連している可能性が高いという考えに基づいて このロジック、ポイントがその地域モデルの最高の影響は、地元のモデルパラメータ推定です。, ローカルモデルに実際に適合する可能性が低い点は、ローカルモデルパラメーター推定への影響が少なくなります。
黄土に使用される伝統的な重み関数は、トライキューブ重み関数であり、
w(x)=(1|/d|3)3{\displaystyle w(x)=(1-|d|^{3})^{3}}
ここで、dは、近似される曲線上の点から与えられたデータ点の距離であり、0から1の範囲にあるようにスケーリングされます。しかしながら、Cleveland(1979)に記載されている性質を満たす任意の他の重み関数もまた使用することができる。, データのローカライズされたサブセット内の特定の点の重みは、データのサブセット内のすべての点に対する最大絶対距離が正確に一つになるように距離
RSS x≤(A)=≤i=1N(y i-A x^i)T w i(x)(y i−A x^i). {\displaystyle\operatorname{RSS}_{x}(A)=\sum_{i=1}^{N}(y_{i}-A{\hat{x}}_{i})^{T}w_{i}(x)(y_{i}-A{\hat{x}}_{i})。,{\Displaystyle\operatorname{Tr}(W(x)(Y−A X^)T(Y−A X^)){\displaystyle\operatorname{Tr}(W(x)(Y-A{\hat{X}})^{T}(Y-A{\hat{X}}))}A X^W(x)X^T=Y W(x)X^T. {\displaystyle A{\hat{X}}W(x){\hat{X}}^{T}=YW(x){\hat{X}}^{T}である。}A(x)=Y W(x)X^T(X^W(x)X^T)-1. {\displaystyle A(x)=YW(x){\hat{X}}^{T}({\hat{X}}W(x){\hat{X}}^{T})^{-1}である。}
w(x,z){\displaystyle w(x,z)}の典型的な選択は、ガウス重み
w(x,z)=exp(-(x-z)2 2σ2){\displaystyle w(x,z)=\exp\left(-{\frac{(x-z)^{2}}{2\sigma^{2}}}\right)}
