最も近い近傍新しい有権者をサンプリングした場合、既存のトレーニングデータを使用して登録を予測できます。 次の図は、これらの新しい有権者の富と宗教をプロットし、最寄りの近所のアルゴリズムを使用して登録を予測します。 ポイントの上にマウスを置くと、ポイントの予測を作成するために使用された近傍を表示できます。新しいデータの最近傍予測。 ポイントの上にカーソルを置くと、それを予測するために使用される近傍が表示されます。また、個人が民主党または共和党のいずれかに分類される場所の完全な予測領域をプロットすることもできます。 次の図はこれを示しています。

k-Nearest Neighborhood algorithmの重要な部分は、kの選択です。これまでは、kに1の値を使用してきました。 ただし、kは調整可能な値であり、1からトレーニングセット内のデータポイントの数までの任意の値に設定できます。 以下では、これらのプロットを生成するために使用されるkの値を調整できます。 調整すると、kが変化したときに予測がどのように変化するかを示すために、次のプロットと前のプロットの両方が更新されます。

新しいトレーニングデータを生成するkの最良の値は何ですか？ このシミュレートされたケースでは、元の有権者を共和党員または民主党員として分類するために使用された実際のモデルを知っている点で幸運です。 単純な分割が使用され、分割線が上の図にプロットされています。 ラインの北の有権者は共和党に分類され、ラインの南の有権者は民主党に分類された。 その後、いくつかの確率的ノイズが追加され、有権者の登録のランダムな割合が変更されました。 また、新しい学習データを生成して、結果が元の学習データにどのように敏感であるかを確認することもできます。

黒の境界線とよく一致する最良の予測アルゴリズムを見つけるために、kの値を試してみてください。

バイアスと分散

kを増加させると、各予測でより多くの有権者が平均化されます。 これにより、より滑らかな予測曲線が得られます。 Kが1の場合、民主党と共和党の分離は非常にギザギザです。 さらに、一般的に共和党の領土には民主党の”島”があり、その逆もあります。 Kが例えば20に増加すると、移行はより滑らかになり、島は消え、民主党と共和党の間の分割は境界線をたどるのに良い仕事をします。 Kが非常に大きくなると、例えば80、二つのカテゴリの区別がよりぼやけてしまい、境界予測線はまったくうまく一致しません。

小さなkでは、jaggednessとislandsは分散の兆候です。 新しいデータが収集されるにつれて、島の位置と境界の正確な曲線は根本的に変化します。 一方、大規模なkでは、遷移は非常に滑らかであるため、あまり分散はありませんが、境界線との一致がないことは、高いバイアスの兆候です。ここで観察しているのは、kを増やすと分散が減少し、バイアスが増加するということです。

ここでは、kを増やすと分散が減少し、バイアスが増 Kを減少させると、分散が増加し、バイアスが減少します。 低いkで異なるデータセットの予測がどのように変数であるかを見てみましょう。kが増加するにつれて、この変動性は減少します。 しかし、kをあまりにも大きくすると、真の境界線に従わなくなり、高いバイアスが観察されます。 これがバイアス-分散のトレードオフの性質です。

分析的バイアスと分散

k-最近傍の場合、バイアスと分散の合計として総誤差の明示的な分析式を導出できます。

分析的バイアスと分散

:$ $f（x）=\frac{1}{k}\sum\limits_{i=1}k k f（x_i）\right）2 2+\frac{\sigma_\epsilon^2}{k}+\sigma_\epsilon^2$ $er f（X）=\mathrm{バイアス}^2+\mathrm{分散}+\mathrm{既約\エラー}Error/er er er er irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre irre分散項は、既約誤差とkの関数であり、kが増加するにつれて分散誤差が着実に減少する。 バイアス項は、モデル空間がどれほど荒いかの関数です（例えば、異なる富と宗教の空間を移動するにつれて、実際には値がどのくらい速く変化するか）。 空間が粗いほど、さらに離れた近傍が推定値に持ち込まれるにつれて、バイアス項がより速く増加する。