学習期間を変えると、答えが変わる
窓幅の選び方と、1行のリーク

どこまで遡って学習するか

前回は、 予測の評価が物差し次第で逆転する話でした。今回は学習の側を扱います。

予測モデルを作るとき、過去のどこまでを学習に使うかを決める必要があります。 直近20日か、1年か、5年ぶんか。この長さを「窓（ウィンドウ）」と呼びます。

窓を長くすれば学習データは増えます。ただし古い時期の性質まで混ざります。 短くすれば直近に適応できますが、サンプルが足りません。 どちらが良いのか、測ってみます。

短い窓ほど、成績が良かった

合成データ600日ぶんを用意し、後半400日を評価区間としました。 窓の長さだけを変えて比べます。

20日窓が突出しています。MAPE も RMSE も最良、 方向一致率にいたっては 67.7%。 前回「コイン投げと変わらない」と書いた50%を、大きく上回っています。

解釈もつきました。相場は変わり続けるのだから、直近だけを見るほうが適応が速い—— もっともらしい説明です。実際、そう書きかけました。

学習データに、答えが入っていた

学習サンプルを作るループを見直しました。

// endIdx 時点で、翌日 P[endIdx+1] を予測したい
for (let i = endIdx - W + 1; i <= endIdx; i++) {
  // 特徴量：i 時点までの変化率
  const feat = [ logRet(i), logRet(i-1), logRet(i-2) ];
  // 目的変数：翌日の変化率
    Y.push( logRet(i+1) );   // i=endIdx のとき logRet(endIdx+1)
}

ループの最後、i = endIdx のときを見てください。 目的変数が logRet(endIdx+1) になります。 これはまさに予測したい値そのものです。

// 最後のサンプルの目的変数が P[endIdx] になるようにする
const last = endIdx - 1;
for (let i = last - W + 1; i <= last; i++) {
  const feat = [ logRet(i), logRet(i-1), logRet(i-2) ];
    Y.push( logRet(i+1) );   // 最大でも logRet(endIdx) ＝ 既知
}

変えたのはループの終端だけです。1行にも満たない差です。

直したら、結論が逆になった

すべて50%前後に戻りました。前回の記事と同じ結論です。 そして20日窓の優位も消えました。

修正後の全体像

リークがあったときは、窓の選び方が成績を左右するように見えました。 修正後はそもそも勝てていない。 窓を最適化する以前の問題でした。

窓とリークを、切り替えてみる

学習窓を動かし、リークの有無を切り替えられます。 合成データと実データのどちらでも試せます。

リークありでは、短い窓が有利に見えます。 切り替えると、その優位が消えます。 点線はナイーブ予測の成績です。修正後は、どの窓もこれを超えられません。

なぜ気づきにくいのか

リークはエラーを出しません。計算は最後まで走り、 それらしい数値が返ります。むしろ期待どおりの、良い数値が。

しかも解釈がつきやすいのが厄介です。 「短い窓が良い」という結果には、もっともらしい説明を当てはめられます。 説明できてしまうと、疑わなくなります。

窓は、何で決めるべきか

今回は「どの窓もナイーブに勝てない」という結論でしたが、 勝てるモデルがある場合に窓をどう選ぶかは別の問題です。

まとめ

窓の長さを変える実験のつもりが、自分の実装を検算する話になりました。 前回書いた「良い数字が出たら測り方を疑う」が、そのまま今回に効いています。