「異常」は、誰が決めたのか
閾値と基準の恣意性

「異常」と言われても

AutoEncoder による異常検知を 公開したとき、画面には「異常」と表示される点が並びました。 それらしく見えます。

ただ、どこからが異常なのかは、モデルが決めたわけではありません。 モデルが出すのは「どれくらい普段と違うか」という連続値だけです。 そこに線を引いて「これ以上は異常」としたのは、実装した側です。

今回は分かりやすさのため、移動窓の標準化残差を異常スコアとします。 直近60日の平均と標準偏差を基準に、今日の変化が何σ離れているかを測る方法です。

閾値を動かすと、結果が総取り替えになる

合成データに5つの急変を仕込みました。−6.2%、−7.8% といった、 誰が見ても異常と言える下落です。これを検出できるか試します。

5つとも検出できるのは σ1.5 だけ——ただし誤検出が53件つきます。 σ3.5 まで上げると誤検出は2件に減りますが、3つしか拾えません。

注目したいのは、どこにも「ちょうどよい」点が無いことです。 仕込んだ急変は −6.2% や −7.8% という、 誰が見ても異常と言える大きさでした。それでも取りこぼします。

どちらが痛いかは、場面で違う

同じ手法でも、用途によって正しい閾値が変わります。 「この手法の精度は◯%」という言い方が成り立たないのは、そのためです。

基準そのものが、動いている

ここからが本題です。閾値を固定しても、判定は安定しません。 σ という単位が、直近の変動の大きさに依存しているからです。

前半が穏やか、後半が荒れる合成データで確かめました。

同じ下落が、違う扱いになる

前半 (i=139)   スコア 2.93 σ   ← 閾値σ3 なら、ほぼ異常
後半 (i=330)   スコア 0.86 σ   ← 平常の範囲

同じ 2% の下落です。それが 2.93σ にも 0.86σ にもなる。 後半はもともとよく動いているので、2% 程度は「いつものこと」と判定されます。

前回の 「学習窓を変えると答えが変わる」と、同じ構造です。 あちらは予測、こちらは判定ですが、 どちらも「何を基準にするか」で結果が動きます。

線を、引いてみる

閾値と基準の窓を動かせます。仕込んだ急変が検出されるか、 いくつ誤検出が出るかを見てください。実データでも試せます。

閾値を σ2.0 あたりまで下げると、検出が一気に増えます。 逆に σ4 まで上げると、ほとんど反応しなくなる。 その間のどこかに線を引く根拠は、データの中にはありません。

「正解」がないという問題

ここまでは仕込んだ急変を正解として数えてきました。 合成データだからできることです。

これは異常検知の根本的な難しさです。予測なら「翌日の値」という答え合わせができますが、 異常検知は正解ラベルを人が作る必要があります。

それでも、使うために

実務的に効きそうなことを、いくつか挙げます。

とくに絶対値との併用は、§4で見た「荒れた時期に鈍くなる」問題に効きます。 σ だけだと基準が動きますが、「−3%以上の下落」は動きません。

まとめ

3回にわたって、自分で公開したツールを測り直してきました。 予測の精度、学習期間、そして異常の判定。 どれも「モデルが出した答え」に見えて、 実際にはこちらが決めた前提の産物でした。