競馬AIの確率は信用できる？当たるかを確かめる3つの方法
競馬AIが、「この馬の勝率は18％」と出したとき、その数字は、どのくらい信用できるのでしょうか。この記事では、AIの確率が現実と合っているかを確かめる方法と、確かめるときの落とし穴を説明します。
確率が「合っている」とは
「18％」と出した馬を、たくさん集めたとします。そのうち、実際に勝った割合が約18％なら、確率は現実と合っています。これを、「較正（キャリブレーション）が取れている」といいます。
一番強い馬を当てられるかどうかとは、別の話です。確率の数字そのものが、現実に近いかを見ます。
方法1：確率の帯ごとに、実際の割合を見る
次の手順で、確かめられます。
- 過去のレースについて、AIが出した確率を集めます
- 確率を、「0〜5％」「5〜10％」「10〜15％」のような帯に分けます
- 帯ごとに、実際に勝った割合を求めます
- 「AIの確率」と「実際の割合」を、並べて比べます
2つが、ほぼ同じなら、較正が取れています。AIの確率が、いつも実際より高いなら、自信過剰のモデルです。
方法2：基準のモデルと比べる
AIの数字だけを見ても、良いのか悪いのか、判断しにくいことがあります。そこで、基準のモデルと比べます。
Tabnet競馬では、オッズと頭数だけから作った「オッズモデル」を、基準にしています。同じレースの結果に対して、AIのほうが、基準より、実際の結果をうまく説明できていれば、そのAIには、価値があるといえます。
比べるときの指標には、確率の誤差を測る「ログ損失」などがあります。数字が小さいほうが、実際の結果に近いことを表します。
方法3：検証用のデータは、未来のデータにする
AIは、学習に使った過去のデータには、よく当てはまります。大事なのは、学習に使っていないデータで、どうなるかです。
競馬のデータでは、特に、時間の順番を守ることが重要です。
- 悪い例：全部のレースを、ランダムに「学習用」と「検証用」に分ける。未来のレースの情報が、学習に混ざってしまうことがあります
- 良い例：ある日付より前を学習用に、あとを検証用にする。実際の運用に近い条件で確かめられます
落とし穴
- 見つけた偶然を、本物と思い込む。 条件をたくさん試すと、偶然、成績が良く見える条件が見つかります。別のデータでも成り立つかを、確かめる必要があります。
- 回収率だけで判断する。 少ないレース数の回収率は、ぶれが大きいです。1つの大穴で、数字が大きく変わります。
- データの渡し方の間違い。 数字の順番や、欠損の扱いが違っても、それらしい数字が出てしまいます。データ処理の落とし穴6つで、実際の例を紹介しています。
使う側ができること
検証は、作る側の仕事ですが、使う側も、次の姿勢が大切です。
- 確率は、推定で、誤差があると考える
- AIの確率と、オッズから見た確率の差が、小さいときは、誤差の範囲かもしれないと考える
- 1つの数字だけで、決めない
次走予想の結果の読み方は、次走予想の結果の見方で説明しています。馬券の購入は、ご自身の判断と責任で、無理のない範囲でお願いします。
あわせて読みたい
AIの予想は、次走予想で試せます。