AIでFX自動売買を作って分かった、バックテストで疑うべき5つのこと

10年前に使っていたFXの自動売買を、ChatGPTで作り直せないだろうか。

そんな軽い始まりから、気づけば戦略ごとに「教授」が6人いる研究所になった。コードを書かない私にとって、動くプログラムができること自体は大きな進歩だった。

しかし、いざ長い期間で検証すると、喜ぶより先に疑うべきことが次々と出てきた。これは「勝てるEA」の紹介ではなく、AIでEAを作った後に、私たちが確認したい5つの問いのメモだ。

1. 過去の結果に、合わせすぎていないか

パラメーターを少し変えただけで利益曲線がきれいになると、ついその数字を採用したくなる。けれど、過去のデータに合わせ込んだだけなら、将来には通用しないかもしれない。

開発時に調整した期間（インサンプル）と、調整に使っていない期間（アウトオブサンプル、OOS）を分ける。OOSでもうまく見えるからといって合格ではないが、少なくとも同じデータで何度も答え合わせするよりは厳しい。

2. バックテストの「利益」は何を差し引いているか

スプレッド、取引手数料、スリッページ、約定拒否。現実の注文では無視できないものが、検証設定によっては小さく扱われている。

短い時間軸で回数が多い戦略ほど、わずかなコストの違いが結果を大きく変える可能性がある。「どの価格で、どんな前提で約定した数字か」を記録せずに、利益だけを比べない。

3. 最大ドローダウンだけで安心していないか

私たちのQuickShiftの長期研究シミュレーションでは、最大ドローダウン約11%という数字に対し、過去の高値を取り戻せない期間（Underwater）が約14.9年に及んだ。下落の深さと、戻るまでの時間は別物だった。

たとえ損失率が小さめに見えても、15年近く新高値を更新できないなら、その戦略を続ける理由を考え直す必要がある。数値の詳細は「ドローダウンは深さ。Underwaterは時間。」にまとめた。

4. 戦略を増やすだけで、分散できたと思っていないか

6人の教授がいても、同じ相場で同じ方向に負けるなら、名前が6つに増えただけだ。売買タイミング、損益を生む相場環境、苦手な局面の違いを調べる。

「別々のEAだから独立している」ではなく、同時に崩れる場面がないかを見る。分散は戦略の数よりも、失敗の重なり方が大切だ。

5. どんな結果が出たら、採用しないと決めているか

検証結果を見てから合格ラインを動かすと、いつまでも都合のよい理由が生まれる。検証前に、使う期間、許容するドローダウン、想定コスト、稼働を止める条件を決めておく。

採用した戦略だけでなく、不採用にした理由も残す。AIで候補を量産できる時代には、作る能力と同じくらい「捨てる判断」が重要になる。

AIが賢くなるほど、疑う仕事は減らない

「動いた」は開発の区切りであって、研究のゴールではない。答えのない部分を見つけるほど、かつての単独EAの復活計画は、教授6人がいるFX大学へ変わっていった。

同じようにChatGPTで何かを作っている人なら、「眼科医がFX大学の学長になり、タヌキ研究所の所長になるまで」の寄り道も、たぶん他人事ではない。