ポーカーAI:GTO AIツールにできること、できないこと
いまやほとんどのポーカー製品がAIを謳っています。本物の機械学習モデルもあれば、事前計算済みのルックアップテーブルに新しいラベルを貼っただけのものもあり、存在しないレンジを自信満々に作り出すチャットボットもあります。このガイドでは製品の宣伝文句ではなく公表された研究をもとにそれらを切り分け、お金を払う前にポーカーAIツールが実際に何をしているのか判断できるようにします。
開示:本ガイドはGTO Geckoが発行しています。当社は以下で触れる機械学習ベースの解説機能を含むポーカー学習ソフトを販売しています。一般的な主張と自社製品に関する主張は分けて記述し、その両方について根拠となる研究を引用しています。
ポーカーAIとは、正確には何か?
4つの異なる技術が同じラベルを共有しています。ゲーム理論ソルバー、セルフプレイのニューラルエージェント、大規模言語モデル、そして機械学習による解説レイヤーです。戦略を生み出すのは最初の2つだけです。3つ目はそれについて語り、4つ目はそれを説明します。製品がどれを動かしているかを知れば、何を信頼してよいかが正確にわかります。
| 種類 | 仕組み | 本当に得意なこと |
|---|---|---|
| ゲーム理論ソルバー | 反実仮想後悔最小化(CFR)とその派生。定義したゲームツリーの内部で近似均衡へ反復収束する | 明確に指定された1つのスポットについて戦略の基準を出すこと |
| ニューラルネットエージェント | 深層ネットワークと探索の組み合わせ。主にセルフプレイで学習し、1つのノードではなくゲーム全体をプレイする | ハンド全体を上手にプレイすること、研究上のマイルストーン |
| 言語モデル | 膨大な学習コーパスのパターンから、それらしいテキストを予測する | 概念の説明、要約、ノートや学習計画の下書き |
| 解説レイヤー | ソルバー出力に教師あり学習モデルを当てはめ、各予測を入力特徴量に帰属させる | 頻度の数字を、テーブルで思い出せる「理由」に変えること |
製品はマーケティングでこれらのカテゴリを混ぜてしまいます。そして、その曖昧さこそがお金の無駄が生まれる場所です。
実際に公表されているポーカーAIのマイルストーン
超人的なポーカーAIの歴史は、公表された5つのシステムでほぼ尽くされます。Cepheus(2015年)、DeepStack(2017年)、Libratus(2017年)、Pluribus(2019年)、ReBeL(2020年)です。5つとも研究プログラムであって製品ではなく、いずれもプレイヤーに販売されたことはありません。
| 年 | システム | チーム | 公表された結果 |
|---|---|---|---|
| 2015 | Cepheus | アルバータ大学 | CFR+アルゴリズムを用い、ヘッズアップ・リミットホールデムが実質的に弱解決されたとScience誌で発表 |
| 2017 | DeepStack | アルバータ大学と共同研究者 | ヘッズアップ・ノーリミット44,000ハンドでプロプレイヤーに統計的有意差をもって勝利 |
| 2017 | Libratus | カーネギーメロン大学 | トッププロ4名に120,000ハンドで勝利し、チップ換算で1,766,250ドルのプラスで終了 |
| 2019 | Pluribus | カーネギーメロン大学とFacebook AI | 6人制ノーリミットホールデムで初の超人的成果 |
| 2020 | ReBeL | Facebook AI Research | 汎用のセルフプレイ枠組みで、ポーカー固有の知識をはるかに減らしつつヘッズアップ・ノーリミットで超人級に到達 |
Libratusの対戦は2017年1月9日から30日にかけて、ピッツバーグのRivers Casinoで行われました。BrownとSandholmは2018年のScience誌で、その差は運の偏りではなく統計的に有意だったと述べています。
現代の計算量に関する主張を判断するうえでは、Pluribusのほうが良い基準になります。そのブループリント戦略は12,400コア時間を使って8日間で学習され、実戦中は28個のCPUコアで動作しました。その2年前のLibratusは、およそ1,500万コア時間と1,400コアを必要としていました。ポーカーAIは劇的に安くなり、だからこそ消費者向けの学習ツールが成立するようになったのです。
これらのシステムがやらなかったこと
どれ一つとして人間を指導するために作られてはいません。勝つために作られたので、説明もレンジチャートもフィードバックも提供しませんでした。上手にプレイするエージェントと、あなたに教えてくれるツールとの間にある溝が、以下で扱う製品カテゴリそのものです。
商用のGTO AIツールが実際に売っているもの
アーキテクチャは3つあり、1つの製品で組み合わされることもあります。事前計算済みのソリューションライブラリ、オンデマンドのソルビング、そしてその上に載る機械学習レイヤーです。GTO AIとして売られているもののほとんどは、ニューラルネットワークを動かしているのではなく保存済みのソルバー出力を配信しています。3つとも正当な手法であり、その違いが「実際に何を学べるか」を決めます。
事前計算済みのソリューションライブラリ
ベンダーが事前に何千もの設定を解いて出力を保存し、一致するエントリを返します。待っている間に計算するものが何もないので、クエリは即座に返ります。限界はカバー範囲です。あなたのスタックの深さ、レーキモデル、アンティ、ベットサイズが揃っていなければ、返ってくるのはあなたのスポットではなく最も近いものであり、どちらを受け取ったのかをインターフェースが必ず教えてくれるとは限りません。
オンデマンドのソルビング
あなたがスポットを定義し、ソフトウェアがクラウドまたは端末上でそれを解きます。ライブラリが想定していない設定にも対応できますが、待ち時間と入力への理解が代償になります。結果を静かに無効化してしまう入力ミスについてはポーカーソルバーの使い方のガイドで、両陣営のツール比較はこちらのまとめで扱っています。
その上に載る機械学習レイヤー
AIというラベルが最も正当に使われるのがここです。ソルバー出力で学習された教師ありモデルが、それを圧縮し、近似し、あるいは説明します。このモデルが戦略を発見するわけではありません。ソルバーがすでに生成した戦略を組み替えているのです。
解説レイヤーとしての機械学習
解説レイヤーは、ソルバー出力にモデルを当てはめ、各予測をその入力に帰属させることで、ソルバーの頻度を言葉にされた理由へと変換します。ソルバーが生成しなかった戦略を見つけ出すことはできません。GTO GeckoのExplain機能は、勾配ブースティング木(XGBoost、Chen and Guestrin, 2016)とSHAPによる帰属(Lundberg and Lee, 2017)でこれを行っています。
実際の効果としては、「レイズ63%、コール37%」を読んで先に進む代わりに、帰属の説明が得られます。このハンドは相手の続行レンジをブロックしている、ボードはプリフロップのアグレッサーに有利、スタック・トゥ・ポットレシオが今ポットを膨らませることを報いている、といった具合です。3週間後にテーブルで思い出せるのは、こうした文章です。
制約は機能そのものと同じくらい重要です。解説レイヤーは、学習した対象の戦略を説明します。レーキ、アンティ、スタックの深さの設定を誤ったせいで元の解があなたのゲームにとって間違っている場合、あなたは間違った答えについて流暢で自信に満ちた説明を受け取ることになります。入力を検証するのは解説ではありません。あなたです。
ChatGPTはポーカーの上達に役立つのか?
概念にはイエス、数字にはノーです。GTOソルバー出力を正解として採点する11,000シナリオのベンチマークPokerBenchでは、GPT-4が53.55%、ChatGPT 3.5が29.96%でした(Zhuangら、2025年1月)。言語モデルはアイデアの説明とノートの整理に使い、そこから出てきたレンジや頻度はすべてソルバーで検証してください。
プリフロップ1,000スポットとポストフロップ10,000スポットから構築されたこのベンチマークの全体順位は次のとおりです。
| モデル | 条件 | PokerBenchの正答率 |
|---|---|---|
| GPT-4 | そのまま、few-shot | 53.55% |
| Llama-3 70B | そのまま、few-shot | 39.16% |
| ChatGPT 3.5 | そのまま、few-shot | 29.96% |
| Llama-3 8B、ファインチューニング済み | ファインチューニング後のzero-shot | 78.26% |
最も強力な汎用モデルでも、ソルバーの正解と一致したのはシナリオの半分をわずかに超える程度でした。著者らは、最先端の言語モデルは最適なポーカーでは力不足であり、ファインチューニングが大きく効くと結論づけています。
この失敗の仕方には特有の形があります。言語モデルにアンティありの40bbでのBTNオープンレンジを尋ねると、本物のレンジそっくりに整形された綺麗なリストが返ってきます。しかしそこにはソルバーがフォールドするハンドが含まれ、オープンするハンドが抜けているかもしれず、その両者を見分ける手がかりは何もありません。流暢さは正確さではなく、モデルは自分が推測しているときにそう教えてはくれません。
| タスク | LLMの適性 | 理由 |
|---|---|---|
| 均衡やブロッカーとは何かの説明 | 高い | 学習データに正しい出典が多数ある、よく整理された概念的題材 |
| セッションのノートを学習計画に整形する | 高い | ポーカーの事実を生成するのではなく、あなたが与えたテキストを構造化している |
| ソルバー出力を自分の言葉に書き直す | 出力を貼り付ければ良好 | 正解はあなたが提供し、モデルは言い換えるだけ |
| オープンレンジやディフェンスレンジの生成 | 低い | 正確な頻度は、良くて記憶した近似、悪ければ捏造 |
| 厳密なミックス戦略の割合を答える | 低い | 裏で計算していないうえ、自分の確信度に対する校正もない |
| 特定のボードでの特定ハンドの評価 | 低い | ゲームツリーを解く必要があるが、モデルはそれをしていない |
そこから導かれるルールは単純です。言語モデルは言語のために使い、レンジや頻度に関する主張はすべて、信じる前にソルバーで確認すること。正しいレンジが構造的にどう見えるかはポーカーレンジを理解するガイドで扱っており、これを知っていると捏造された出力に気づきやすくなります。
破綻しないAI活用の学習ワークフロー
ソルバーが先、解説が次、チャットボットが3番目、トレーナーが最後です。この順番が重要なのは、正解を生み出すのはステップ2だけであり、上流の設定ミスは下流の何をもってしても修復できないからです。
- 自分のプレイからスポットを1つ選ぶ。後から記憶に頼るのではなく、セッション中にタグを付けます。フォーマット、ポジション、エフェクティブスタック、アンティ、すべてのベットサイズを記録してください。
- ソルバーまたはソリューションライブラリから戦略を得る。正解を生み出す唯一の工程がここです。ここでの設定が間違っていると、ワークフローの後半では何をしても直せません。
- 解説レイヤーで理由を突き止める。特徴量の帰属が、どの変数が判断を動かしたのかを教えてくれるので、暗記した1つのコンボではなく転用できる原則が身につきます。
- 言語モデルに要約させる。ソルバー出力と帰属の説明を貼り付け、平易な言葉で2文のルールにしてもらいます。モデルはあなたの素材を編集しているのであって、新しい事実を調達しているのではありません。
- 何も見ずに答えられるまでトレーナーでドリルする。解説を読むのは再認です。プリフロップトレーナーやポストフロップトレーナーは想起を試します。学習が実際に起きるのはそこです。
- ミスを件数ではなくコスト順に並べる。EVロスを記録し、高くつくミスから手を付けてください。正答率だけでは直す価値のあるリークが隠れてしまう理由は、EVロスのリークファインダーガイドで説明しています。
ステップ2、3、5には言語モデルは一切関わりません。ここでのチャットボットの仕事はただ1つ、しかも文章の仕事です。
AIがあなたのゲームにできないこと
3つあります。特定の相手を搾取すること、判断以外のポーカーの部分を管理すること、そして誰も解いていないスポットをカバーすることです。
| 限界 | なぜそうなるのか | 代わりにすべきこと |
|---|---|---|
| 4番シートのプレイヤーを搾取する | 均衡は搾取されないように作られているため、相手のミスを攻めることもしない | まず基準を学び、その後で意図的に逸脱する(GTO対エクスプロイト戦略) |
| 判断以外のすべて | バンクロール管理、セッションの長さ、負けている状態でやめる判断は、ここに挙げたどのツールの外側にある | メンタルゲームは別の作業として扱う。完璧なソルバー知識があってもティルト対策がなければ負ける |
| 誰も解いていないスポット | ライブラリは計算コストに見合う需要のある場所に作られる。ヘッズアップのポストフロップGTOコンテンツは、GTO Geckoを含めこのカテゴリ全体で手薄 | 契約前にベンダーへ「何が欠けているか」を尋ね、曖昧な返答も1つの答えと受け取る |
ポーカーでAIを使うことは許されているのか?
テーブル外の学習では許されます。プレイ中は許されず、罰則には永久BANや資金没収が含まれます。GGPokerの公開セキュリティポリシーはリアルタイムアシスタンスを「対戦相手に対して不公平な優位性をユーザーに与え、リアルタイムで意思決定に影響を与えるあらゆる外部支援」と定義し、「ソフトウェア、アプリ、ウェブサイト、物理的およびデジタルの参照資料」を対象としています。ボットの定義には「人工知能」が明記され、禁止ツールの一覧にはRTA、ボット、ソルバー、チャート、HUDが含まれます。
実務上の線引きはこうです。ソルバー、トレーナー、チャットボット、解説モデルは、ポーカークライアントを閉じている限りすべて学習ツールであり、判断が保留されている場面ではすべて禁止された支援になります。ポリシーによっては、アクションが自分に回ってきたときだけでなくクライアントを開いている間ずっと適用されます。ソルバーとRTAのルールに関するガイドを読んだうえで、プレイする各ルームの最新規約を確認してください。
よくある質問
AIはプロのポーカープレイヤーに勝てますか?
公表された研究の条件下では勝てます。Libratusは2017年にヘッズアップ・ノーリミット120,000ハンドでトッププロ4名を破り、Pluribusは2019年に6人制ノーリミットで超人的な成績に到達しました。いずれもプレイするために作られた研究用エージェントであり、購入できる製品ではありません。市販の学習ツールにそれらは含まれていません。
ChatGPTはポーカー戦略に向いていますか?
概念の説明と学習ノートの整理には役立ち、数値に関わることには信頼できません。ソルバーで採点された11,000シナリオのPokerBenchベンチマークでは、GPT-4が53.55%、ChatGPT 3.5が29.96%でした。生成されたレンジや頻度は、ソルバーで確認するまで未検証として扱ってください。
GTOソルバーとポーカーAIの違いは何ですか?
ソルバーは、あなたが定義した1つのスポットについて、通常は後悔最小化アルゴリズムで近似均衡を計算します。ポーカーAIはより広いラベルで、ソルバー、セルフプレイのニューラルエージェント、言語モデルを含みます。AIを謳う製品のほとんどは、事前計算済みのソルバー出力を配信しています。どちらが必要かはソルバーとトレーナーの比較ガイドで扱っています。
ポーカーサイトはAIポーカーツールを許可していますか?
テーブル外の学習には概ね許可されています。プレイ中は不可です。GGPokerのポリシーは禁止ツールとして人工知能、ソルバー、チャート、HUDを明示的に列挙しており、罰則は永久BANと資金没収です。学習用ソフトを開く前にポーカークライアントを閉じ、自分のルームの最新ルールを確認してください。
AIはソルバーのプレイが正しい理由を説明できますか?
ますますできるようになっています。SHAPのような特徴量帰属手法は、各入力が1つの予測にどれだけ寄与したかを測定して割り当てるため、生の頻度を言葉にされた理由へと変換します。GTO GeckoのExplain機能はこの手法を使っています。注意点は、説明は学習対象となった解を記述するものであるため、設定を誤ったスポットからは自信たっぷりの間違った説明が出てくるということです。
AIによって人間にとってポーカーは勝てないゲームになりますか?
これまでのところそうはなっていません。超人的なエージェントは2017年から存在しますが人間のゲームは続いています。それらのエージェントが研究システムであり、プレイ中に使うことは禁止されていて検出可能だからです。変わったのは学習のほうです。かつて数百万コア時間を要した均衡の基準が、いまやサブスクリプション費用で手に入るため、実力差はますます「誰が上手に学習したか」を反映するようになっています。
AIには、AIが実際にできる仕事をさせよう
ソルバーは答えをくれ、解説モデルは理由をくれ、言語モデルはそれを書き留める手伝いをし、トレーナーはそのどれもを4秒で下せる判断に変えてくれます。前回のセッションからスポットを1つ選び、この順番で通してみてください。ドリルの準備ができたら、GTO Geckoトレーナーを開き、設定を1つに絞って始めましょう。
参考資料
- Bowling, Burch, Johanson and Tammelin (2015), “Heads-up limit hold’em poker is solved” (Science)
- Moravčík et al. (2017), “DeepStack: Expert-level artificial intelligence in heads-up no-limit poker” (PubMed)
- Brown and Sandholm (2018), “Superhuman AI for heads-up no-limit poker: Libratus beats top professionals” (Science)
- Carnegie Mellon University news release on the Libratus Brains vs AI match
- Brown and Sandholm (2019), “Superhuman AI for multiplayer poker” (Science)
- Carnegie Mellon University news release on Pluribus
- Brown, Bakhtin, Lerer and Gong (2020), “Combining Deep Reinforcement Learning and Search for Imperfect-Information Games” (ReBeL) (arXiv)
- Zhuang et al. (2025), “PokerBench: Training Large Language Models to become Professional Poker Players” (arXiv)
- Lundberg and Lee (2017), “A Unified Approach to Interpreting Model Predictions” (SHAP) (arXiv)
- Chen and Guestrin (2016), “XGBoost: A Scalable Tree Boosting System” (arXiv)
- GGPoker Security and Ecology Policy
- GTO Gecko公式製品ページ