S I N T R A --- Medal Game Warehouse --- Blog --- Video Poker and Strategy
主としてビデオポーカーとその戦略、周辺企業動向などを取り扱います
人工知能(AI)とビデオポーカー
2016年11月29日 (火) 21:20 | 編集
人工知能(Artificial Intelligence)をビデオポーカーに適用することについて。
世間では、“Alpha Goが人間を凌駕した”などと色めいていて、囲碁だけでなくコンピュータが勝手に戦略を学習して、さまざまなゲームを解くことができる世界がやってきています。それでは、ビデオポーカーはどうなのでしょうか?AIは、勝ち負けを学習して蓄積し、結果利益を最大とする戦略を身につけて、それを実行できるようになるでしょう。それを実現するためには、カードを画像認識し、最初はランダムにホールドして、結果(当選枚数)を記憶して‥‥結局は、P[52,5]の組合せ(画像認識ではカードの位置を区別して記憶するため)のpredraw handについて、最適戦略を類推できるくらいの膨大なプレイをこなした後、AIが行動(カードの選択)できるようになるはずです。流行りの“教師なし深層学習”によってAIは、ビデオポーカーを(ほぼ)正しく打てるようになるわけです。

何か無駄な気がする。

そうなのです。既にほとんどのビデオポーカーについては、確定論的に最適解(最適戦略)が求まっているわけですから、何も“教師なし学習”せずとも画像認識後に、ただその戦略でプレイすればよいだけですから。つまり、ほとんどのビデオポーカーについては、(第3次ブームで云うところの)AIは不要です。言い方を変えると、“囲碁と比較すれば、ビデオポーカーは単純な問題”なのです。

しかし、ここでAIが面白いのは、ルールを知らなくても最適行動が可能ということでしょう。predrawの場面で使えるボタンはすべてランダムに押して試すところから始めるわけですから、それこそraise drawであろうと、extra drawであろうとAIは勝手に学習するはずです。それこそ、このblogの読者が経験したようにです。

ただ、利益の最大化を目標とするのであれば、AIはすぐに黙り込んでしまうかも知れませんね。---期待値が1以下であれば、プレイしないことが最善なのですから。人間のように、“娯楽”では打ってくれないわけです。
期待値が1以上に設定するか、“娯楽”の価値を加えて期待値をポジティブにするか。いや、その娯楽の価値を学習させるのは難しいけれど、学習させたら面白い。スリリングな手(例えば僅差の期待値であるpairよりも3RFの方がスリリング)ならば、“娯楽”パラメータが大きいことを理解するAIの登場です。best playではなく、娯楽の価値も総合的に判断して人間らしく打つAIが誕生するかも。

もうひとつ、AIが面白いといえるのは、多くの学習を通じて、natural dealでないビデオポーカーについても、最適戦略を産み出せることでしょう。そのビデオポーカーのコーディング内容を知る必要はないのです。膨大な学習が必要とはいえ、経験的に最適戦略を獲得できるわけですから。癖を見抜いて、例えば“Jo+A”では、(理論上はraise手であるのに)raiseしないといった行動もAIにはできるかもしれません。
スポンサーサイト
▲FTJWの最近のご機嫌について
2016年11月28日 (月) 21:43 | 編集
“Fortune Time Joker's Wild(FTJW,cron)”における、最近のWheel倍率等の観測結果を以下に示します。期間は2016年8月30日から同11月27日までの309 triggered。今回はWheel倍率だけでなく、各fortune gameの結果(total win)についても記録し、倍率毎の期待値も念のため検証してみました。
※ただし、Wheel=“10倍”については、309 triggered中2回で合計21ゲームと、観測数が少ないため有意データとなっていません

(1) 基本データ
 maingame  推定17620ゲーム
 fortune game   5155ゲーム(計数値)
 triggered       309
 re-triggered     137
 FH or Betterの数   446
  (内訳)       (うちw/ Joker hand)
  5 of a Kind     2 (2)
  Joker Royal Flush  3 (3)
  Straight Flush    7 (5)
  4 Aces       13 (11)
  4 J's thru K's   39 (35)
  4 2's thru 10's  116 (84)
  Full House     266 (102)
メインゲーム約17620ゲーム(1分あたり10ゲームとして推定)に対して、trigger役であるFull House(FH)以上の役のhit数は446回,平均確率1/39.5と理論分布にほぼ一致しています。feature game(on mode)中は、5155ゲームに対して137回,平均確率1/37.6と積極策に動いた結果とも読み取れます。特に不審な点は見当たりません。
Full Houseのnatural handとw/ Joker handとの比率については、164:102(=約1.61:1)となっています。最適戦略を考えると、もう少しnatural handが多くてもよい気はします(最適戦略時 約1.82:1)。

(2) dealt役と口笛予告
観測数が多い4 of a Kind(全体),Full Houseについてdealt役の頻度を以下に示します。
  dealt 4 of a Kind  21 (約1/839)
  dealt Full House  39 (約1/452)
観測数を試行回数17620ゲームで除すと、観測された出現確率はそれぞれ約1/839,約1/452となっていて、理論値である1/919.77,1/437.99と比較すると、4 of a Kindについてやや多めに出現していることが分かります。Full Houseは、ほぼ理論値通りです。このdealt hitの合計60回に対して、口笛予告があったのは33回でした。概ね半数となっており、吹鳴確率は0.50とみて間違いないでしょう。

(3) Wheel倍率
  10x   2
   5x  22
   3x  70
   2x  215
 total  309
 average 2.4919
Wheelの平均倍率Yは約2.49倍と、推定値である2.5倍に非常に近い値となっています。

(4) Wheel倍率別の期待値
 倍率 ゲーム数  Won  期待値の観測値
  10x  21    56 units 2.667
   5x  476   1708    3.588
   3x 1057   2211.2   2.092
   2x 3601   4667.8   1.296
 total 5155   8643.0   1.677
全体でみれば、feature game中の期待値Fは、1.677と観測されています。FTJWのメインゲームのペイアウト率は、0.86254871*0.8 = 0.690039ですから、Wheelの平均倍率Y=2.5とすれば、F{2.5}は約1.725となるはずです。観測値1.677は、この推定値よりもやや小さな値となっています。主な原因は、Wheel=“2倍”時におけるWonの少なさで、F{2}の推定値約1.380に対して、観測値は1.296と小さめの値です。また、“10倍”の観測数が少ないことも、全体の期待値を押し下げている理由のひとつと考えられます。もう少し継続調査を行いたいと思います。

(5) 個人的成績
メインゲームのみの収支を記録していないため参考記録扱いですが、収支はプラス81280枚。total betは176.2万枚なので5%近い浮きという好成績です。ただし、道中Hi-Lo gambleで一度95200枚の一撃がありますので、これを除けばほぼ均衡。推定ペイアウト(97.45%)よりは少しよい成績です。

というわけで、個々のセッションでの浮き沈みは激しいのですが、“遠目から見れば”ご機嫌は普通のようです。

---
補足
Wheelの平均倍率Yについて、これまで観測していた全データと通算すると次のようになります。
  10x  16
   5x  108
   3x  383
   2x 1146
 total 1653
 average 2.505

---
関連記事
Fortune Time Joker's Wild(FTJW,cron)(2013年1月6日)Wheelの期待倍率Yとペイアウト
最近の中当たり(その246)
2016年11月27日 (日) 10:51 | 編集
▼ブラックモンティ>3つの扉があって、扉の向こうには景品(1か所)かヤギ(2か所)が入っているアレ。司会者のモンティは、プレイヤーの選んだ扉が何であれ、残りの扉の中からヤギの扉を1つ選んで開けて見せたあと、プレイヤーに「扉を選び直してもよい」というわけです。このときプレイヤーは選び直したほうが、期待値が1/3から2/3に上昇するんでしたね。

では、モンティが悪魔で、プレイヤーが選んだ扉が“当たり”の時だけ「選び直してよい」と言うならどうでしょう。これは“ブラック”ですね。

さて、cronのHi-Lo gambleで口笛を悪意を持って吹鳴するとどうなるでしょう。例えば(DDQ+で){7-3-2-K-K}のようなbackdoor的なJacks or Betterでばかり吹鳴すると、これは明らかにプレイヤーを罠にかけることができて、ペイアウトを下げることができます。

最近のDDQ+には、こんな“悪魔”が棲みついているように感じられれて仕方がありません。

---
ふじみ野Bayon。“Bonus Draw Raise-Up Joker's Double 4 of a Kind Bonus(BDRJDB,cron)”で軽く2万枚やられた後、その負けを取り返すために“Fortune Time Joker's Wild(FTJW,cron)”へ。
スタートダッシュは成功で、gamble bonusが2回付いたStraightを獲得。口笛予告はありません。

ftjw14640hlst_161126b
start dash straight,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

早々の4 Acesでは、Wheel=“5倍”を引き当てるものの、Full Houseのre-triggered以降24ゲーム連続no-hitゲームで、沈没。“5倍”のチャンスを活かしきれず。

ftjw024004a_161126b
Wheel=“5倍”チャンスは活かしきれず,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

その後、4 10'sでWheel=“3倍”からJoker Royal Flushをre-triggered。これで一気に取り戻しています。

ftjw14400jr_161126b
Wheel=“3倍”中にJoker Royal Flush,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

111ゲームで純増25140枚。

ftjw_111g_results_161126b
111ゲームで純増25140枚,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

これでもまだマイナス1万枚。2000枚だけのつもりで“City Bistro(CB,cron)”。40 betで2 lines列んで5桁到達。

cb10590fg_161126b
,City Bistro(CB,cron)(クリックで拡大)

ここで帰宅していたらプラスマイナスゼロでしたが、“Double Double Quads Bonus Plus(DDQ+,cron)”に挑んで120分でquadsは80倍2本(いずれも4 2's thru 10's w/A,J,Q,K)。quadsの本数はまずまずでしたが、相変わらずHi-Lo gambleが死んでいます。結局、本日の収支はマイナス2万枚。
11月21日-25日 4712.JQ 終132円(-4円)
2016年11月26日 (土) 10:50 | 編集
内外とも強気相場。N225の18200円の節目は、祝日を挟んで一気に突破。週末のシカゴN225先物(CME)は、18390円。外国為替相場市場も25日(金)に一時1ドル=113.89円まで円安が進行,米国市場は113.08円で引けています。

アドアーズ株は、22日(火)こそ一時129円の安値となったものの、地合好転もあって130円で値固めをして上昇を窺う値動き。24日(木)には、一時137円の高値,終値136円,出来高16551百株。翌25日(金)も一時137円の高値をつけたものの、その後は反落し132円の安値引け。週の出来高は、4営業日で32986百株。

施策面の動静なし。

---
4712.JQの現物ポジション: なし(11月25日現在)
21-25日 11700株新規売→返済買 +9610円(概算,株式譲渡益税非考慮)
最近の中当たり(その245)
2016年11月23日 (水) 22:34 | 編集
▼コンテンツ力>渋谷店から“Double Double Jackpot(DDJ,sigma)”が撤去された今、ふじみ野Bayonに通う意味がまた一つ増えました。DDJだけでなく、MSのマルチポーカー3台まで撤去してしまったわけですから、もう場末のゲーム場並み。決算説明会資料では、渋谷店4階を「自宅で出来ない特別な体験」をできる店舗を目指して、VR施設へと改装したとの記述がありますが、ほぼ1度遊べば十分なVRコンテンツでどれくらいの期間勝負しようとしているのかなぁ。

---
ふじみ野Bayon。“Fortune Time Joker's Wild(FTJW,cron)”で60分のショートセッション。2回目のtriggeredが5 of a Kind。ただしWheel=“2倍”。

ftjw080005k_161120b
5 of a Kind,Wheel=“2倍”,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

ここから怒濤のre-triggered。

ftjw06400sf_161120b
Wheel=“2倍”中にstraight flush(その1),Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

ftjw06400sf_161120b_2
Wheel=“2倍”中にstraight flush(その2),Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

FH-SF-SFW-dFH-r4KW-FH-4KW-FH-4FW-4KW-FHで合計275ゲーム。消化に25分かかりました。純増25940枚。

ftjw_275g_results_161120b
合計275ゲーム,純増25940枚,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

しかし、その後はぱったり。この4 AcesもWheel=“2倍”でre-triggeredなし。

ftjw024004a_161120b
4 Aces w/2,Fortune Time Joker's Wild(FTJW,cron)(クリックで拡大)

---
“Double Double Quads Bonus Plus(DDQ+,cron)”では、最初のquadsがsingle Aceからの4 Acesと幸先よかったのですが、Hi-Lo gambleに苦戦。

ddqp160004a_161123b
4 Aces,Double Double Quads Bonus Plus(DDQ+,cron)(クリックで拡大)

途中、9月10日以来のDDQ+でのStraight Flush。さらに80倍のquadsを2本引けたものの、“Straight Flushが出ると不調説”健在なのか、Hi-Lo gambleがぱっとしないまま。DDQ+では、170分のセッションでマイナス2万枚。

ddqp05000sf_161123b
Straight Flushが出ると不調説,Double Double Quads Bonus Plus(DDQ+,cron)(クリックで拡大)

“SDW Poker(cron)”で200 bet,1万枚勝負。わずか50ユニットですから、Wild Royal Flushを引けただけでもマシな方か。Jhなら20万枚だったのになぁ。

sdw05000wr_161123b
Jhだったら20万枚,SDW Poker(cron)(クリックで拡大)

結局全部溶けて、この日マイナス3万枚。
最近の中当たり(その244)
2016年11月20日 (日) 10:39 | 編集
▼罠>玉転がしに興味がない方には恐縮ですが、“Lethal Weapon 3(Data East)”のvideo featureで、“市民”以外の武器を持った10人を撃てば10百万点というモノがあります。これが、似た図柄が登場することもあって、なかなか難しい。
必死に“女”を撃ちそうになるのを3度も回避して、“花を持っている男”(銃と紛らわしい)をつい撃ってしまうというワケ。クソーーー。(意外に騙されるのが悔しい)→次こそ慎重にと思いつつまた失敗する図。

---
ふじみ野Bayon。5 of a Kindで救われた日。収支微増。“Bonus Draw Raise-up Joker's Double 4 of a Kind Bonus(BDRJDB,cron)”からは、2段階で5 J's thru K's。

bdrjdb168005f_161116b
5 J's thru K's(その1),Bonus Draw Raise-up Joker's Double 4 of a Kind Bonus(BDRJDB,cron)(クリックで拡大)

隣に移動して、4 Aces。

ddqp160004a_161116b
4 Aces,Double Double Quads Bonus Plus(DDQ+,cron)(クリックで拡大)

“Multi-times Double Wild(MTDW,cron)”でも5 J's thru K's。ただし、Joker2枚で2倍の最低倍率。

mtdw048005f_161119b
5 J's thru K's(その2),Multi-times Double Wild(MTDW,cron)(クリックで拡大)

mtdw03280jr_161119b
2倍止まりのJoker Royal Flush,Multi-times Double Wild(MTDW,cron)(クリックで拡大)

Joker Royal Flushは、120 betで1本,60 betで1本。いずれも2倍止まり。
Powered by . / Template by sukechan.