Switch版DEAD OR ALIVE Xtreme3 Scarlet (DOAX3S) 自動プレイ

コメント

1. マサ より:

   2019年9月29日 3:09 PM

   はじめまして。
   記事を読ませていただき質問したいことがありましてコメントを残させていただきます。

   Pro Microをポッ拳コントローラー化は恐らくできたと思うのですが、そのPro Microを使ってswitchを操作するやり方をお聞きしたくてコメントしました。

   たとえば単純にAボタンを一定間隔で入力するような場合です。
   どのようなアプリケーションを使用してどのような記述をするのかもわかりません。

   いろいろ調べながら勉強をしていきたいと思っているのですが任意の操作の仕方を紹介しているサイトがほとんどなく、今回記事とあまり関係のない場違いな質問となっていて申し訳ありません。
   いずれは画像認識も含め他のゲームで自動操作を成功させたいと思っています。

   こういったプログラムを一切作ったことのない素人からの質問ですので本当に初歩の初歩の質問となるかと思いますが、お時間のある時にでも教えていただけると助かります。

   よろしくお願いいたします。

   返信
   • t.uchida より:

     2019年10月10日 9:35 PM

     返信が遅くなり申し訳ございません。
     すでに解決しているかもしれませんが、返信いたします。

     操作方法をまとめているサイトを私も見つけられなかったので試行錯誤しつつコードを書きました。
     任意の操作をしたいとなると、ソースコードを解読するのが一番手っ取り早いと思います。
     https://github.com/ebith/Switch-Fightstick/blob/master/Joystick.c

     36行目: sscanf(line, “%s %s”, t, c);
     にあるとおり、シリアルから半角スペースで区切られた文字列を読み込み、
     以降に続くif分を実行していくようです。

     PCからはボーレート9600でシリアル接続し、ソースコートが欲する文字列を送信すればOKです。
     動きを見るなら、Python等で書くよりも、Tera Termなどの方が確認しやすいかもしれません。

     例えば、Aボタンを入力したい場合、
     　strcasecmp(t, “Button”) == 0)
     にマッチさせたいので、空白の前は「Button」を、
     次は、
     　else if (strcasecmp(c, “A”) == 0)
     にマッチさせたいので、空白の後は「A」を打つ必要があるため
     「Button A」と送信すればOKです。

     ちなみに、変数「t」の文字列は以下の紐づきの様です。
     “Button”：ボタン入力
     “LX”　　：LeftスティックのX軸(横方向)入力
     “LY”　　：LeftスティックのY軸(縦方向)入力
     “RX”　　：RightスティックのX軸(横方向)入力
     “RY”　　：RightスティックのY軸(縦方向)入力
     “HAT”　：十字キー入力

     返信
     • マサ より:

       2019年10月11日 6:03 PM

       返信ありがとうございます。
       pro micro や　python等全くの素人なのに興味を持ってしまって勉強しようにも勉強の仕方すらわからない状態でして・・

       最終的にはこの記事で紹介されているような状況判断し自動で同じことを繰り返すようなプログラムを作りたいのですが現状はpro microを動かすことすらできずにいます。

       ポッ拳コントローラー化は恐らくできていると思うのですが、先に質問した通り単純なコントローラー入力の方法すらもわからなかったので質問させていただきました。

       例えば1回Aボタンを押させる場合どんなコードを作成すればいいのでしょうか？
       windows10　python3.7 でコードを書いてみましたがエラーは出ませんが動かず。

       import serial

       ser = serial.Serial(‘COM5’,9600,timeout=None)

       ser.write(b”Button A”)

       ser.close()

       基礎すぎる質問ですが直すべきとところ、悪いところを教えていただけると助かります。

       返信
       • t.uchida より:

         2019年10月12日 12:28 AM

         switchがポッ拳コントローラを認識しているか/いないかでコードが変わるのですが、
         認識していない状態で1回Aボタンを押すコードをコメント下部に記載します。
         コントローラを認識しているかどうかは、ホーム画面下部真ん中の「コントローラ」画面から確認できます。

         「Aボタンを押す」という行為ですが、「Aボタンを押し下げる」と「Aボタンを離す」という命令をセットで書く必要があるため、
         8行目でボタンを押し下げる命令を、10行目でボタン離す命令を出しています。
         9行目の100msのsleepは、命令間の間隔が短すぎると命令が取りこぼされることがあるため少し待っています。

         4~6行目ですが、switchがポッ拳コントローラを認識していない場合、何かのボタンを押してswitchにコントローラを認識させる必要があるため、
         変な動作が起こらないであろうBボタンを押しております。
         7行目の5sのsleepは、switchがコントローラを認識して操作可能になるまで少しラグがあるため5s待っていますが、
         こんなに待たなくても大丈夫だと思います。

         ——————–
         import serial
         import time
         ser = serial.Serial(‘COM5’,9600,timeout=None)
         ser.write(b”Button B\r\n”)
         time.sleep(0.1)
         ser.write(b”RELEASE\r\n”)
         time.sleep(5)
         ser.write(b”Button A\r\n”)
         time.sleep(0.1)
         ser.write(b”RELEASE\r\n”)
         ser.close()
         ——————–

         返信
         • マサ より:

           2019年10月12日 7:02 PM

           詳しく説明ありがとうございました！！

           無事ボタン操作することができました。
           本当に助かりました。

           自分でさらに勉強してみたいと思います。
2. もく より:

   2020年3月10日 10:27 PM

   お世話になっております。
   大変お手数ですが下記、ご教示頂けないでしょうか。

   上記の通り導入後、GUI上でCOMポート・カメラIDを入れるとゲーム画面は正常に映るのですが、startボタンを押下すると映像が停止し、下記エラーが発生し動作停止となってしまいます。

   [ WARN:1] global C:\projects\opencv-python\opencv\modules\videoio\src\cap_msmf.cpp (1113) SourceReaderCB::OnReadSample videoio(MSMF): OnReadSample() is called with error status: -1072873821
   [ WARN:1] global C:\projects\opencv-python\opencv\modules\videoio\src\cap_msmf.cpp (1125) SourceReaderCB::OnReadSample videoio(MSMF): async ReadSample() call is failed with error status: -1072873821
   [ WARN:0] global C:\projects\opencv-python\opencv\modules\videoio\src\cap_msmf.cpp (1159) CvCapture_MSMF::grabFrame videoio(MSMF): can’t grab frame. Error: -1072873821
   [ WARN:0] global C:\projects\opencv-python\opencv\modules\videoio\src\cap_msmf.cpp (1159) CvCapture_MSMF::grabFrame videoio(MSMF): can’t grab frame. Error: -2147483638

   ちなみにキャプチャを使用しない別プログラム（Aボタン連打等）では動作確認済のため、Arduino 経由でのSwitch制御は問題ないかと思います。

   何か思い当たる要因等ありましたら、ご教示頂けると助かります。

   返信
   • t.uchida より:

     2020年3月19日 12:37 AM

     調査してみたところ、キャプチャボードを複数スレッドで同時に読み出しているのが原因の様でした。
     プログラムの内部では、GUI表示用と自動プレイ用でスレッドを分けています。プログラム起動後からstartボタンを押すまでの間はGUIのスレッドのみが動作しておりキャプチャボードからの読み出し結果を表示しています。startボタンを押すと自動プレイ用のスレッドが立ち上がり、そちらでもキャプチャボードからの読み出しを始めます。
     この2つのスレッド間で読み出しがバッティングすると記載いただいたエラーが出る様です。

     改修版として、自動プレイ用スレッド内ではキャプチャーボードからの読み出しを行わないようにし、代わりにGUI表示用スレッドで読み出した結果を自動プレイ用スレッドに渡す、との処理に変えたプログラム (Switch_DOAX3S_autoPlay_20200318.zip) をアップロードしましたので動きを見ていただけますと幸いです。

     返信
     • もく より:

       2020年3月21日 4:14 PM

       修正プログラムで実施したところ、エラーが発生しなくなりました。
       お忙しいところ早々にご対応頂きまして誠にありがとうございました！

       重ねての質問で大変恐縮なのですが、起動はするようになったものの行動画面でプール選択後、ぴょんぴょんゲームが選択されず、上下カーソル移動のループが発生する事態に陥ってしまいました。
       また、タイトル画面から開始する場合は、キャラ選択画面までは動作しますが、[kokoro] Can’t detect itemとなり進まない状況となりました。

       PS4版のスクリプトにおける質問回答を参照したところ、おそらくは解像度関係の問題かと思いますが、リモートプレイとは違い本スクリプトでは画面サイズ固定のため、Windows自体の解像度かSwitchのテレビ出力解像度の設定が関係するのでしょうか。
       ※Switchのテレビ出力設定は1080p、720p等試しましたが改善されませんでした

       私の環境ではWindowsの解像度は1920×1080、スケーリング100％となっております。
       また、キャプチャボードはIO-DATA GV−HUVCです。

       お忙しいところ大変申し訳ありませんが、何か思い当たる事項等ございましたらご教示頂きたくお願い申し上げます。

       返信
       • t.uchida より:

         2020年3月22日 1:51 AM

         ご確認いただきありがとうございます。
         記載いただいたようにSwitchのテレビ出力解像度が影響している可能性もあるかと思います。こちらの開発環境では、Switchのテレビ出力解像度を1080p(固定)にしているため、1080p(固定)にしていただいた方が確実かと思います。
         思い当たるとすると、Switchの[設定] > [テレビ出力] > [画面の大きさを調整] は100%になっておりますでしょうか。
         画像認識用の画像は、画面周囲に黒枠が無くかつ見切れてもいないぴったりサイズの状態で取得しているため、アンダースキャンorオーバースキャンの状態で動作させると正常に動かないかと思います。

         返信
3. もく より:

   2020年3月24日 9:15 PM

   確認遅くなりまして申し訳ございません。
   上記、確認したところ、解像度1080p固定かつ「画面の大きさを調整」が100％となっておりました。
   試しに100%と99%で確認したところ、100%の場合は、プールは選択されるがぴょんぴょんゲームが選択されず、99%の場合はプールも選択されない状態となりました。
   そのため、おそらくぴょんぴょんゲーム選択のためのimgファイルが、uchida様の環境下と微妙に異なり認識されないのではないかと思います。
   今週末にでもこちらの環境下で画面キャプチャし、ぴょんぴょんゲーム選択のimgファイルを差し替えて試したいと思います！

   返信