ベストアンサー
Googleでは、それを行うためのロボット(TouchBot)を構築しました。
東芝の産業用ロボットコントローラー用のティーチングペンダントをリバースエンジニアリングし、容量結合を設定しました。これは、余ったラップトップセルラーまたは2.4GHzWiFiアンテナを「指」に取り付けることで簡単に実現できます。
これは、通常結合に必要な「水の袋」/「肉アンテナ」の代わりになります。そのため、ロボット制御のスタイラスは期待どおりに機能しません。
の一部としてこれは私がテクニックを公開し、ドイツの何人かの研究者がそれをBochs Artificial Armsに適合させて、人工器官の使用を余儀なくされた人々がタッチデバイスを使用できるようにしました(以前は不可能でした)。ライブラリとPythonの教育用ペンダント交換コード。テストサブツリーの下位にあるChromiumOSの一部としてGitHubで公開されたと思います。これは、Googleを離れる前に行った最後のプロジェクトでした。
それ以降に追加された場合:インテントは、認識アルゴリズム、タッチ入力グリッドのフィールドパターンなどをテストするために、ジェスチャの複製をキャプチャしました。
技術的には、公開されているいくつかのパッケージを使用してソフトウェアだけで実行することは可能ですが、それらはジェイルブレイクされたiPhoneでのみ機能します。
私は推測しますそれらをソフトウェアテストラボに投入すれば問題ありませんが、タッチイベントには大量のデータが関連付けられていること、そしてAppleが圧力検知を追加したことで、さらに多くのデータが追加されたことに気づきました。
ただし、内部的には、タッチコントローラはタッチを厳密にはポイントとしてではなく、地域の円錐形の断面として扱うことに注意してください。
これは、ポイントイベントをシミュレートすると、次のようになることを意味します。実際に「指」を使用していることをデバイスに納得させるのに苦労するでしょう。もちろん、ロボットにはこの種の問題はありません。
一方(パンを許してください)、実際の結果を期待される結果とスクリーニングして比較する方が、実際よりもはるかに簡単です。カメラと画像認識を使用するには、iPhoneをジェイルブレイクする必要があります。
一方(人々はそれだけの数を持っていますか?)、ターゲット領域に正確に1ピクセルを当てるという問題があります。ターゲットの中心に当たっていると思うと、実際のタッチの幾何学的中心から外れていても、ソフトウェアの「タッチ」が誤って成功することになります(翻訳:ユーザーがタッチしたものは、ユーザーがタッチしたものではありません)
最善の策は、実際のピクセルパーフェクトスクリーンダンプを取得するためのジェイルブレイクされたiPhoneを備えた物理ロボットです。これにより、テスト用の視覚出力/タッチ入力の一貫性が得られます。
回答
はい。ただし、一般的な方法ではありません。 MacとiPhoneなどの間でデータを共有できるiOS用アプリがあります。
iPadを画面として機能させるアプリがあります。またはMac用のコントローラー。
iPhoneを見つけてMacからワイプするFindmyPhoneなどのウェブアプリがあります。
スマートフォンとやり取りできるアプリがあります。 USB経由でMacに接続します。
iPhoneを使用して、Macからメッセージ、カレンダー、メモ、電話、写真を撮ることができます。
Macから制御したい機能をグーグルで検索し、それを有効にするアプリがあるかどうかを確認します。