Najlepsza odpowiedź
W Google zbudowaliśmy robota (TouchBot), który to robi.
Wykonałem inżynierię wsteczną zawieszenie do nauczania dla kontrolera robota przemysłowego Toshiba i skonfigurowałem sprzężenie pojemnościowe, co jest dość łatwe do osiągnięcia, podłączając do „palca” nadmiarową antenę komórkową laptopa lub antenę WiFi 2,4 GHz.
Zastępuje to „worek wody” / „antenę do mięsa”, które normalnie są wymagane do połączenia, dlatego rysik sterowany robotem nie będzie spełniał Twoich oczekiwań.
W ramach to opublikowałem tę technikę, a kilku badaczy w Niemczech zaadaptowało ją do sztucznych ramion Bochsa, aby umożliwić używanie urządzeń dotykowych przez osoby zmuszane do używania protetyki (coś, co wcześniej nie było możliwe).
Napisałem całą akcję robota biblioteka i uczenie kodu zastępującego zawieszkę w Pythonie. Wydaje mi się, że został opublikowany na GitHub jako część systemu operacyjnego Chromium, w poddrzewie testowym. To był ostatni projekt, który wykonałem, zanim opuściłem Google.
Jeśli od tamtej pory został dodany: zamiarem była replikacja przechwyconych gestów w celu przetestowania algorytmów rozpoznawania, wzorców pól na siatkach wprowadzania dotykowego itd. to prawdopodobnie to, co by tam było.
Technicznie rzecz biorąc, można to zrobić w samym oprogramowaniu przy użyciu kilku opublikowanych pakietów, ale działają one tylko na iPhoneach z jailbreakiem.
Co, jak sądzę, byłoby w porządku, gdybyś wrzucił je do laboratorium testowego oprogramowania, ale zdasz sobie sprawę, że zdarzenia dotykowe mają mnóstwo powiązanych z nimi danych, a teraz, gdy Apple dodał wykrywanie nacisku, o wiele więcej.
Pamiętaj jednak, że wewnętrznie kontroler dotykowy traktuje dotknięcia jako regionalne przekroje stożkowe, a nie wyłącznie jako punkty.
Oznacza to, że jeśli symulujesz zdarzenia punktowe, Trudno będzie przekonać urządzenie, że faktycznie używasz „palców”. Robot oczywiście nie ma tego rodzaju problemu.
Z drugiej strony (przepraszam za kalambur) dużo łatwiej jest wyświetlić zrzut ekranu i porównać rzeczywiste wyniki z oczekiwanymi, niż jest korzystać z aparatu i rozpoznawania obrazu, a to również wymaga jailbreakowania iPhonea.
Z drugiej strony (czy ludzie mają tak dużo?), problem trafienia dokładnie jednego piksela w obszar docelowy kiedy myślisz, że trafiasz w środek celu, spowoduje fałszywe sukcesy dla „dotknięć” oprogramowania, nawet jeśli są one poza prawdopodobnym geometrycznym centroidem rzeczywistego dotyku (tłumaczenie: to, czego dotyka użytkownik, nie będzie tym, czym get).
Najlepszym rozwiązaniem byłby fizyczny robot z iPhoneem z jailbreakiem, aby uzyskać rzeczywiste zrzuty ekranu o doskonałych pikselach, co zapewniłoby spójność wizualną / dotykową do testów.
Odpowiedz
Tak, ale nie w żaden ogólny sposób. Istnieją aplikacje na iOS, które mogą udostępniać dane między komputerem Mac a iPhonem itp.
Istnieją aplikacje, które umożliwiają działanie iPadów jako ekranów lub kontrolery dla komputerów Mac.
Istnieją aplikacje internetowe, takie jak Znajdź mój telefon, które zlokalizują go i wyczyszczą z komputera Mac.
Istnieją aplikacje, które mogą współdziałać z telefonem, gdy podłączony do komputera Mac przez USB.
Za pomocą iPhonea możesz wysyłać wiadomości, kalendarza, robić notatki, dzwonić, robić zdjęcia z komputera Mac.
Najlepszą rzeczą do zrobienia czy Google jest funkcją, którą chciałbyś sterować z Maca i sprawdź, czy jest aplikacja, która to umożliwi.