Beste svaret
Hos Google bygde vi en robot (TouchBot) for å gjøre det.
Jeg utviklet undervisningsanhenget for en Toshiba-industriell robotkontroller, og jeg satte opp den kapasitive koblingen, som ganske enkelt oppnås ved å feste et overskudd av bærbar mobil eller 2,4 GHz WiFi-antenne til «fingeren».
Dette erstatter «pose med vann» / «kjøttantenne» som normalt kreves for kobling, og det er grunnen til at en robotstyrt stylus ikke kommer til å gjøre det du forventer.
Som en del av dette publiserte jeg teknikken, og flere forskere i Tyskland har tilpasset den til Bochs kunstige armer for å tillate bruk av berøringsenheter av mennesker som er tvunget til å bruke proteser (noe som ikke tidligere var mulig).
Jeg skrev all robotaksjonen bibliotek og undervisning anheng erstatningskode i Python. Jeg tror det ble publisert på GitHub som en del av Chromium OS, nede i testtræret. Det var det siste prosjektet jeg gjorde før jeg forlot Google.
Hvis det er lagt til siden da: hensikten ble fanget gestreplikasjon for å teste gjenkjenningsalgoritmer, feltmønstre på berøringsinngangsnett og så videre, så det er sannsynligvis det som ville være der inne.
Teknisk sett er det mulig å gjøre i programvare alene ved hjelp av et par publiserte pakker, men de fungerer bare på jailbroken iPhones.
Som jeg antar ville være OK, hvis du kastet dem inn i et testlaboratorium for programvare, men innser at berøringshendelser har en hel del data tilknyttet seg, og nå som Apple har lagt til trykkfølelse, er det mye mer.
Vær imidlertid oppmerksom på at touch-kontrolleren internt behandler berøringer som regionale koniske tverrsnitt, ikke strengt som punkter.
Hva dette betyr er at hvis du simulerer punkthendelser, er du kommer til å ha det vanskelig å overbevise enheten om at du faktisk bruker «fingre». En robot har selvfølgelig ikke denne typen problemer.
På den annen side (tilgi ordspillet) er det mye lettere å skjerme dump og sammenligne faktiske resultater med forventede resultater, enn det er å bruke kamera og bildegjenkjenning, og det krever også jailbreaking av iPhone.
På den annen side (har folk så mange?), er problemet med å treffe nøyaktig en piksel i målområdet når du tror du treffer sentrum av målet, vil det føre til falske suksesser for programvaren «berører», selv om de ikke er i nærheten av den sannsynlige geometriske midtpunktet til en faktisk berøring (oversettelse: det brukeren berører, vil ikke være det de få).
Det beste alternativet ville være en fysisk robot, med en jailbroken iPhone for å få faktiske piksel perfekte skjermdumper, noe som ville gi deg visuell utgang / berøringsinngangskoherens for testing.
Svar
Ja, men ikke på noen generell måte. Det er apper for iOS som kan dele data mellom Mac og iPhone osv.
Det er apper som lar iPads fungere som skjermer eller kontrollere for Mac.
Det er nettapper som Finn min telefon som finner den og tørker den fra Mac-en.
Det er apper som kan samhandle med telefonen din mens koblet til Mac via USB.
Du kan sende meldinger, kalender, lage notater, ringe, ta bilder fra Mac-en din med iPhone.
Det beste å gjøre er google funksjonen du vil kontrollere fra din Mac, og se om det finnes en app for å aktivere det.