Bästa svaret
Hos Google byggde vi en robot (TouchBot) för att göra det.
Jag konstruerade omvänd läroanhängaren för en Toshiba-industriell robotstyrenhet och ställde in den kapacitiva kopplingen, vilket är ganska enkelt att åstadkomma genom att fästa en överflödig bärbar dator eller 2,4 GHz WiFi-antenn till ”fingret”.
Detta ersätter ”påse med vatten” / ”köttantenn” som normalt krävs för koppling, varför en robotstyrd penna inte kommer att göra vad du förväntar dig.
Som en del av detta publicerade jag tekniken, och flera forskare i Tyskland har anpassat den till Bochs artificiella armar för att tillåta användning av beröringsanordningar av människor som tvingas använda proteser (något som inte tidigare varit möjligt).
Jag skrev all robothandling. biblioteks- och undervisningshänvisningskod i Python. Jag tror att den publicerades på GitHub som en del av Chromium OS, nere i testträdet. Det var det sista projektet jag gjorde innan jag lämnade Google.
Om det har lagts till sedan dess: avsikten var att fånga gestreplikering för att testa igenkänningsalgoritmer, fältmönster på beröringsingångsnät och så vidare, så det är förmodligen vad som skulle finnas där inne.
Tekniskt sett är det möjligt att göra enbart i programvara med ett par publicerade paket, men de fungerar bara på jailbroken iPhones.
Vilket jag antar skulle vara OK, om du kastade dem i ett programvarutestlaboratorium, men inser att beröringshändelser har en massa data associerade med dem, och nu när Apple har lagt till tryckavkänning, en hel del mycket mer.
Var dock medveten om att internkontrollen behandlar beröringar som regionala koniska tvärsnitt, inte strikt som punkter.
Vad detta betyder är att om du simulerar punkthändelser är du kommer att ha svårt att övertyga enheten om att du faktiskt använder ”fingrar”. En robot har naturligtvis inte den här typen av problem.
Å andra sidan (förlåt ordlek) är det mycket lättare att skärmdumpa och jämföra faktiska resultat med förväntade resultat än vad det är att använda en kamera och bildigenkänning, och det kräver också jailbreaking av iPhone.
Å andra sidan (har människor så många?), problemet med att träffa exakt en pixel i målområdet när du tror att du slår mitt i målet, kommer det att leda till falska framgångar för programvaran ”berör”, även om de inte är i närheten av den troliga geometriska centralen för en faktisk beröring (översättning: vad användaren vidrör är inte vad de få).
Det bästa alternativet skulle vara en fysisk robot med en jailbreakad iPhone för att få faktiska pixel perfekta skärmdumpar, vilket ger dig visuell utmatning / beröringsingångskoherens för testning.
Svar
Ja, men inte på något allmänt sätt. Det finns appar för iOS som kan dela data mellan Mac och iPhone osv.
Det finns appar som tillåter iPads att fungera som skärmar eller styrenheter för Mac.
Det finns webbappar som Hitta min telefon som hittar den och rensar den från din Mac.
Det finns appar som kan interagera med din telefon medan ansluten till Mac via USB.
Du kan skicka meddelanden, kalender, göra anteckningar, ringa telefoner, ta bilder från din Mac med iPhone.
Det bästa du kan göra är google den funktion du vill styra från din Mac och se om det finns en app för att aktivera det.