La mejor respuesta
En Google, construimos un robot (TouchBot) para hacerlo.
Realicé ingeniería inversa del colgante didáctico para un controlador de robot industrial de Toshiba y configuré el acoplamiento capacitivo, que se logra con bastante facilidad conectando un excedente de antena celular de computadora portátil o WiFi de 2.4GHz al «dedo».
Esto sustituye a la «bolsa de agua» / «antena de carne» que normalmente se requiere para el acoplamiento, razón por la cual un lápiz óptico controlado por robot no hará lo que usted espera.
Como parte de esto publiqué la técnica, y varios investigadores en Alemania la han adaptado a los brazos artificiales de Bochs para permitir el uso de dispositivos táctiles por personas obligadas a usar prótesis (algo que antes no era posible).
Escribí toda la acción del robot biblioteca y código de reemplazo colgante de enseñanza en Python. Creo que se publicó en GitHub como parte de Chromium OS, en el subárbol de pruebas. Fue el último proyecto que hice antes de dejar Google.
Si se ha agregado desde entonces: la intención fue la replicación de gestos capturados para probar algoritmos de reconocimiento, patrones de campo en cuadrículas de entrada táctil, etc. eso es probablemente lo que estaría allí.
Técnicamente, es posible hacerlo solo en software usando un par de paquetes publicados, pero solo funcionan en iPhones con jailbreak.
Lo que supongo estaría bien, si los arrojara a un laboratorio de prueba de software, pero se dé cuenta de que los eventos táctiles tienen una gran cantidad de datos asociados con ellos, y ahora que Apple ha agregado detección de presión, muchos más.
Tenga en cuenta, sin embargo, que internamente, el controlador táctil trata los toques como secciones transversales cónicas regionales, no estrictamente como puntos.
Lo que esto significa es que si simula eventos puntuales, está Va a tener dificultades para convencer al dispositivo de que en realidad está utilizando «dedos». Un robot, por supuesto, no tiene este tipo de problema.
Por otro lado (perdón por el juego de palabras), es mucho más fácil hacer un volcado de pantalla y comparar los resultados reales con los esperados, de lo que es para usar una cámara y reconocimiento de imágenes, y eso también requiere hacer jailbreak al iPhone.
Por otro lado (¿la gente tiene tantos?), el problema de golpear exactamente un píxel en el área objetivo cuando crea que está golpeando el centro del objetivo, resultará en falsos éxitos para los «toques» del software, incluso si están fuera del centroide geométrico probable de un toque real (traducción: lo que el usuario toca no será lo que ellos get).
La mejor opción sería un robot físico, con un iPhone con jailbreak para obtener volcados de pantalla reales de píxeles perfectos, lo que le daría coherencia de entrada visual / entrada táctil para la prueba.
Respuesta
Sí, pero no de forma general. Hay aplicaciones para iOS que pueden compartir datos entre Mac y iPhone, etc.
Hay aplicaciones que permiten que los iPads actúen como pantallas o controladores para Mac.
Hay aplicaciones web como Find my Phone que lo ubicarán y borrarán de su Mac.
Hay aplicaciones que pueden interactuar con su teléfono mientras conectado a la Mac a través de USB.
Puede enviar mensajes, programar, tomar notas, hacer llamadas telefónicas, tomar fotografías, desde su Mac, con el iPhone.
Lo mejor que puede hacer ¿Google es la función que le gustaría controlar desde su Mac, y vea si hay una aplicación para habilitarlo?