Melhor resposta
No Google, construímos um robô (TouchBot) para fazer isso.
Fiz a engenharia reversa do pingente de ensino para um controlador de robô industrial da Toshiba e configurei o acoplamento capacitivo, que é facilmente realizado conectando um laptop de celular excedente ou uma antena Wi-Fi de 2,4 GHz ao “dedo”.
Isso substitui a “bolsa de água” / “antena de carne” normalmente necessária para o acoplamento, e é por isso que uma caneta controlada por robô não fará o que você espera.
Como parte do isso eu publiquei a técnica, e vários pesquisadores na Alemanha adaptaram-na aos braços artificiais de Bochs para permitir o uso de dispositivos de toque por pessoas forçadas a usar próteses (algo que não era possível anteriormente).
Eu escrevi toda a ação do robô biblioteca e código de substituição de pingente de ensino em Python. Eu acredito que foi publicado no GitHub como parte do Chromium OS, na subárvore de teste. Foi o último projeto que fiz antes de deixar o Google.
Se foi adicionado desde então: a intenção foi a replicação de gestos capturada para testar algoritmos de reconhecimento, padrões de campo em grades de entrada de toque e assim por diante, é provavelmente o que estaria lá.
Tecnicamente, é possível fazer em software sozinho usando alguns pacotes publicados, mas eles só funcionam em iPhones com jailbreak.
O que eu acho não haveria problema se você os jogasse em um laboratório de teste de software, mas percebesse que os eventos de toque têm muitos dados associados a eles e, agora que a Apple adicionou o sensor de pressão, muitos mais.
Esteja ciente, entretanto, que internamente, o controlador de toque trata os toques como seções transversais cônicas regionais, não estritamente como pontos.
Isso significa que se você simular eventos de ponto, você está vai ter dificuldade em convencer o dispositivo de que você está realmente usando “dedos”. Um robô, é claro, não tem esse tipo de problema.
Por outro lado (desculpe o trocadilho), é muito mais fácil rastrear o despejo e comparar os resultados reais com os resultados esperados, do que é para usar uma câmera e reconhecimento de imagem, e isso, também, requer o desbloqueio do iPhone.
Por outro lado (as pessoas têm tantos?), o problema de acertar exatamente um pixel na área de destino quando você pensa que está atingindo o centro do alvo, resultará em falsos sucessos para “toques” de software, mesmo que estejam fora do provável centroide geométrico de um toque real (tradução: o que o usuário toca não será o que eles get).
A melhor aposta seria um robô físico, com um iPhone desbloqueado para obter dumps de tela perfeitos com pixels reais, o que daria coerência de saída visual / toque de entrada para teste.
Resposta
Sim, mas não de uma forma geral. Existem aplicativos para iOS que podem compartilhar dados entre o Mac e o iPhone, etc.
Existem aplicativos que permitem que iPads atuem como telas ou controladores para o Mac.
Existem aplicativos da web, como Find my Phone, que irão localizá-lo e apagá-lo do seu Mac.
Existem aplicativos que podem interagir com seu telefone enquanto conectado ao Mac via USB.
Você pode enviar mensagens, agendar, fazer anotações, fazer ligações, tirar fotos do seu Mac com o iPhone.
A melhor coisa a fazer é google a função que você gostaria de controlar no seu Mac e veja se há um aplicativo para habilitar isso.