우수 답변
Google에서이를 수행하는 로봇 (TouchBot)을 만들었습니다.
나는 Toshiba 산업용 로봇 컨트롤러의 티칭 펜던트를 리버스 엔지니어링했고, 용량 성 커플 링을 설정했습니다.이 커플 링은 여분의 노트북 셀룰러 또는 2.4GHz WiFi 안테나를 “손가락”에 연결하여 쉽게 수행 할 수 있습니다.
이것은 일반적으로 커플 링에 필요한 “물 주머니”/ “고기 안테나”를 대체하므로 로봇 제어 스타일러스가 예상 한대로 작동하지 않을 것입니다.
이 기술을 발표했고 독일의 여러 연구원들이 보흐의 인공 팔에 적용하여 보철을 사용하도록 강요받은 사람들이 터치 장치를 사용할 수 있도록했습니다 (이전에는 불가능했던 것).
모든 로봇 동작을 작성했습니다. Python에서 라이브러리 및 교육 펜던트 교체 코드. 나는 그것이 테스트 하위 트리에서 Chromium OS의 일부로 GitHub에 게시되었다고 생각합니다. Google을 떠나기 전에 제가 마지막으로 한 프로젝트였습니다.
그 이후에 추가 된 경우 : 의도는 인식 알고리즘, 터치 입력 그리드의 필드 패턴 등을 테스트하기 위해 제스처 복제를 캡처 한 것입니다. 그게 아마 거기에있을 것입니다.
기술적으로는 몇 개의 게시 된 패키지를 사용하여 소프트웨어로만 수행 할 수 있지만 탈옥 된 iPhone에서만 작동합니다.
내가 추측하는 소프트웨어 테스트 랩에 던져 넣었지만 터치 이벤트에 관련 데이터가 많고 이제 Apple이 압력 감지를 추가 했으므로 훨씬 더 많다는 사실을 깨달으면 괜찮을 것입니다.
그러나 내부적으로 터치 컨트롤러는 터치를 엄격하게 포인트가 아닌 지역 원추형 단면으로 취급합니다.
이것이 의미하는 것은 포인트 이벤트를 시뮬레이션하면 실제로 “손가락”을 사용하고 있다고 장치를 설득하는 데 어려움을 겪을 것입니다. 물론 로봇에는 이런 종류의 문제가 없습니다.
반면 (말장난을 용서하십시오) 덤프를 스크리닝하고 실제 결과를 예상 결과와 비교하는 것이 훨씬 쉽습니다. 카메라와 이미지 인식을 사용하려면 iPhone을 탈옥해야합니다.
반면 (사람들이 그렇게 많이 가지고 있습니까?) 대상 영역에 정확히 1 픽셀을 맞추는 문제 타겟의 중심에 닿았다고 생각하면 실제 터치의 기하학적 중심을 벗어나더라도 소프트웨어 “터치”에 대해 잘못된 성공을 거둘 수 있습니다 (번역 : 사용자가 터치하는 것은 get).
가장 좋은 방법은 실제 픽셀 완벽한 화면 덤프를 얻기 위해 탈옥 된 iPhone을 사용하는 실제 로봇입니다. 테스트를위한 시각적 출력 / 터치 입력 일관성을 제공합니다.
답변
예,하지만 일반적인 방식은 아닙니다. Mac과 iPhone간에 데이터를 공유 할 수있는 iOS 용 앱이 있습니다.
iPad가 화면 역할을하도록 허용하는 앱이 있습니다. 또는 Mac 용 컨트롤러입니다.
내 휴대 전화 찾기와 같은 웹 앱이 있으며이를 찾아 Mac에서 삭제할 수 있습니다.
휴대 전화와 상호 작용할 수있는 앱이 있습니다. USB를 통해 Mac에 연결됩니다.
Mac에서 iPhone으로 메시지를 보내고, 캘린더를 작성하고, 메모를하고, 전화를 걸고, 사진을 찍을 수 있습니다.
가장 좋은 방법 Google은 Mac에서 제어하려는 기능이며이를 활성화 할 수있는 앱이 있는지 확인합니다.