Инновация в мире iPhone: голосовой ассистент Siri теперь способен «прочитать» экран и обмениваться данными с ChatGPT. Apple демонстрирует новый этап развития, когда Siri получает возможность просматривать материалы на экране iPhone и взаимодействовать с ними. Функции являются частью нового API, известного как App Intent.

С ее помощью Siri может быть запрошено ответить на различные вопросы, такие как определение объектов на снимках или содержания статьи. Ассистент распознает присутствующий на экране контент и может переслать его в ChatGPT.

Данная функциональность уже присутствует во второй бета-версии iOS 18.2 и будет доступна в стабильной версии, запуск которой запланирован на декабрь. С помощью это функции Siri имеет возможность «видеть» текст, графические данные и другой контент на экране iPhone, анализирует их и по требованию пользователя пересылает в другие приложения для более комплексной обработки.

К сожалению, на данный момент функция доступна только на английском языке и не работает в России. Однако, Apple уже предоставила API разработчикам для обеспечения совместимости их приложений с официальной версией iOS 18.2.

Источник: @newhitech9