Ваш iPhone получит новые возможности: голосовой помощник Siri сможет просматривать содержимое экрана и взаимодействовать с ним! Это стало возможным благодаря новому API, известному как App Intent. Теперь вы сможете задавать Siri вопросы о содержимом экрана, например, спрашивать, что изображено на фото или о чем речь в статье. Ассистент сможет анализировать контент и отправлять его в ChatGPT.

Функция уже доступна во второй бета-версии iOS 18.2 и будет представлена в стабильной версии, выход которой планируется в декабре. С её помощью Siri сможет «видеть» текст, изображения и другие данные на экране iPhone, обрабатывать их и пересылать в другие приложения по запросу пользователя для более сложной обработки.

На данный момент эта функция доступна только на английском языке и не работает в России. Однако Apple уже предоставила API для разработчиков, чтобы они могли подготовить свои приложения к официальному релизу iOS 18.2.

Источник: @NewHiTech9