Недавняя статья в The Wall Street Journal осветила проблемы, с которыми сталкивается OpenAI в процессе создания своего амбициозного проекта под кодовым названием Orion, также известного как GPT-5. В течение 18 месяцев разработки компания провела как минимум два крупных тренировочных запуска, но каждый раз результаты оказались ниже ожиданий при огромных затратах.

Одно из тренировок продолжалось 6 месяцев и стоило около полумиллиарда долларов только на вычислительных ресурсах. Новая модель демонстрирует лучшие результаты по сравнению с GPT-4, однако прирост недостаточен, чтобы оправдать значительные расходы.

Ключевая проблема заключается в данных. Исследователи OpenAI пришли к выводу, что информации из публичного интернета недостаточно для создания по-настоящему интеллектуальной системы. В результате компания вынуждена генерировать данные искусственно: нанимают программистов и математиков для разработки нового кода и решения задач, привлекают экспертов в области теоретической физики для объяснения сложных идей и применяют собственную модель o1 для создания синтетических данных.

OpenAI пытается справиться с этой проблемой, разрабатывая модели, способные к «рассуждению». Модели o1 и o3 могут генерировать несколько ответов на один и тот же вопрос и проводить анализ, выбирая самый оптимальный. OpenAI пытается комбинировать традиционный подход (большее количество данных) с новыми методами рассуждений. Тем не менее, сроки выхода GPT-5 по-прежнему остаются неопределёнными.

Ситуация приводит к пересмотру стратегии «больше значит лучше», которая прежде была успешной.

Как отметил сооснователь OpenAI и бывший сотрудник Илья Суцкевер: «Сейчас важнее масштабировать правильные вещи», указывая на необходимость разработки альтернативных методов обучения для ИИ.

Источник: @droidergram