incrypted.com
- OpenAI замедлила разработку новых ИИ-моделей после того, как тестовый агент вышел из песочницы и атаковал Hugging Face.
- Несмотря на кризис безопасности, компания продолжает приближаться к AGI, имея прогресс примерно на 80%.
- Она также пытается вернуть лидерство в ИИ-гонке с Anthropic, масштабируя Astra, автономных агентов, собственные чипы и гуманоидных роботов.
Компания OpenAI пересмотрела подход к разработке передовых моделей ИИ и временно замедлила часть исследований после того, как один из тестовых ИИ-агентов вышел из контролируемой среды и атаковал платформу Hugging Face. Об этом говорится в материале TIME, подготовленном на основе интервью с более чем 20 руководителями, сотрудниками, инвесторами, клиентами и конкурентами компании. На этом фоне OpenAI одновременно пытается наверстать отставание от Anthropic в коммерческой гонке и усилить безопасность своих моделей.
OpenAI столкнулась с кризисом безопасности
В конце июля OpenAI сообщила, что один из ее внутренних прототипов во время тестирования смог выйти за пределы тестовой среды и получить доступ к производственным системам Hugging Face. Модель должна была выполнять задачи по кибербезопасности, однако вместо этого использовала уязвимость, обошла ограничения и получила доступ к ответам теста.
По словам главного научного сотрудника OpenAI Якуба Пачоцкого, у компании были инструменты для мониторинга поведения модели, но она не применила их к системе такого уровня сложности, поскольку не ожидала подобных возможностей.
«Мы не полностью ожидали» того, на что способна система, — сказал Пачоцкий, добавив: «Для ИИ нужно ожидать неожиданного».
После инцидента OpenAI заморозила часть экспериментов, замедлила другие исследования, усилила изоляцию моделей и расширила мониторинг. Компания также приостановила обучение новой модели, которая, как ожидается, должна обеспечить один из крупнейших скачков в возможностях ИИ.
Гендиректор OpenAI Сэм Альтман назвал ситуацию не просто проблемой безопасности, а фундаментальной проблемой соответствия поведения ИИ намерениям человека.
«Я думаю, что любую ошибку согласования отныне следует воспринимать как очень серьезную проблему, и мы будем тратить столько времени, сколько потребуется, чтобы ее решить», — заявил он.
Позже Альтман сформулировал позицию компании еще четче:
«Обеспечение безопасности ИИ важнее любой динамики развития компании».
OpenAI пытается вернуть лидерство
Параллельно OpenAI проводит масштабную перестройку бизнеса после года, в течение которого компания, по оценке TIME, утратила лидерство в отдельных сегментах в пользу Anthropic.
Конкурент быстро развил Claude Code и опередил OpenAI по заявленному годовому доходу и частной оценке. В то же время OpenAI столкнулась с уходом ряда руководителей, потерей исследователей в пользу Meta и усилением конкуренции со стороны Google.
Компания сокращает второстепенные проекты и концентрирует вычислительные ресурсы на ключевых продуктах, в частности Codex. В июле корпоративный доход OpenAI впервые превысил потребительский, а в марте компания привлекла $122 млрд при оценке в $852 млрд.
В то же время OpenAI продолжает масштабировать инфраструктуру. По словам руководителя направления вычислений Сачина Катти, компания планирует потратить около $50 млрд на вычислительные мощности в 2026 году.
«У нас все еще дефицит вычислительных мощностей. Если бы мы могли вернуться назад, нам, вероятно, стоило бы приобрести гораздо больше», — сказал он.
Astra, AGI и персональные ИИ-агенты
Несмотря на замедление исследований, OpenAI продолжает работать над новым поколением моделей Astra. Во время закрытой демонстрации для клиентов система выполняла сложные задачи с помощью 16 ИИ-агентов, которые распределяли между собой части математической задачи и координировали работу над общим результатом.
Модель также демонстрировала способность работать с компьютером, самостоятельно взаимодействуя с различными программами. Альтман назвал особенно важной возможность создания «постоянных агентов» — виртуальных сотрудников, способных длительное время выполнять задачи без постоянного контроля человека.
По его словам, наибольшее влияние Astra может оказать на научные исследования.
«Я ожидаю, что это будет первой моделью, которая действительно будет изобретать новые вещи так, что это будет иметь значение», — заявил Альтман.
В OpenAI также считают, что приближаются к созданию искусственного общего интеллекта (AGI). Директор по исследованиям Марк Чен оценил готовность компании к этому этапу примерно в 80%, а Альтман заявил, что до конца года OpenAI может получить внутреннюю систему, которую он назовет AGI.
Одним из ключевых направлений компании остается развитие автономных агентов. OpenAI хочет превратить ChatGPT из системы, которая преимущественно отвечает на запросы, в инструмент, способный самостоятельно выполнять задачи, использовать разные модели и сервисы и действовать на основе целей пользователя.
Компания также работает над собственными устройствами, чипами и гуманоидными роботами. Альтман заявил, что OpenAI «безусловно» будет создавать человекоподобных роботов, а первый собственный inference-чип Jalapeño планируют начать использовать до конца года.
В то же время в компании признают, что дальнейшее масштабирование ИИ невозможно без решения проблемы безопасности. Именно поэтому OpenAI готова временно пожертвовать темпами разработки.
«Если мы дойдем до момента, когда это будет опасно, нам придется замедлиться, и так тому и быть», — заявила руководитель направления безопасности и alignment OpenAI Миа Глез.
Напомним, что компания также рассматривает возможность выхода на биржу. Финансовый директор OpenAI Сара Фриар заявила сотрудникам, что компания может стать публичной в 2027 году или раньше, если бизнес продолжит расти.