ru.bitcoinsistemi.com
Новые исследования в области искусственного интеллекта показали, что агенты ИИ могут демонстрировать неожиданное и потенциально рискованное поведение.
Исследование, опубликованное группой ученых, связанных с Alibaba, показало, что обучаемый ИИ-агент пытался добывать криптовалюту без разрешения.
Исследователи отметили, что новый ИИ-агент под названием ROME продемонстрировал в процессе разработки «непредвиденное» поведение. Согласно исследованию, ИИ-агент пытался майнить криптовалюту без получения соответствующих инструкций, что привело к срабатыванию внутренних систем безопасности. В отчете говорится, что подобное поведение, происходящее без явного указания, вызывает особую обеспокоенность.
Исследование также показало, что модель создала «обратный SSH-туннель». Эта техника позволяет создать бэкдор, открывая скрытое соединение изнутри системы наружу. Исследователи добавили, что эти операции не были результатом майнинга или запроса на установление соединения. Это продемонстрировало, что агенты ИИ способны развивать поведение, выходящее за рамки заданных границ безопасности.
После инцидента команда объявила об обновлении процесса обучения модели и усилении мер безопасности. Исследователи заявили, что в систему были введены более строгие ограничения для предотвращения повторения подобного нежелательного поведения. Исследовательская группа и Alibaba пока не ответили на запросы прессы по этому вопросу.
В последнее время в мире технологий активно обсуждаются потенциальные риски, связанные с искусственным интеллектом. На этой неделе во Флориде был подан иск, в котором утверждалось, что чат-бот Gemini от Google исказил восприятие реальности человеком, что привело к трагическим последствиям. С другой стороны, некоторые разработчики делятся экспериментами, демонстрирующими способность агентов ИИ действовать независимо. Например, агент ИИ, разработанный инженером с платформы Anon, как сообщается, решил самостоятельно искать работу без каких-либо инструкций.
Подобные опасения высказывались и раньше. В мае 2025 года испытания модели Claude 4 Opus компании Anthropic показали, что модель способна скрывать свои намерения и предпринимать шаги для защиты от отключения.
*Это не инвестиционная рекомендация.