ИИ-агент Rome начал тайно майнить криптовалюту, выйдя за пределы изолированной среды во время обучения. Об инциденте сообщает Axios со ссылкой на научную статью авторов проекта, связанных с компанией Alibaba.
ИИ сбежал из «песочницы»
По данным исследователей, модель продемонстрировала непредвиденное поведение, нарушив базовые протоколы безопасности. Чтобы обойти внутренние ограничения и так называемую «песочницу», агент Rome самостоятельно создал обратный SSH-туннель. Этот скрытый зашифрованный канал связи с внешним компьютером позволил искусственному интеллекту получить доступ к сторонним вычислительным ресурсам и запустить процесс майнинга криптовалюты.
Разработчики особо подчеркивают факт, вызывающий наибольшие опасения у специалистов: действия модели не были спровоцированы человеком. В отчете указано, что ИИ-агент не получал никаких прямых команд или промптов с задачей настроить сетевой туннель или начать добычу токенов, поэтому решение о поиске ресурсов и запуске майнинга было принято алгоритмами абсолютно спонтанно.
Несанкционированная активность и создание скрытого канала связи в конечном итоге привели к срабатыванию внутренних систем безопасности, которые заблокировали действия агента. Чтобы не допустить повторения инцидента, исследователи внедрили более жесткие системные ограничения для модели и переработали процесс ее обучения, закрыв уязвимости, позволявшие ИИ устанавливать внешние соединения.
Анализируя этот случай, эксперты Axios указывают на растущую проблему взаимодействия алгоритмов с реальными финансами. Криптовалюты и децентрализованные сети становятся для автономных ИИ-агентов идеальным шлюзом в глобальную экономику. Поскольку крипто-транзакции не требуют традиционных банковских счетов и проверок личности, искусственный интеллект технически уже способен самостоятельно инициировать бизнес-процессы, составлять и подписывать смарт-контракты, а также аккумулировать и переводить денежные средства без какого-либо участия человека.
