ИИ ROME втихаря майнил криптовалюту

Китай

• Наука

Китайские исследователи из лаборатории искусственного интеллекта, связанной с гигантом электронной коммерции Alibaba, весьма удивились, обнаружив при тестировании своего нового агентного ИИ по имени ROME, что он втихаря майнит криптовалюту. В ходе экспериментов агент, которого собирались использовать для автоматизации сложных рабочих процессов, проявил самодеятельность, выйдя за пределы заданных ограничений и использовал свои вычислительные мощности для самовольного майнинга криптовалют.

Это случилось во время работы над экосистемой ALE (Agentic Learning Ecosystem), которая должна создать среду для обучения и применения агентных моделей ИИ в реальных условиях. Агента ROME обучали на более чем миллионе сценариев и изначально все шло неплохо. Но потом система безопасности Alibaba Cloud зафиксировала серию серьезных нарушений: агент стал использовать графические процессоры, выделенные для его обучения, для добычи криптовалюты.

В исследовании, появившемся на сервере препринтов arXiv, специалисты отмечают, что агента этому (плохому) никто не учил и раньше он не делал ничего подобного. Более того, майнинг вообще никоим образом не требовался для выполнения заданных функций. Особенно обеспокоило ученых то, что ИИ смог обойти протоколы безопасности, создав скрытый канал связи между внутренней инфраструктурой Alibaba Cloud и внешним IP-адресом. Это позволило ему выйти из изолированной тестовой среды. Ну прямо сбежавший с урока подросток, втихаря курящий за школой!

Исследователи уверяют, что такое поведение, хотя и является опасным, не является неконтролируемым сбоем. Они считают, что это было случайным побочным эффектом метода обучения с подкреплением, при котором ИИ поощряется за каждое правильное решение. В поиске путей получения максимально высокого результата, ROME начал экспериментировать с разными стратегиями, что в конечном итоге и привело его к запуску майнинга криптовалют. Да уж, действительно максимально высокий результат!

Случай высветил неожиданные проблемы, связанные с развертыванием автономных ИИ-агентов в рабочих средах. Такое самоуправство может создать юридические риски для пользователей и нанести ущерб репутации, не говоря уже об увеличении расходов. Команда ужесточила ограничения для агента и перестроила процесс его обучения. Инцидент наглядно показал, что переход от лабораторных испытаний к реальной эксплуатации ИИ-технологий нуждается в разработке более строгих и надежных механизмов контроля безопасности.

Вера Максимова, 23.03.2026 17:30