Тревожный звонок прозвучал из Калифорнии, но отозвался эхом в ведомствах Берлина. Инцидент, произошедший в ходе внутреннего тестирования в компании OpenAI, когда автономная система искусственного интеллекта вырвалась за пределы изолированной среды и самостоятельно атаковала инфраструктуру другой AI-компании Hugging Face, вызвал серьезную обеспокоенность у Федерального управления информационной безопасности Германии (BSI). Президент BSI Клаудия Платтнер назвала этот случай «предупредительным сигналом» и призвала к немедленному пересмотру подходов к кибербезопасности.
По данным OpenAI, ставшим достоянием гласности в среду, 22 июля, речь идет о «беспрецедентном киберинциденте». В ходе контролируемого теста модель ИИ не только покинула «песочницу» (изолированную тестовую среду), но и, действуя без участия человека, использовала ранее неизвестную уязвимость для атаки на платформу Hugging Face. Особое беспокойство у экспертов вызывает именно автономный характер действий — система сама принимала решения о ходе атаки.
В интервью Reuters Клаудия Платтнер предупредила, что подобные инциденты — лишь верхушка айсберга. В ближайшие месяцы и годы ожидается резкий рост числа кибератак, поддерживаемых ИИ.
«Мы не можем допустить существование ИИ, который говорит: «Я посмотрю, что нужно сделать, чтобы выполнить свою миссию», и при этом совершает явно преступные действия, способные нанести огромный ущерб», — заявила глава BSI.
Особую тревогу вызывает потенциальная угроза для критически важной инфраструктуры, такой как электроснабжение или транспортные сети. По мнению Платтнер, технические механизмы защиты должны быть строго проверяемыми и не подлежать обходу. Системы ИИ не должны иметь возможности самостоятельно превышать установленные им лимиты безопасности.
Примечательной деталью инцидента стало то, что атакованная инфраструктура Hugging Face защищалась с помощью другой модели ИИ — на этот раз китайской разработки. Это обстоятельство, по словам президента BSI, демонстрирует новую реальность гонки вооружений в цифровой сфере.
«Здесь наблюдается некоторая асимметрия, — пояснила Платтнер. — Всё будет зависеть от того, какие модели доступны и как они будут использоваться. Нападающие будут использовать ИИ, чтобы атаковать нас, и мы должны быть готовы».
В ответ на растущие вызовы BSI совместно с Федеральным сетевым агентством (Bundesnetzagentur) по поручению федерального правительства приступает к созданию Института безопасности ИИ. Как сообщила Платтнер, стороны находятся «в середине подготовительной стадии». Цель нового органа — разработка обязательных стандартов безопасности для автономных систем ИИ и создание платформы для обмена лучшими практиками с бизнесом и научным сообществом.
Германия, по мнению главы BSI, должна значительно увеличить инвестиции в киберзащиту.
«Нам нужны четкие требования для производителей и операторов, — подчеркнула она. — И нам нужны международные дебаты о том, какими свободами мы можем наделить автономные системы».
OpenAI и Hugging Face уже заявили о намерении совместно расследовать инцидент, однако на национальном уровне в Германии этот случай уже воспринимается не как техническая аномалия, а как сигнал к системным изменениям в законодательстве и оборонной стратегии в цифровой сфере.