Northflank велит считать все переменные окружения украденными, а клиенты находят чужие ИИ-ключи

От одного оповещения Wiz до «считайте, что все переменные окружения скомпрометированы»

Статус-страница Northflank отмечает «Инцидент безопасности» как выявленный наряду с крупным сбоем, обновления идут с 30 по 31 октября (UTC). Оповещение об угрозе от Wiz пришло в 11:43 UTC 30 октября. В 12:02 начался патч сетевых политик, в 13:00 запросили команду реагирования Wiz, а до 13:05 вышли дополнительные патчи.

Формулировка объёма ударила по клиентам. Сначала Northflank написал, что переменные окружения расшифрованы, а затем велел пользователям «считать, что все переменные окружения скомпрометированы». Несколько пользователей сообщили, что их ИИ-ключи использовались без разрешения. На странице сказано, что расследование продолжается, и не уточняется, какие данные были похищены.

Инструкции для клиентов прямолинейны: сменить каждый секрет в рабочих нагрузках, группах секретов и глобальных секретах; отозвать ключи ИИ-провайдеров у самих провайдеров и выпустить новые; отключить публичный доступ к дополнениям; проверить журналы использования и биллинга у провайдеров. Northflank включил ротацию секретов Postgres и MongoDB для всех пользователей, а 31 октября включил аудит-логи для каждого клиента, включая бесплатных.

Вернёт ли это инфраструктурные стартапы к гиперскейлерам?

Первой реакцией в треде был прогноз. dangoodmanUT ожидал «возврата к гиперскейлерам» после таких инцидентов и инцидента с Railway. Ответы пошли в другую сторону. digitaltrees утверждал, что самодельная настройка dokku на собственном железе — мишень меньше и менее выгодная, а комментатор, упомянувший Azure, ответил на довод о гиперскейлерах одной фразой: «Azure с этим бы поспорил».

Один читатель заметил, за чем на самом деле охотятся атакующие:

«Им нужны ключи ИИ-API, которые существовали лишь потому, что люди пользовались гиперскейлерами, а не запускали инференс на собственном железе»

«Я насчитываю как минимум шесть» платформ с мультитенантностью с сентября

Практик платформенной инфраструктуры, DevOps и информационной безопасности вышел за рамки Northflank:

«Я насчитываю как минимум шесть серьёзных молниеносных атак на сервисы «как услуга» с мультитенантностью с сентября. Не в этом году, а с прошлого месяца. PingCAP/TiDB, Fireworks AI, Zeabur, OpenCode Console, Railway, теперь Northflank.»

Являются ли причиной атакующие, ускоренные ИИ, как считает этот комментатор, или обычные ошибки изоляции арендаторов, найденные на большой скорости, общий паттерн — в полезной нагрузке. Переменные окружения были тем местом, где рядом лежали облачные учётные данные клиента, доступ к базам и ключи провайдеров моделей.