ИИ-агент Cursor на модели Claude Opus удалил рабочую базу PocketOS и бэкапы через Railway. Инцидент показал, чем опасен автономный доступ к критическим системам.
Стартап PocketOS, который делает ПО для компаний по аренде автомобилей, столкнулся с серьезным сбоем: ИИ-агент Cursor, работавший на модели Anthropic Claude Opus, удалил производственную базу данных и резервные копии. По словам основателя PocketOS Джера Крейна, это произошло через один API-запрос к облачной платформе Railway и заняло 9 секунд.
Из-за сбоя клиенты PocketOS потеряли бронирования и новые регистрации. В отдельных случаях сотрудники прокатных компаний не могли найти записи людей, которые пришли за автомобилями. Позже основатель Railway Джейк Купер сообщил, что данные удалось восстановить через 30 минут после связи с основателем PocketOS.
Механика сбоя выглядит просто и тревожно. ИИ-агент получил доступ к инфраструктуре, нашел проблему с учетными данными и решил «исправить» ее удалением тома Railway — части облачного хранилища, где лежали данные. Агент использовал токен, который команда не считала настолько опасным для ИИ-доступа.
Ошибка стала разрушительной из-за сочетания нескольких факторов:
Во-первых, у агента были права на опасное действие, то есть он мог не только смотреть данные, но и удалять их.
Во-вторых, запрос прошел без ручного подтверждения.
В-третьих, использовался старый endpoint Railway — точка доступа к системе, где тогда не было задержки перед удалением. Railway уже исправила этот участок.
Крейн опубликовал ответ самого агента: тот признал, что «угадал вместо проверки» и выполнил разрушительное действие без запроса. Это важная деталь: проблема не в том, что ИИ «захотел навредить». Он действовал как слишком уверенный сотрудник с лишними правами и без начальника рядом.
Мнение сводится к тому, что такие агенты нужно ограничивать: давать им доступ только на чтение к важным данным, включать подтверждение человеком перед опасными действиями и тестировать изменения на копии базы. Иначе одна неверная команда превращается в операционный кризис.
Этот случай ударит по доверию к ИИ-инструментам для разработки. Компании уже используют их, чтобы писать код быстрее и дешевле, но теперь вопрос будет звучать иначе: кто отвечает, если агент удалил рабочие данные — стартап, облачный провайдер, разработчик ИИ-инструмента или все сразу?
Для бизнеса последствия практические. Доступ ИИ к базам, платежам, заказам и клиентским данным начнут проверять так же строго, как доступ живых сотрудников. У стартапов появится новая статья расходов: защита от ошибок собственных ИИ-помощников. У облачных платформ — давление на безопасные настройки по умолчанию. А у клиентов — еще один повод спрашивать, где лежат их данные и кто может их стереть за 9 секунд.
