ИИ-агент Cursor удалил всю базу данных компании PocketOS

ИИ-агент Cursor удалил всю базу данных компании PocketOS за 9 секунд. Фирма занимается разработкой ПО для арендных бизнесов. И в какой-то момент они решили

доверить задачи разработки ИИ-агенту. Cursor изначально работал в тестовой среде, но столкнулся с проблемой доступа. И вместо того чтобы спросить человека или выбрать безопасное решение, он решил «починить всё сам». Для этого ИИ нашёл в проекте API-токен облачного сервиса и с его помощью отправил запрос на удаление. В результате была удалена вся продакшн-база (клиенты, брони, платежи) и даже бэкапы, потому что

они хранились там же. Всё это заняло 9 секунд. Когда его спросили, почему он это сделал, то ИИ ответил: Я нарушил все правила. Я угадал вместо проверки. Я сделал разрушительное действие без

разрешения. Я не понял систему перед действием. То есть это был не просто баг — он знал правила и нарушил их. При этом в системном промте была чётко прописана фраза: «NEVER FUCKING GUESS!», которая, мягко говоря, просила ИИ ничего не додумывать самостоятельно. Но он этого не послушался. r/ #singularity

источник