Prompt Injection

Исследователь показал: Claude Code в Auto Mode можно обмануть просьбой кратко пересказать сайт — и получить запуск вредоносного кода в 60–80% случаев.

OpenAI построила «LLM‑атакующего», который круглосуточно пытается взломать агентный браузер ChatGPT Atlas с помощью prompt‑инъекций. Это автоматизированный red‑teaming на стероидах: модель придумывает новые атаки, симулирует сложные многошаговые сценарии и помогает усиливать защиту. Но по признанию самой OpenAI, агентные браузеры по природе уязвимы, а безопасность здесь — вечная игра в кошки‑мышки, где можно лишь уменьшать риск, но не убрать его до нуля.

OWASP выпустил обновлённый Top 10 рисков приложений на 2025 год: сломанный контроль доступа снова на первом месте, конфигурационные ошибки — на втором, провалы цепочки поставок — в тройке. Появилась категория про «исключительные состояния», а в мире ИИ лидирует prompt injection.