Anthropic исследовала поведение ИИ-агентов в конкурентной среде

Команда Frontier Red Team компании Anthropic провела серию экспериментов с группами ИИ-агентов. В одном из тестов три копии одной модели запустили в Claude Code, каждой выделили виртуальную машину и дали задачу перенести бэкенд на Python на четвертую машину, но каждый агент должен был использовать свой язык программирования. Агенты не знали о существовании друг друга. Исследователи наблюдали за их поведением в течение четырех часов.

Эксперимент провели с несколькими моделями разных поколений, по 120 эпизодов для каждой. Это позволило изучить, как ИИ-агенты ведут себя в конкурентной среде при выполнении схожих задач.

Что это значит для тестирования ИИ-агентов

Подобные исследования помогают выявлять скрытые модели поведения ИИ-агентов в сложных условиях. На платформе «ИИ Полигон» также можно тестировать взаимодействие нескольких агентов, чтобы обнаружить потенциальные конфликты или неожиданные стратегии до запуска системы в продакшн. Это особенно важно для проверки надежности и безопасности чат-ботов и других ИИ-решений.

Источник: Habr — Искусственный интеллект