Компании обнаруживают, что создать ИИ-агентов значительно проще, чем выстроить системы, обеспечивающие их надёжность в производственной среде.
Корпоративные команды по ИИ последние два года наперегонки создавали агентов. Теперь они столкнулись с иной проблемой: лишь немногие из этих агентов действительно заслуживают доверия в масштабе.
Разрыв начинает проявляться в публичных цифрах. По имеющимся данным, Prosus создал внутри компании 50 000 агентов, однако ежедневно работают лишь около 5 000 из них. Это соотношение 10 к 1 стало показательной метрикой, отражающей текущее состояние корпоративного производства ИИ. Вопрос не в том, могут ли компании создавать агентов. Вопрос в том, могут ли они достоверно определить, каких агентов безопасно развёртывать, каким результатам можно доверять и что происходит при сбоях систем.
Это различие важно, потому что обещанная эффективность автономных систем предполагает, что системы изначально принимают правильные решения.
Разрыв между экспериментами и производством
Для многих инженерных команд первая волна развёртывания ИИ-агентов прошла стремительно. Внутренние ИИ-помощники, автоматизаторы рабочих процессов и мультиагентные системы появились во всех подразделениях. Демонстрации работали. Пилотные программы выглядели многообещающе.
Производственная среда рассказала иную историю.
Антонио Бустаманте, генеральный директор bem, на протяжении многих лет работает над ИИ-инфраструктурой для регулируемых отраслей, включая страхование, финансы и здравоохранение. С его точки зрения, главным узким местом отрасли является подотчётность.
Он указывает на широко обсуждаемый инцидент с участием Upstream, в котором ИИ-агент подключился к каналу в Slack, а команда людей, по имеющимся данным, замолчала на 24 часа, поскольку никто не знал, как с ним взаимодействовать. Бустаманте утверждает, что это молчание обнажило нечто более глубокое: компании не разработали операционных моделей для работы бок о бок с агентами.
Та же закономерность прослеживается в крупномасштабных корпоративных развёртываниях. Команды могут быстро создавать тысячи агентов, однако показатели использования падают, как только эти системы сталкиваются с беспорядочными производственными данными, неясным распределением ответственности или неопределёнными результатами.
Именно поэтому многие компании сегодня обнаруживают, что, несмотря на масштабные усилия по развёртыванию ИИ-агентов, реального корпоративного производства ИИ у них сравнительно мало.
Почему мультиагентные системы продолжают буксовать
Часть проблемы кроется в том, как корпоративные среды работают на самом деле.
В контролируемых демонстрациях данные чистые, а рабочие процессы предсказуемы. Реальные организации редко функционируют именно так. Большинство корпоративных систем содержат фрагментированные записи, несовместимые форматы, отсутствующий контекст и годами накопленные операционные обходные решения.
Бустаманте сравнивает эту ситуацию с конвейерным производством. Производственная модель Генри Форда добилась успеха, потому что входные данные были стандартизированы ещё до масштабирования производства. Мультиагентные системы сталкиваются с противоположным условием. От них ожидают работы с нестандартизированными корпоративными данными, что характерно для большинства корпоративных сред.
Некоторые компании уже публично признали операционную нагрузку. В ряде развёртываний организации обнаружили, что им приходится постоянно назначать людей-рецензентов для проверки результатов агентов. В одном примере, циркулирующем в отрасли, мультиагентная система, по имеющимся данным, потребовала 20 человек для проверки результатов за кулисами.
Это полностью меняет экономику. Обещанные выгоды от развёртывания автономных агентов исчезают, если людям всё равно приходится вручную проверять каждое решение.
Оценка уверенности и отсутствующий уровень подотчётности
Бустаманте утверждает, что оценка уверенности стала одним из наиболее недооценённых компонентов в области управления ИИ и производства ИИ-инфраструктуры. Без систем, способных измерять неопределённость, операторы не имеют надёжного способа определить, какие агенты готовы к производству, а какие требуют вмешательства.
На практике оценка уверенности означает нечто большее, чем присвоение процента ответу. Она требует систем, способных объяснять неопределённость, отслеживать решения вплоть до исходных данных и создавать контрольные точки с участием человека в цикле, прежде чем ошибки накапливаются в рамках рабочих процессов.
Этот уровень подотчётности ИИ приобретает особое значение в отраслях, где ошибки влекут финансовые или юридические последствия. Неудачная проверка страхового требования, ошибка при извлечении медицинских данных или ошибка при финансовой обработке могут стать событием, влекущим ответственность.
Бустаманте описывает более широкую концепцию bem как «платформа оркестрации агентов для задач, которые не могут дать сбой». Эта фраза отражает растущее осознание в отрасли: надёжность ИИ-агентов зависит не столько от того, сколько агентов вы развёртываете, сколько от того, можете ли вы отслеживать, проверять и исправлять решения, когда что-то идёт не так.
Как выглядит производственно-готовая инфраструктура
Следующий этап корпоративного ИИ, вероятно, будет связан не столько с созданием большего числа агентов, сколько с построением систем вокруг них.
Компании, ориентированные на долгосрочное использование ИИ-агентов, всё активнее ищут инфраструктуру, которая остаётся гибкой в процессе исполнения, жёсткой в отношении результатов и отслеживаемой в условиях сбоев. Это включает оценку уверенности, журналы аудита, точки вмешательства, стандартизацию данных и системы управления, разработанные для производства, а не для демонстраций.
Компании, которые ликвидируют разрыв между экспериментами с мультиагентными системами и реальным развёртыванием, могут оказаться не теми, у кого больше всего агентов. Это могут быть те, кто наконец построит инфраструктуру подотчётности, которую предприятия проигнорировали с самого начала.
