Споры об уровне зрелости ИИ-агентов идут давно

Споры об уровне зрелости ИИ-агентов идут давно. Этим летом вывод изменился: технология дозрела у тех, кто построил вокруг неё обвязку из внешней проверки, журнала и отката. Спор работает или нет закончился.

Остался инженерный вопрос: кто построит эту обвязку в вашем периметре.

Пока её нет, вы платите дважды.

Первый счёт время ваших людей. Исследование Workday показало: почти 40% ожидаемого прироста производительности от ИИ съедается переработкой ошибочных результатов. Самые активные пользователи ИИ теряют до 1,5 недель в год на исправление того, что нагенерировал ИИ.

Второй счёт прямые убытки. EY опросила 975 компаний с выручкой от $1 млрд: суммарные потери от ИИ-рисков $4,4 млрд. Infosys (опрос 1500+ руководителей): 95% из них сталкивались с проблемными инцидентами при использовании корпоративного ИИ, в 77% случаев это привело к прямым финансовым потерям в среднем $800 тыс. за два года на компанию. И это только те, что заметили.

При этом сами создатели моделей предупреждают: OpenAI прямо рекомендует везде, где возможно, привлекать человека к проверке результатов перед их практическим использованием, а для чувствительных действий приостанавливать выполнение до одобрения.

Это не значит, что ИИ не надо использовать. Агенты уже в ваших процессах официально или в обход ИТ и безопасности. Вопрос в том, как сделать их управляемыми.

Сценарий, который нам описывают чаще всего: компания запустила агента для подготовки коммерческих предложений. На третьем шаге цепочки агент неверно интерпретировал техзадание и подставил в ценовую часть несуществующие работы. Ошибка возникла на третьем шаге, а нашлась в финальном документе когда предложение уже ушло клиенту. Пересчёт, пересогласование, потерянные две недели и испорченные отношения.

Мы строим системы контроля исполнения ИИ-агентов внутри периметра заказчика. Способов сломать процесс у агента ровно семь мы описали все, на каждый есть приём: правило, контрольная точка снаружи модели, откат к последнему одобренному состоянию. Агент будет ошибаться, мы не обещаем обратного. Разница в том, что ошибка останавливается на своём шаге.

Разбор семи ошибок ИИ-агентов в бесплатном руководстве на нашем сайте: https://controlstate.ru