Споры об уровне зрелости ИИ-агентов идут давно. Этим летом вывод изменился: технология дозрела – у тех, кто построил вокруг неё обвязку из внешней проверки, журнала и отката. Спор «работает или нет» закончился.
Остался инженерный вопрос: кто построит эту обвязку в вашем периметре.
Пока её нет, вы платите дважды.
Первый счёт – время ваших людей. Исследование Workday показало: почти 40% ожидаемого прироста производительности от ИИ съедается переработкой ошибочных результатов. Самые активные пользователи ИИ теряют до 1,5 недель в год на исправление того, что нагенерировал ИИ.
Второй счёт – прямые убытки. EY опросила 975 компаний с выручкой от $1 млрд: суммарные потери от ИИ-рисков – $4,4 млрд. Infosys (опрос 1500+ руководителей): 95% из них сталкивались с проблемными инцидентами при использовании корпоративного ИИ, в 77% случаев это привело к прямым финансовым потерям – в среднем $800 тыс. за два года на компанию. И это только те, что заметили.
При этом сами создатели моделей предупреждают: OpenAI прямо рекомендует «везде, где возможно, привлекать человека к проверке результатов перед их практическим использованием», а для чувствительных действий – приостанавливать выполнение до одобрения.
Это не значит, что ИИ не надо использовать. Агенты уже в ваших процессах – официально или в обход ИТ и безопасности. Вопрос в том, как сделать их управляемыми.
Сценарий, который нам описывают чаще всего: компания запустила агента для подготовки коммерческих предложений. На третьем шаге цепочки агент неверно интерпретировал техзадание и подставил в ценовую часть несуществующие работы. Ошибка возникла на третьем шаге, а нашлась в финальном документе – когда предложение уже ушло клиенту. Пересчёт, пересогласование, потерянные две недели и испорченные отношения.
Мы строим системы контроля исполнения ИИ-агентов внутри периметра заказчика. Способов сломать процесс у агента ровно семь — мы описали все, на каждый есть приём: правило, контрольная точка снаружи модели, откат к последнему одобренному состоянию. Агент будет ошибаться, мы не обещаем обратного. Разница в том, что ошибка останавливается на своём шаге.
Разбор семи ошибок ИИ-агентов – в бесплатном руководстве на нашем сайте: https://controlstate.ru
