Архитектурные ограничения ИИ-агентов

Архитектурные ограничения ИИ-агентов

Продолжаю исследовать тему, под которую вложены триллионы.

ИИ-агент надежен там, где истина формализуема и быстро проверяема. Агент слаб там, где истина дрейфует, зависит от контекста, меняется во времени или требует эмпирической проверки.

Почему я продолжаю настаивать на том, что интеграция в реальную экономику весьма ограничена? Реальный мир неидеален и часто функционирует в режиме исключений: неполный или неформатный документ, нетиповой клиент, конфликт правил, устаревшие или неполные данные, сбои в синхронизации, сломанные ключи API и тысячи других ограничений, которые решает человек, но с высокой вероятностью не может эффективно и корректно решить ИИ.

Даже если предположить, что ИИ идеально следует инструкциям (стало намного лучше, но это все еще не так), даже если заметно снижены галлюцинации (далеко не так), даже если обеспечена высокая стабильность на всей глубине контекста (лучше, но очень далеко до оптимальных кондиций), ИИ все равно будет спотыкаться на несовершенстве условий, наборов данных или протоколов, которые существуют в реальном мире.

Вот эта конфликтность является еще одним препятствием к полноценной автономности. То, что человек способен решать достаточно быстро, на ИИ сразу сливается.

На личном примере. Попытка автоматизировать сбор и систематизацию данных не привела к успеху, т.к. переформатирование структуры данных со стороны поставщика сразу ломает всю схему (я способен решать это за минуты, тогда как для ИИ требуется новый набор инструкций, как работать с новым типом или набором данных).

Даже в относительно формализованной среде (поиск, сбор, обработка, синхронизация и интеграция наборов данных) затраты на интеграцию ИИ-агентов в информационные системы могут быть кратно выше самостоятельной работы без ИИ-агентов.

Почему? Разметка данных, подготовка жестких по ограничениям инструкций, внедрение контекста, создание API мостов, интеграция, контроль и верификация результатов ИИ-агентов требуют много времени. Набор данных деформируется и придется вручную пересоздавать инструкции, перенастраивать API мосты и калибровать систему заново. Это один из примеров.

Меняется формат или структура данных, меняется контекст необходимо вручную дооптимизировать. В реальном мире таких конфликтов на всех уровнях генерируется непрерывное множество, и все конфликты нельзя формализовать.

Помимо верификации/валидации, отсутствия критерия истинности, ограничений на уровне среды и наборов данных, здесь еще много ограничений можно зафиксировать:

Ограничения длинной траектории чем длиннее агентный цикл, тем выше риск накопления ошибок, где ошибки возникают не только в ответе, но и в последовательности (неверно понял цель, выбрал не тот инструмент, получил неполные данные, забыл ограничения, не заметил противоречия, не выполнил проверку и десятки других сбоев и багов).

Даже на операционном уровне масса ограничений. Для внедрения агента нужны:

права доступа и политики безопасности;

журнал действий и мониторинг исполнения;

тестирование, калибровка и интеграция в информационные системы;

контроль качества;

процедуры отката и разбор инцидентов.

ИИ-агент это не универсальная интеллектуальная среда для решения любой задачи. Для эффективного применения необходимы: корректно локализовать задачу на формализуемую и неформализуемую, грамотно написанная инструкция и постановка задачи, четкое целеполагание и формализация допусков, внедрения качественного набора данных (контекста) и стабильных внешних источников, устойчивая и желательно изолированная от шумов среда, стабильные внешние валидаторы, калибровка системы и настройка прав доступа.

И даже все это не гарантирует результат, т.к. все может схлопываться на экономику проекта: слишком дорогие токены, слишком долгая и дорогая интеграция, затраты на валидацию / верификацию результата и т.д.

Не нужно ждать взрывного роста производительности или технологического прогресса от ИИ-агентов.