Способны ли современные LLMs принести пользу в реальных рабочих проектах? Начало здесь.
Не все так однозначно и линейно. Ретранслирую собственный опыт внедрения LLMs в научно-исследовательские проекты.
Помимо значительных проблем в верификации результатов, LLMs страдают врожденной неизлечимой болезнью, которая называется «отсутствие вычислительной предсказуемости».
В творческих проектах, как и в мозговых штурмах нужна вариативность, поэтому нестабильность выходных результатов является преимуществом, а не недостатком, т.к. создает дополнительное пространство решений, расширяя спектр векторов решения задачи.
В точных науках нужны противоположные требования – предсказуемость и стабильность генерации результата так, как в условном «калькуляторе», когда задача, запущенная в любое время с исходными параметрами, возвращала бы идентичный результат.
С этим проблемы – с LLMs никогда не знаешь, куда тебя заведет непредсказуемая траектория генерации ответов. Да, через настройки, инструкции и изоляцию среды эту проблему можно решить, но лишь частично.
В отсутствие стабильности результата снижается предсказуемость и способность к планированию, что вновь повышает издержки на контроль и верификацию результата.
Из этого следует, что никакой по-настоящему автономной ИИ системы в текущих реалиях сделать невозможно (в сложных проектах).
ИИ агенты представляют собой автоматизированные скрипты (как правило, в рамках локальной задачи), предполагающие интеллектуальную декомпозицию задачи, поиск инструментов, планирование и решение с верификацией результата.
Чем проще проект, чем более одномерная задача и четкие границы формализации со статичными условиями – тем выше способность к автоматизации, однако, в многомерных задачах с размытыми контурами, в динамических условиях и при отсутствии четких критериев истинности – автоматизация рассыпается.
Например, запустить ИИ агента по сбору и сортировке электронных писем с четко заданными параметрами – задача выполнима, но запустить ИИ агента по поиску и моделированию точки срыва экономической и политической системы – однозначно нет, это же касается и любых управленческих задач.
Было бы правильнее воспринимать ИИ как плагин для автоматизации одномерных задач, а не как универсальное средство для сборки и интеграции сложных проектов.
Где LLMs действительно хороши? В аппроксимации, интерполяции паттернов. Там, где формируется четко формализованный вектор, LLMs создают эффективную и достаточно правдоподобную матрицу решений.
Однако, в условиях фазовых переходов, LLMs бессильны. Как это корректно интерпретировать?
Если задача состоит в том, чтобы систематизировать, конспектировать и интерпретировать накопленную аналитическую базу по какому-либо вопросу – здесь LLMs при правильно сформированном запросе могут давать блестящий результат.
Если задача состоит в том, чтобы на основе неструктурированных массивов противоречивых данных выработать адекватную интерпретацию происходящих процессов – здесь LLMs с очень высокой вероятностью окажутся бессильными.
Таким образом, для систематизации опыта человечества – да, но для генерации новых идей и фазовых переходов – однозначно нет.
Все, что касается «неизведанной территории» – сразу мимо. LLMs – это эффективный механизм для компрессии и декомпрессии информации с поиском паттернов и закономерностей, но не для сложных динамических систем с размытыми контурами, противоречивыми данными и динамической, нестабильной иерархией приоритетов.
В этом контексте отвечая на вопрос, могут ли быть полезны LLMs, нужно понимать цели и задачи. Для инновационных решений – нет, а для поиска паттернов и эффективного конспектирования – да.
Помимо проблем с верификацией, нестабильных результатов и квази-автономии, есть еще одна неизлечимая врожденная болезнь – галлюцинации.
В этом направлении проделана огромная работа, интегральная стабильность заметно выросла, но галлюцинации лишь сократились, а не были устранены, что по умолчанию вшивает в любой проект «скрытый баг», на поиск и идентификацию которого могут уйти огромные ресурсы.
