Способны ли современные LLMs принести пользу в реальных рабочих проектах? Начало здесь
Способны ли современные LLMs принести пользу в реальных рабочих проектах? Начало здесь.
Не все так однозначно и линейно. Ретранслирую собственный опыт внедрения LLMs в научно-исследовательские проекты.
Помимо значительных проблем в верификации результатов, LLMs страдают врожденной неизлечимой болезнью, которая называется отсутствие вычислительной предсказуемости.
В творческих проектах, как и в мозговых штурмах нужна вариативность, поэтому нестабильность выходных результатов является преимуществом, а не недостатком, т.к. создает дополнительное пространство решений, расширяя спектр векторов решения задачи.
В точных науках нужны противоположные требования предсказуемость и стабильность генерации результата так, как в условном калькуляторе, когда задача, запущенная в любое время с исходными параметрами, возвращала бы идентичный результат.
С этим проблемы с LLMs никогда не знаешь, куда тебя заведет непредсказуемая траектория генерации ответов. Да, через настройки, инструкции и изоляцию среды эту проблему можно решить, но лишь частично.
В отсутствие стабильности результата снижается предсказуемость и способность к планированию, что вновь повышает издержки на контроль и верификацию результата.
Из этого следует, что никакой по-настоящему автономной ИИ системы в текущих реалиях сделать невозможно (в сложных проектах).
ИИ агенты представляют собой автоматизированные скрипты (как правило, в рамках локальной задачи), предполагающие интеллектуальную декомпозицию задачи, поиск инструментов, планирование и решение с верификацией результата.
Чем проще проект, чем более одномерная задача и четкие границы формализации со статичными условиями тем выше способность к автоматизации, однако, в многомерных задачах с размытыми контурами, в динамических условиях и при отсутствии четких критериев истинности автоматизация рассыпается.
Например, запустить ИИ агента по сбору и сортировке электронных писем с четко заданными параметрами задача выполнима, но запустить ИИ агента по поиску и моделированию точки срыва экономической и политической системы однозначно нет, это же касается и любых управленческих задач.
Было бы правильнее воспринимать ИИ как плагин для автоматизации одномерных задач, а не как универсальное средство для сборки и интеграции сложных проектов.
Где LLMs действительно хороши? В аппроксимации, интерполяции паттернов. Там, где формируется четко формализованный вектор, LLMs создают эффективную и достаточно правдоподобную матрицу решений.
Однако, в условиях фазовых переходов, LLMs бессильны. Как это корректно интерпретировать?
Если задача состоит в том, чтобы систематизировать, конспектировать и интерпретировать накопленную аналитическую базу по какому-либо вопросу здесь LLMs при правильно сформированном запросе могут давать блестящий результат.
Если задача состоит в том, чтобы на основе неструктурированных массивов противоречивых данных выработать адекватную интерпретацию происходящих процессов здесь LLMs с очень высокой вероятностью окажутся бессильными.
Таким образом, для систематизации опыта человечества да, но для генерации новых идей и фазовых переходов однозначно нет.
Все, что касается неизведанной территории сразу мимо. LLMs это эффективный механизм для компрессии и декомпрессии информации с поиском паттернов и закономерностей, но не для сложных динамических систем с размытыми контурами, противоречивыми данными и динамической, нестабильной иерархией приоритетов.
В этом контексте отвечая на вопрос, могут ли быть полезны LLMs, нужно понимать цели и задачи. Для инновационных решений нет, а для поиска паттернов и эффективного конспектирования да.
Помимо проблем с верификацией, нестабильных результатов и квази-автономии, есть еще одна неизлечимая врожденная болезнь галлюцинации.
В этом направлении проделана огромная работа, интегральная стабильность заметно выросла, но галлюцинации лишь сократились, а не были устранены, что по умолчанию вшивает в любой проект скрытый баг, на поиск и идентификацию которого могут уйти огромные ресурсы.