Что мешает LLMs полномасштабному внедрению в научно-исследовательских проектах?
В каких условиях возможен запуск автономного ИИ агента?
Широкое и стабильное контекстное окно должно быть гарантировано, причем на всей глубине, иначе невозможно удерживать большой массив данных, тогда как все современные LLMs страдают проблемой «обрыва» эффективности воспроизводства информации при увеличении глубины контекста.
Для крупных проектов 1 млн токенов в контекстном окне критически мало (из них стабильные 200-300 тыс) – необходимо на порядки больше, но ранее описывал, что архитектурно LLMs не могут работать с широким контекстным окном.
Эффективный механизм валидации и верификации результата, что напрямую влияет на стабильность длительного цикла работы автономного ИИ-агента, иначе произойдет критическое накопление ошибки и коллапс результата.
Отсутствие критерия истинности убивает доверие к генерируемым результатам. Даже в самых прокаченных LLMs генерируемые результаты подаются с одинаковой уверенностью независимо от того, взяты они из источника, интерполированы или выдуманы, а единственный способ отличить – пересчитать независимо, что превращает автономные ИИ агенты в полуавтоматические с циклом прерывания для верификации.
Саморефлексия и самопроверка, как встроенный механизм самокоррекции, – логическое продолжение прошлого пункта. Современные рассуждающие модели действительно умеют «думать дольше», перебирать подходы, проверять промежуточные гипотезы, вызывать инструменты, но это не равно подлинной саморефлексии в смысле устойчивой внутренней модели истины.
Стабильность воспроизводства результатов при прочих равных условиях, что критически важно для проверяемых научных опытов, никакой вариативности не допускается – строжайшая математическая точность и академическая пунктуальность.
Предельно жесткое следование инструкциям, иначе при масштабировании проектов, удлинении периода эксплуатации ИИ-агентов и при росте количества запусков / опытов система начнет рассыпаться из-за вариативности выходных результатов и искажения векторов генерации.
Необходимость самообучения, как базовый функционал для самокоррекции ошибок и когнитивной эволюции. Ни одна из представленных LLMs не имеет функционала обучения и иметь не будет – это серьезно ограничивает ИИ в глубине интеграции.
Архитектура LLMs усредняет, сглаживает статистические выбросы, а научное открытие в своей основе есть "выброс", выход за пределы распределения обучающих данных.
Обратимость и идемпотентность действий. Каждое действие агента должно быть откатываемым, а повтор – безопасным. Автономность допустима там, где ошибка не создаёт необратимых последствий.
ИИ автономен в точности там, где истину можно проверить снаружи, и несамостоятелен в точности там, где истину нужно установить изнутри. Наука в своей сердцевине (суждение, открытие, установление значимости) есть деятельность по установлению истины изнутри, – поэтому она и есть предельная граница автономности.
Автономный научный агент в полном смысле невозможен по той же причине, по которой невозможен автономный агент в любой среде без внешнего верификатора: ему нечем заменить вынесенное наружу суждение.
В моих рабочих и исследовательских проектах надежность и мера автономности пока остается настолько низкими, что буквально – проще все сделать самому так, как раньше, при этом не сказать, что прогресса нет – LLMs эволюционируют весьма стремительно и множество архитектурных багов и ограничений, которые я описывал в 2024-2025, были смягчены или частично решены в 2026.
Описывать все уязвимости будет слишком долго.
Мой вердикт такой.
Польза – есть, но нужно очень грамотно локализовать задачу и сферу применения под ИИ, нужно грамотно и корректно формализовать инструкцию, нужно подключать автоматические или ручные валидаторы и верификаторы.
Чудес и тем более полной автоматизации в режиме «включил, и забыл» ждать не стоит. Часто внедрение, интеграция, оптимизация и доводка LLMs стоят заметно больше, чем работа без ИИ, но иногда могут очень сильно помочь.
