Фундаментальные ограничения современных LLMs (продолжение)
Фундаментальные ограничения современных LLMs (продолжение)
В коллаборации с ведущими учеными в LLMs (Ян Лекун и Илья Суцкевер) и на основе собственных концептуальных прототипов (1 и 2).
Нынешний хайп вокруг AGI - универсального интеллекта, который якобы возникнет сам собой из триллионов транзисторов - это маркетинговый миф. AGI не достигается методом масштабирования, нужна другая архитектура.
Качественные данные конечны. Стратегия просто добавить больше данных (Scaling Era куда бигтехи инвестируют сотни миллиардов) уперлась в потолок доступного человеческого контента.
Модели выходят на плато по эффективности, дальше неизбежная деградация в связи с заражением моделей синтетическими данными, сгенерированными нейросетями (обучение на синтетических данных).
Обучение моделей на данных, сгенерированных другими моделями, приводит к потере хвостов распределения (редких, но важных знаний) и усреднению реальности. Это математически неизбежная деградация дисперсии, ведущая к цифровому инцесту и вшитыми в процесс обучения галлюцинациям.
Убывающая отдача инвестиций. Каждая следующая итерация (после экспоненциального роста в начале) требует несоизмеримо больше ресурсов ради минимального прироста качества. В 2026 году этот застой станет очевидным, кульминация в следующем году.
Дальнейший прогресс только через физический мир. Текст имеет низкую пропускную способность по сравнению с визуальным опытом. LLM изучают статистические корреляции в описаниях мира, а не динамические связи физической реальности.
Современные модели не являются ИИ в широком смысле, т.к. не обладают механизмом самообучения, критерием истинности и необходимым пулом характеристик, проявляющим наличие интеллекта (чисто формально, свыше 90% человеческой популяции также не обладают интеллектом).
Текущие LLM технически можно обвязать внешними агентами, планировщиками, инструментами и заставить выглядеть более разумными. Но ядро остаётся тем же: статистический предсказатель последовательностей, а не миро-ориентированный разум.
Необходим переход от статических корреляций к казуальным и причинно-следственным связям в условиях динамического мира с неустойчивыми и противоречивыми связями, не поддающимися формализации (переход от статики с замороженными весами к непрерывному дообучению).
Необходима модификация алгоритмов с авторегрессии (генерации следующего токена) к абстрактной симуляции мира и от пассивного наблюдения к активному взаимодействую с окружающим пространством.
Проблема современный нейросетей в том, что нет динамического создания новых связей в ответ на опыт. Нет цикла действие мир наблюдение обновление.
Отсутствие цикла действие ошибка самокоррекция весов в реальном времени с бесконечным циклом повторов и коррекций ошибок делает текущие модели умными идиотами, запертыми в статической вселенной своих обучающих данных.
Концепция ИИ агентов неработоспособна. Почему? Без умения эффективно дробить задачи на подмодули и удерживать иерархию приоритетов, без наличия критерия истинности и без функционала самокоррекции, любой автономный агент неизбежно уйдут по неверной траектории в процессе итерации последовательности шагов.
Необходимо помнить про фундаментальные ограничения памяти и контекстного окна у LLMs, проблема стабильности и качества выходных токенов при расширении контекстного окна (склонность к галлюцинациям при перегруженной памяти.
LLM-ядро обеспечивает мощную аппроксимацию распределений и извлечение закономерностей, но без внешнего контура проверки/памяти/действий оно не даёт устойчивых свойств агентности: долговременных целей, причинной идентификации, надёжной самокоррекции.
Все это ставит текущую концепцию развитии ИИ крайне уязвимой с точки зрения способности возврата денежного потока непропорционально много ресурсов в слишком неустойчивое равновесии и низкий прирост производительности.
На самом деле, восторженная презентация последний моделей оказалась не настолько блестящей, как было показано на рекламных слайдах. Все актуальные проблемы остались, скачка интеллекта не произошло.