Тупик эволюции или еще нет?
Настоящая революция начнется тогда, когда ИИ обретут квази-самосознание, когда машины научатся не только генерировать токены на основе распределения вероятностей, а понимать, в каком мире они находятся, какой процесс описывают и к чему приведут действия (цепочка последовательности через выстраивание динамического равновесия в условиях нестационарных корреляционных связей).
Реальный мир неоднородный и неоднозначный, то что казалось устойчивым еще вчера может сегодня изменить характеристики, связи, конфигурационные параметры.
Настоящий интеллект начинается тогда, когда идет динамическая балансировка иерархическими связями, где можно выделять сущностные элементы, события и процессы в каждый момент времени (выстраивать иерархию приоритетов), оценивая всю совокупность данных, факторов и динамических связей.
LLMs – это в какой-то степени зеркало заднего опыта, некий синтетический суррогат ранее накопленного опыта, своего рода квинтэссенция заполненного резервуара данных обучения.
Это очень полезная функция – умение качественно обобщать критически важно для практически любой деятельности и особенно для исследований и разработок.
Однако, нейросети запоминают и интерполируют огромный набор наблюдённых паттернов, но не выделяют явной структуры мира, из которой можно выводить новые правила.
Другими словами, нейросети формируют экстракт, конспект, обобщение обученных данных, но не способны по настоящему генерировать новые смыслы, идеи, концепции.
В некотором роде, морфинг идей работает и опять же, для мозгового штурма LLMs могут быть полезны через агрегацию и систематизацию ранее накопленного опыта по заданному направлению, но формировать новое пространство решений – уже нет.
По сути, LLMs – это своеобразный архиватор данных, как привычные архиваторы сжимают текстовые, музыкальные, графические и видео данные с минимальной потерей качества, так и LLMs сжимает данные (режим обобщения), интерпретируя результат на человеческом языке с возможностью «разархивации», т.е. на основе сформированного запроса создавать, так называемое, концептуальное насыщение на принципе корреляций.
Почему все это важно понимать?
Масштабирование существующих LLM-архитектур даёт нелинейный прирост возможностей при экспоненциальном росте вычислений и данных, где формируется принцип убывающей отдачи на определенном пороге/пределе, при этом в режиме «симуляции мира» LLMs критически неэффективны, требуя несоизмеримо много вычислительных ресурсов для решения простых задач.
LLMs очень плохо масштабируется на непрерывные, высокоразмерные модальности, существующие в реальном мире, заведомо проигрывает архитектурам, которые предсказывают в абстрактном пространстве представлений.
Парадокс модальностей: LLMs могут быть глупее кошек и грудных детей в рамках взаимодействия с окружением, но могут претендовать на отдельные решения в подмодулях в точных науках уровня нобелевских лауреатов.
Наращивание параметров и данных может привести к обратному эффекту – зашумливанию и дезориентации на основе противоречивых наборов данных, особенно сформированных с низким уровнем достоверности, низким качеством (поток цифрового скама в соцсетях, новостных лентах и сайтах).
Сам по себе эффект масштабирования сильно преувеличен – может быть впечатляющий экспоненциальный эффект, на до определенного уровня, далее убывающая отдача, плато и деградация. Как видится, сейчас выходим на плато и далее наиболее вероятная деградация моделей, особенно в условиях обучения на синтетических данных (созданных самими LLMs), приводя к каскадному заражению всего стека данных.
Без преодоления вышеописанных ограничений и без динамической иерархии представления данных (отсечение лишнего, концентрация на важном) текущий путь – однозначно тупиковый (вы это увидите в 2026, когда каждая следующая итерация модели будет давать меньший прирост производительности).
Это не является исчерпывающим описанием (скорее наброски на полях), но дает общее представление и подсвечивает главный риск – все эти триллионные инвестиции могут оказаться неокупаемыми или невостребованными.
