Работает ли закон масштабирования?
Все это не шутки. Заявленные планы бигтехов на развертывание мощностей под ИИ в период с 2026 по 2032 составляют около 150 ГВт в эквиваленте мощности текущих вычислительных кластеров на базе Blackwell, что составляет около 6 трлн долларов инвестиций из расчете средней стоимости 1 ГВТ около 40 млрд в соответствии с собственными расчетами.
На конец 2025 совокупные ИИ мощности всех бигтехов с учетом OpenAI оцениваются в 12-14 ГВт, т.е. предполагается увеличить на порядок за следующие 7 лет от базы 2025 – это невероятно.
Вся концепция экспоненциального расширения мощностей сводится к идеи, что если LLMs непрерывно обучать, то рано или поздно случится прорыв, которые изменит «законы мироздания», когда ИИ станет достаточно умен, чтобы перенять от человека все исследовательские функции и «выхаркивать» по звездолету ежедневно, кратно увеличивая технологический прогресс человечества и производительность экономики, сделав всех счастливыми и сказочно богатыми.
По сути, стремятся к контролю над миром и к замене человеческого мозга более эффективной субстанцией.
Вот эта все фантастическая концепция сводится к закону масштабирования, но работает ли он?
Закон масштабирования работает, но … до определенной границы и при оправленных условиях.
Если вы берёте один и тот же тип модели и даёте ей больше мозга (параметров), больше еды (данных) и больше тренировок (вычислений), качество в среднем предсказуемо улучшается.
• Увеличиваем размер модели систематически падает средняя ошибка предсказания;
• Увеличиваем объём данных модель устойчивее к редким паттернам;
• Увеличиваем суммарные вычисления (дольше и тщательнее учим) выжимаем из архитектуры больше потенциала.
Если дать LLMs больше знаний, больше примеров и более прочный эмпирический каркас через который она ловит закономерности, это приводит к росту производительности.
Здесь есть логика. Человек с самого рождения не обладает никакими навыками, знаниями и компетенциями. Все это приходит во время теоретического и практического обучения и только с опытом.
На протяжении жизни человек впитывает огромное количество контента через аудио и визуал, но оставляя обработанным, запоминаемым около 5%.
К определенному возрасту человек приобретает достаточный набор знаний, чтобы эффективно ориентироваться в пространстве, принимать сбалансированные решения, взвешивать факторы риска и при определенных обстоятельствах совершать открытия, генерировать новые идеи и концепции.
Машина имеет важное преимущество - она запоминает все и с неимоверной скоростью (в миллионы раз быстрее человека) и ничего не забывает, что по логике должно сделать модель сверхумной (тот путь, который человек проходит за всю жизнь, в LLMs можно вогнать за минуты или секунды), но сделает ли?
Проблема исчерпания качественных данных – на определенном уровне происходит заражение системы токсичными данными, что приводит к деградации «понятийного аппарата», зашумливая механизм интерпретации.
Рост вычислений и обучения не приводит к результату без качественной обратной связи и критерия истинности.
Увеличение размера модели не приводит к результату, если сами по себе параметры – дефектные без многоуровневой верификации.
Однако, вне зависимости от масштаба обучения, архитектурно современные LLMs – тупиковая ветвь из-за ранее описанных ограничений (1 и 2) с невозможностью самообучения и ограниченным набором обратных связей, с невозможностью динамической балансировки параметров, выстраивания иерархических и причинно-следственных связей, отсутствия отбора существенных факторов и параметров, без планирования, целеполагания, мотивации и интуитивных моделей, свойственных человеческому мозгу.
LLMs эффективны в стационарном мире прошлого, но не могут эффективно функционировать в динамическом мире настоящего в условиях незапрограммированных вариаций, т.е. не способны к экспромту в сложном и противоречивом физическом мире, где часто нет однозначностей.
Все это к тому, что экономический эффект от 6 трлн плановых инвестиций может быть не тем, на который рассчитывают.
