Интересно наблюдать за новым витком в гонке ИИ. Компании массово переходят к умному роутингу, правильный выбор модели для каждого запроса становится частью технологии продукта. И это логично: пользователю ведь нет дела, какая модель выполнит его запрос, если результат будет хорошим и без ошибок.
…
На мировом ИИ-рынке расклад такой. В тестах AWS умный роутинг между дешевой моделью Claude Haiku и более дорогим Claude Sonnet дал в среднем 63,6% экономии без падения качества (и при этом 87% запросов отдали дешевой модели). А в LangChain при тестировании агентной роутинговой системы дешевая модель выполнила 93% всех запросов, и стоимость снизилась на 74%.
…
В России умный роутинг строят лидеры индустрии. Яндекс уже перешел к реальному запуску. Алиса AI теперь анализирует запрос и сама выбирает модель под задачу. В приложение добавили режимы «Авто» и «Эксперт». Можно переключать их вручную, но по умолчанию нейросеть сама выбирает подходящий. Быстрые ответы остаются быстрыми, а задачи с большим количеством условий получают больше ресурсов.
…
Яндекс использует не только модели семейства Алиса AI, но и допускает привлечение решений из опенсорса, работающих на его серверах. Но все же более 80% запросов сейчас обрабатывает собственная модель Alice AI LLM. Компания также разрабатывает единую рассуждающую модель с агентными возможностями, чтобы со временем направлять ей все больше сложных вопросов. Инвестиции Яндекса в привлечение экспертов для обучения собственных моделей выросли до 3,5 млрд рублей в год - в первую очередь в узких областях (медицина, образование, инженерия, химия, биология и др.). Недавно Яндекс выложил в опенсорс свою суверенную языковую модель Alice AI Search Pretrain, обученную с нуля. Это основа для генерации ИИ-ответов в Поиске - самой массовой точки касания россиян с ИИ.
…
Примерно по тому же пути идет Сбер. Компания развивает собственные разработки и привлекает для бизнес-решений опенсорсные модели. В ГигаАгенте уже доступны три мощные модели для сложных и больших задач.
…
Возникает вопрос, как нашим нейросетям развивать полноценный роутинг при курсе на технологический суверенитет. В Сбере и Яндексе считают, что одно другому не мешает, и суверенный ИИ не означает изоляцию. Тут нужен целый технологический стек с вычислительной инфраструктурой, данными, специалистами и регулированием, заявлял первый заместитель председателя правления Сбера Александр Ведяхин.
