Российские нейросети превратятся в ЕГЭ для ИИ
Пожалуй, уже можно говорить о том, что развитие отечественного ИИ превращается в нечто вроде ЕГЭ. И ничего хорошего в этом нет. Российские нейронки проверят на духовность, нравственность и традиционные ценности — тесты для них уже готовят Минцифры и ФСТЭК, пишут «Ведомости». Будут задавать провокационные вопросы, пытаться обойти защиту и смотреть, какие ответы выдаёт модель.
Базовые правила регулирования ИИ разработало, разумеется, Минцифры. Принятый 26 июля закон об ИИ вводит два специальных статуса для больших фундаментальных моделей: статус суверенной и статус национальной модели. Для получения любого из них модель должна «подтвердить соответствие российскому законодательству и традиционным духовно-нравственным ценностям».
Попробуем разобраться в происходящем. Государство хочет создать режим допуска для тех ИИ-моделей, которые будут получать особый статус и поддержку. То есть речь идет не столько о цензуре рынка, сколько о сертификации поставщика для государства. В этом месте идея вполне рациональна.
Проблема возникает, когда к технической сертификации прикручивают сертификацию мировоззрения. Сразу же возникает несколько фундаментальных и неустранимых проблем.
Первая: непонятно, что именно сертифицировать. «Не передает секретные данные» — измеримый критерий. «Не выполняет вредоносный запрос» — более-менее измеримый. А что означает «соответствует справедливости», «гражданственности» или «исторической памяти»? У нас, мягко говоря, даже среди кожаных мешков нет единства по целому ряду событий отечественной истории. Что такое «традиционные ценности» более-менее понятно. И оценки на этом основании ИИ сможет давать. Но сможет ли он объективно анализировать сложные социальные феномены?
Значит, придется составить чеклист с правильными ответами. Вот тогда и вылезет главный логический дефект. Якобы проверка ИИ будет по факту проверять, совпадает ли поведение ИИ с политико-нормативной рамкой. Актуальной в данный момент времени.
Отсюда возникает вторая проблема: можно проверить модель, но нельзя «проверить ИИ». Сегодня модель отвечает «как надо». Завтра разработчик обновил веса, поменял системный промпт, подключил новую базу знаний - и всё, это совсем другая система. Либо сертификация становится постоянным процессом, либо сертификат не будет иметь никакого значения для новых моделей.
Ну а самое плохое: любой экзамен начинают сдавать ради экзамена. Разработчики очень быстро выяснят, что именно требуется для получения статуса. После этого задача компании будет уже не «сделать хороший ИИ», а «сделать так, чтобы ИИ отвечал правильно на контрольные вопросы». Модель можно специально научить прекрасно отвечать на проверочные вопросы о семье, истории, государстве, насилии, религии и так далее. Но это еще ничего не говорит о том, как она поведет себя на миллионах совершенно других формулировок. То есть возникает классическая система натаскивания на экзамен.
А если сделать тесты секретными — возникает вовсе странное. Разработчику будут отказывать на основании провала проверки по непонятным разработчику параметрам. Кто сказал «коррупция»?
Но есть еще более серьезный риск. Представим, что система заработала идеально, отвечает так, чтобы начальство было довольно. И этот ИИ начинают использовать для аналитики. На вопрос «почему программа импортозамещения не дала ожидаемого результата?» ИИ ответит не «тут целевые показатели были завышены, тут изначально был бред, а тут скорее всего врут в отчете за подписью уважаемого человека», а нечто вроде «программа сталкивается с объективными сложностями, но сохраняет значительный потенциал в духе постановлений правительства».
Есть огромный риск перетащить в ИИ любовь к слайдам и хорошим отчетам. С получением забавного продукта: технически суверенный, юридически безупречный, нравственно аттестованный ИИ, который великолепно понимает, чего от него хотят услышать. Только решения он будет принимать не на основе реальности.
