В США разгорелся скандал по поводу использования ИИ в военных целях
4 марта Трамп приказал всем госучреждениям прекратить использование ИИ модели Claude от Anthropic. Поводом стало заявление гендиректора компании Дарио Амодей об отказе смягчить этические ограничения модели для военных целей (снять запрет на применение в полностью автономном режиме оружия и других систем, ведущих к человеческим гибелям и разрушениям).
Суть проблемы заключается в «галлюцинациях» ИИ-моделей – когда они выдают ответ, который звучит уверенно, грамматически идеально и правдоподобно, но при этом полностью или частично вымышлен. Это явление является фундаментальным свойством современных ИИ-моделей (в 3-15 % сложных запросов), которое до сих не удалось решить полностью.
До запрета американские военные использовали Claude (в рамках проекта Maven) и другие модели при отборе и приоритизации целей для ударов по Ирану.
Показательно рассмотрение в ходе расследования удара по иранской школе для девочек версии о возможной ошибке ИИ («галлюцинация»), которая могла привести к тому, что школа была неверно включена в список целей.
Несмотря на реальные угрозы, Пентагон продолжил использование других ИИ-моделей ChatGPT и Grok.
Не исключено, что «светочи» военного дела из вооружённых сил США и Израиля на деле оказались бестолочами и лентяями, которые вместо того, чтобы планировать операцию исключительно на объективных данных (спутниковой, агентурной и технической разведки) и использовать ИИ для ускорения обработки и проверки большого массива информации, просто доверились ответам чат-ботов о возможных целях и использовали непроверенные результаты, не учитывая реальные риски ошибочных ответов.
Похоже, что этот случай может стать первым в истории военным преступлением, совершенным по тупости и лени исполнителей.
Показательно также как быстро американские военные перешли от использования ИИ для борьбы с бюрократией к применению в летальных операциях.
