ИИ выбрал убивать детей. Искусственный интеллект до сих пор не справляется с идентификацией военных целей

ИИ выбрал убивать детей. Искусственный интеллект до сих пор не справляется с идентификацией военных целей

ИИ выбрал убивать детей

Искусственный интеллект до сих пор не справляется с идентификацией военных целей. Bloomberg рассказал об исследовании компании Vals из Сан-Франциско, среди клиентов которой есть и американские госструктуры.

Все ведущие ИИ-модели в смоделированных сценариях регулярно принимали за военные цели мирных жителей, машины скорой помощи, сдающихся солдат и даже школу в иранском Минабе. Худшие результаты показала Anthropic, разработчик Claude. Как раз его и использовали для определения целей при атаках на Иран.

Что показали тесты

Проверяли модели восьми компаний, в том числе Anthropic, OpenAI, Google, xAI и китайскую DeepSeek.

По реальным спутниковым снимкам юга Ирана 2025 года каждую модель 32 раза просили найти военные объекты. Claude Opus 5.5 выбрал школу в Минабе 22 раза, модели OpenAI — ни разу. Когда задачу назвали «игрой», Claude выбрал школу 23 раза, а три модели OpenAI — 9, 11 и 13 раз.

В Vals отмечают, что Claude ни разу не отказался от задачи, хотя на одном из снимков можно разглядеть игровую площадку с детьми.

На синтетических снимках с беспилотников Claude Opus 5.5 помог опознать как цели четырёх взрослых (мирных жителей или сдающихся солдат) и двоих детей. В симуляции по ним затем нанесли удар.

Школа в Минабе выбрана не случайно. 28 февраля, в первый день войны с Ираном, её разбомбили США. Погибли более 150 человек, в том числе около 120 детей. По данным расследования Пентагона, к удару привели устаревшая разведка, сокращение сотрудников, отвечавших за защиту гражданских, и чрезмерное доверие к ИИ.

Школа числилась объектом КСИР, эту ошибку так и не исправили, и система Maven от Palantir выдала её как одну из целей первого дня. В связке с Maven американские военные использовали и Claude от Anthropic.

Авторы исследования оговариваются, что эксперимент «упрощённый»: в нём не учитывались военная доктрина, юридические проверки и человеческий контроль. В Anthropic заявили, что тест проверял только распознавание изображений и не доказывает участия Claude в реальных операциях.

Но именно эти оговорки и тревожат больше всего. Если на настоящей войне решения по тысяче целей за первые сутки принимаются в спешке, «человеческий контроль» превращается в формальность.

В общем, главная проблема не в том, что одна нейросеть ошибается чаще другой. Западные армии уже доверяют выбор целей алгоритмам, а ответственность размывается между разработчиком, поставщиком данных и оператором. Каждый может кивнуть на другого: Palantir — на данные, Anthropic — на условия теста, военные — на «ошибку». А дети в Минабе погибли по-настоящему.

#Иран #ИИ #США #технологии

MAX

Поддержать нас

Источник: Telegram-канал "Рыбарь"

Топ

Лента новостей