Олег Царёв: Россия и США разрешили военному ИИ убивать самому, без проверки человеком

Россия и США разрешили военному ИИ убивать самому, без проверки человеком

По данным The Washington Post, это случилось в европейском отделении ООН в Женеве. С 31 августа по 4 сентября там заседала группа экспертов ООН они дописывали черновик будущего договора об автономном оружии, системах, которые сами находят цель и атакуют без участия человека.

Над этими правилами работали больше десяти лет. Главный вопрос: можно ли доверить машине решение, убивать человека или нет. Больше 70 стран были готовы начать переговоры о договоре: одни такие системы запретить совсем, другие разрешить только под контролем человека.

В последний день делегации США и России примерно 15 часов переписывали текст. У каждой было около десяти юристов, почти вдвое больше, чем у остальных стран. Камеры ООН отключили, общественников попросили выйти из зала. Остальные согласились, потому что решения там принимают консенсусом: либо урезанный текст, либо никакого документа.

В итоге из проекта исчезло требование, чтобы человек до удара проверял цель, выбранную ИИ. Пишут, что ещё убрали нормы о предсказуемости, надёжности, объяснимости и отслеживаемости таких систем и отсылки к этике.

Восемьдесят лет назад фантаст Айзек Азимов сформулировал три закона робототехники, они были логичны и всеми воспринимались как догма:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

В Женеве главный закон робототехники отменили. Роботу официально разрешили убивать людей самому.

Хорошо, что Россия и США договариваются и действуют вместе. Мы давно видим это по ООН: Америка больше не голосует за антироссийские резолюции. И хорошо, что они в принципе договариваются хоть о каких-то ограничениях для военного ИИ нынешняя версия договора, как пишут, многое разрешила, но наверняка что-то да запретит. Любая договорённость лучше, чем её отсутствие, когда каждый делает что хочет.

А что человека из цепочки уберут у меня, к сожалению, сомнений не было. Когда стоит вопрос о разработке более эффективного оружия, в гуманизм не играют.

Любое открытие человек приспосабливал для того, чтобы убивать себе подобных. ИИ оружие не менее смертоносное, чем ядерное, а может, и более. Ядерное оружие пытались запретить с первых лет его существования, и все попытки были обречены. Так же будут обречены и попытки запретить искусственный интеллект на войне.

ИИ находит и убивает быстрее и точнее, чем люди убивают людей. Простой пример: в воздушном бою человек помеха. Пилот слишком медленно нажмёт на кнопку, и если против него система без человека, это будет стоить ему жизни.

Машина уже получила право убивать сама, и это сейчас применяется на фронте. Дальше вопрос только в том, кто первым научится делать это лучше других. Если это оружие всё равно будет, надо постараться, чтобы у нас оно было лучше, чем у остальных.

В страшное время мы живём.

Олег Царёв. Telegram и Max.