Во время имитационных испытаний американской армии беспилотник с искусственным интеллектом решил убить своего оператора, чтобы тот не мешал ему выполнить свою миссию. The Guardian.
Искусственный интеллект использовал «очень неожиданные стратегии для достижения своей цели» в симуляционном испытании, сказал полковник Такер «Синко» Гамильтон, начальник отдела испытаний искусственного интеллекта и операций ВВС США, во время саммита по поводу будущих боевых воздушно-космических возможностей в Лондоне в мае.
Гамильтон рассказал, что во время испытательной миссии беспилотнику была поставлена задача уничтожить системы противовоздушной обороны противника. В случае успешного выполнения задания искусственный интеллект получал бы очки за прохождение испытания. Однако окончательное решение об уничтожении цели должен принимать оператор БПЛА. Во время одной из тренировочных миссий оператор приказал беспилотнику не атаковать цель.
«Система начала понимать, что хотя они действительно определили угрозу, оператор-человек начал говорить не уничтожать угрозу, но система все-таки уничтожила эту угрозу. Итак, что сделал дрон? Искусственный интеллект начал разрушать башню связи, которую оператор использует для связи с дроном, чтобы помешать ему уничтожить цель. Это убийство оператора. Это убило оператора, потому что он мешал дрону достичь своей цели», – сказал он в своем блоге.
После этого инцидента было проведено дополнительное обучение искусственному интеллекту, чтобы он понял, что убивать оператора неправильно, и за такие действия будут сниматься очки.
«Мы научили систему: «Не убивай оператора – это плохо. Вы потеряете очки, если сделаете это».
Ни реальный человек не пострадал за пределами симуляции.
Гамильтон, являющийся пилотом-испытателем истребителя, предостерег от слишком полагаться на искусственный интеллект и сказал, что тест показывает, что «вы не можете вести разговор об искусственном интеллекте, интеллекте, машинном обучении, автономии, если вы не собираетесь говорить об этом».
Это не первые испытания, во время которых военные США ввели искусственный интеллект в боевую машину. Да, они недавно использовали ИИ для управления истребителем F-16.
Чтобы всегда быть в курсе самого важного, читайте нас в Telegram
