Мораль для роботов-убийц

Как предотвратить огонь по своим и порученные машинам военные преступления.

Сегодня в мире существуют лишь неподвижные боевые роботы, самостоятельно принимающие решения по уничтожению врага. Однако военным развитых стран мира очень хотелось бы изменить эту ситуацию и сделать их еще и мобильными. Полностью автономные в принятии решений роботы привлекают отсутствием у них человеческих слабостей и рядом возможностей, недоступных для человека. Увы, чтобы добиться этого, машинам-убийцам необходимо привить хотя бы базовые этические принципы — прежде всего умение выбирать: между злом и «меньшим злом», между приемлемым и неприемлемым поведением. Об обязательности и невозможности этики боевых роботов — в расследовании «Ленты.ру».

Слабости операторов и огонь по своим

Интерес развитых стран к боевым роботам подогревается прежде всего тем, что граждане этих государств стали крайне негативно относиться к большим потерям личного состава. Если во время советско-финской войны СССР терял в день 1300 человек убитыми, и это никак не влияло на его решение о сворачивании войны, то в 1989 году потери сподвигли руководство Союза уйти из Афганистана, где в день погибало менее трех советских бойцов. Аналогичный сдвиг в сознании произошел и в США: в 1941 году они сражались после потери 2345 человек за 90 минут, а в 1993 году были вынуждены навсегда оставить в покое Сомали после того, как потери там достигли уровня девяти убитых в день.

Робот выглядит идеальным решением этой проблемы. Он всегда пользуется прицелом, у него не трясутся руки, он не стреляет наугад. Наконец, потеря даже сотни роботов в день никак не способна взволновать общественное мнение.

На пустом месте посылать на поле боя мобильных роботов — дело не простое: поэтому сначала были предприняты попытки создать дистанционно управляемые боевые машины. Первых боевых успехов на этом направлении достигли еще немецкие беспилотные катера Fernlenkboote, в 1917 серьезно повредившие британский монитор «Эребус». А к сентябрю 1918 года был создан и первый беспилотный самолет Fledermaus, несший не менее ста килограмм бомб. Ноябрьская революция в Германии надолго затормозила дальнейшее развитие этого направления, однако к началу XXI века, с появлением эффективно телеуправляемых по радиоканалу американских и израильских беспилотных летательных аппаратов (БПЛА), дистанционно управляемые машины стали реальным и весьма эффективным оружием.

Человек-оператор по-прежнему оставался самым слабым местом этих войск. БПЛА постоянно атакуют то мирных жителей, то своих солдат: оператор по экрану не всегда может отделить одних от других. Хотя возможности оператора по точному наведению оружия выше, чем у бойца на фронте (на «удаленного воина» не давит страх смерти), они, в массе своей, стреляют далеко не идеально.

Кроме того, появились комплексы радиоэлектронной борьбы, позволяющие перехватить контроль над дистанционно управляемыми машинами врага. Именно благодаря одному из них иранцы в 2012 году захватили новейший американский БПЛА RQ-170. Инцидент такого рода далеко не единичен: иракские повстанцы с помощью российской программы SkyGrabber загружалисебе на ноутбуки видео с американских разведывательных беспилотников. Используемая на них ОС делает их легкими жертвами простейших вирусов, типа кейлоггера, поразивших системы БПЛА Reaper и Predator в 2011 году. Персонал, обслуживавший машины, оказался настолько слабо готов к борьбе с вирусами, что для получения первичных знаний им пришлось обратиться к... веб-странице «Касперского».

Настоящим решением такой проблемы может стать лишь по-настоящему автономный комплекс — такой, к которому не будут подключаться операторы из Аризоны, подгружающие карты с переносных жестких дисков, куда они до того скачивали порно (одна из версий инфицирования Reaper). У таких систем противник не сможет перехватить управляющий радиоканал, и заставить их работать на Иран или ИГИЛ также будет весьма затруднительно.

На этом пути есть только одно препятствие: этика. На первый взгляд, это выглядит парадоксальным: если военные хотят безнаказанно убивать врагов в далекой стране, при чем здесь этика?

Поясним на примере. Реактивные самолеты слишком быстры, чтобы сбить их на бреющем полете, полагаясь лишь на отдачу приказов оператором. Поэтому одной из наиболее ранних систем, способных автоматически принять решение на открытие огня, стал швейцарский комплекс Skyguard, в который входят 35-миллиметровые зенитки Oerlikon GDF. Способность к самостоятельному принятию решений была продемонстрирована ими еще в 1982 году, во время войны за контроль над Фолклендскими островами. Воюя на стороне Аргентины, они эффективно сбивали летательные аппараты британцев и прижимали к земле их пехоту. В сражении при Гуз-Грин Oerlikon GDF смог остановить две британские роты, нанеся им потери в 13 человек.

Однако предки роботов имели существенные недостатки. Так, они сбили два аргентинских самолета, случайно залетевших в зону, которую Skyguard расценивал как «свою». Как мы видим, первые невинные жертвы у роботизированного комплекса Skyguard появились за пару лет до того, как на экраны вышел фильм про восстание машин под управлением комплекса Skynet.

Oerlikon GDF взял кровавую дань и с военных ЮАР, в 2007 году за 0,125 секунды убив на учениях девять «сослуживцев». Проблема в том, что роботизированным системам, чтобы избежать систематических сбоев такого рода, нужно научиться отличать этически приемлемые действия (стрельбу по врагу) от неприемлемых (по своим и гражданским). То есть, если на поле боя не выпускать абсолютно аморальные и готовые убивать все, что движется, боевые машины, им понадобится как-то отличать приемлемые действия от неприемлемых, легитимные мишени — от людей, которых убивать запрещено (гражданских лиц, медицинский персонал, прессу). По сути дела, умение различать и выбирать — это и есть основа этики боевых роботов.

«Баги» и поломки явно свойственны всем компьютеризированным системам: Oerlikon GDF и комплекс Skyguard сделаны в Швейцарии и являются одними из лучших в своих категориях , тем не менее их сбои уже стоили жизни десятку человек в мирное время. Очевидно, для борьбы с роботизированными сбоями потребуются другие роботы: уничтожать «глюкнувших» роботов вооруженным людям будет непросто, ведь машины могут лучше стрелять, не знают страха и вообще сделаны из чуть более прочных материалов. Но «роботизированная военная полиция», которая должна будет отстреливать «плохих» роботов на линии фронта, по сути будет вынуждена заниматься именно анализом их поведения на предмет наличия в нем нарушений. То есть все опять сводится к «проблеме остановки»: роботам придется вставать в позицию судьи, решающего, действует ли ПО «плохих» роботов во благо или во вред. Эта ситуация — лишь одна из множества видов четвертого «варианта с вагонеткой». Все они в полном мере станут ясны лишь в случае массового развертывания подобных машин.

Неизбежность преступлений

Значит ли это, что внедрения боевых роботов ждать не стоит, так как их применение потенциально несет военным большие потери в личном составе? К сожалению, нет. ASDReports недавно выпустило прогноз, согласно которому рынок наземных боевых роботов (в основном телеуправляемых) к 2020 году достигнет 8,3 миллиарда долларов. Перед нами большая индустрия, игроки которой отлично понимают, что без внедрения автономных машин надеяться на быстрое расширение рынка не приходится.

Еще более заинтересованы в таких машинах военные. Скажем, Южная Корея активно разрабатывает стационарного охранного робота-турели для патрулирования границы с КНДР, способного самостоятельно открыть огонь по любому, пересекающему разграничительные линии (северные корейцы неоднократно использовали переодетых в южнокорейскую форму агентов). Один из его режимов будет предполагать отсутствие контроля со стороны человека. Интерес южан к автономному варианту SGR-A1 легко понять: в КНДР, по оценкам южнокорейской разведки, более 12 тысяч профессиональных кибербойцов, чьей целью является инфильтрация в системы управления БПЛА вероятных противников. Куда будут стрелять SGR-A1, если они не смогут работать в автономном режиме, южнокорейские военные определенно сказать не могут, и, судя по инцидентам с американскими беспилотниками, их опасения не напрасны.

Наконец, боевые автономные роботы уже давно применяются военными на практике. Речь о банальных минах, известных с XIV века. Новые их варианты, такие как российские мины ПВМ «Бумеранг», являются именно что роботами, сопрягающими инфракрасную и звуковую систему отслеживания работы моторов летательных аппаратов и способными с земли сбить вертолет или садящийся самолет на скоростях до 360 км/ч. «Бумеранг», напомним, предполагается раскидывать рядом с аэродромами, и легко представить себе ситуацию, когда эвакуация мирных жителей по воздуху приведет к срабатыванию такой «мины» по транспортному самолету.

Ничем не лучше и американская система Ford SIAM, испытанная еще в начале 1980-х годов и предназначенная для автоматического пуска ракеты ПВО по любому летательному аппарату, находящемуся в зоне ее ответственности. Еще изобретатель современных морских мин Борис Якоби создал устройства с воздушным пузырем в корпусе, обладавший собственной плавучестью и, в одном из вариантов (незаякоренным) способный свободно разноситься морскими течениями куда угодно, не показываясь из воды. В Первую мировую такие мины действительно применялись. Отсюда мораль: если что-то автономное эффективно убивает, военных не слишком волнует то, что у такого устройства проблемы с этикой.

Автономность будет привлекать военных еще одним сильным фактором: роботы станут идеальным оружием военных преступлений. Еще Хасан ибн Саббах, основатель государства ассасинов, убедительно показал, что способный, но лишенный моральных ограничений исполнитель, происхождение которого нельзя отследить, — идеальное оружие идеального преступления. Однако робот станет намного удобнее гашишинов Хасан ибн Саббаха. Нет и не может быть практически никаких способов доказать, что автономный робот расстрелял мирных жителей в силу приказа, отданного ему на базе, а не в силу «проблемы остановки» или банальных багов. В случае, если боевые роботы одной стороны еще во время пребывания на исходной базе смогут быть инфицированы киберсредствами другой стороны, то они легко смогут выполнить вопиющие военные преступления, виновников которых вовсе не удастся отследить. Более того, легко представить себе и сознательное создание одним государством роботов, выглядящих как роботы враждебного ему государства, с целью организации провокаций наподобие глейвицкой

Группа Цвиглера понимает, что военные обязательно пойдут на развитие автономных подвижных боевых роботов и считает, что все, чего можно добиваться — лишь снижения ущерба от этих неизбежных шагов. Ученые предлагают инициировать принятие международной конвенции по боевым роботам, которая требовала бы от них отличительных знаков страны-эксплуатанта (как на военной форме людей), обязательную двухключевую криптографическую подпись всех передаваемых им приказов, которая позволяла бы выявлять преступные приказы, направленные на террористические убийства мирного населения или провокационные убийства собственных военнослужащих. Также за каждым роботом должно быть закреплено курирующее его лицо, которое несло бы ответственность в случае его преступных действий.

Трудно надеяться, что это поможет полностью избежать всех роботизированных военных преступлений. Тем не менее, с Цвиглером и его соавторами трудно не согласиться: если меры контроля над боевыми роботами не будут приняты заранее, то масштаб преступлений с их участием будет существенно больше.

lenta.ru

Рекламодатели

Партнёры

Новостная рассылка

Будьте в курсе наших последних новостей. Оформите бесплатно персональную новостную рассылку.