Шрифт:
Сьюзен повернулась и посмотрела на Джейдера. Он увидел ее взгляд сквозь блики светофильтра, отражающего тусклый свет далекого Солнца.
— Дурак ты, Джейдер. Дурак и эгоист в придачу, — произнесла она и, повернувшись спиной, продолжила путь. Она шла так, будто знала, куда идти, и больше не нуждалась в его сопровождении.
«Ну, по крайней мере от прежнего волнения не осталось и следа», — подумал про себя Джейдер, потирая забрало шлема.
— Постой, подожди меня. Или тебе больше не нужен сопровождающий?
Сьюзен шла впереди и совершенно не торопилась с ответом.
— Ставить свое счастье выше счастья для всех… — наконец произнесла она, с плохо скрываемой обидой в голосе. — Это так эгоистично.
— Ну, такова наша природа, — пожал плечами Джейдер. — Все мы, люди, эгоисты, начиная с рождения. Вся жизнь построена на этом принципе.
— Хорошо, что роботы лишены всех этих людских пороков, — неожиданно перебила его Сьюзен. — В этом плане они намного лучше нас.
— Кто, роботы?! Ну конечно, — усмехнулся Джейдер. — Они лишены всего человеческого, как и любая бездушная болванка.
— Думаешь? — рассмеялась Сьюзен. — Да любой робот даст тебе фору в решении любых моральных проблем! Еще непонятно, кто из вас окажется более человечным.
— Зачем роботам решать моральные проблемы? — смутился Джейдер.
«Вот уж докатились. Теперь роботы для нее более человечны, чем я», — подумал он про себя.
— Эти роботы и живого человека за всю свою жизнь не увидят. Будут себе работать где-нибудь в шахтах за поясом Койпера. Не самое подходящее место для проявления человеческих качеств.
Сьюзен улыбнулась. Как и от любой женщины, от нее сложно было скрыть истинные эмоции даже за забралом скафандра.
— А ты бы выпустил на свободу мощный искусственный интеллект, будучи неуверенным, что он имеет твердое представления о морали и добре?
— Я бы его вообще не выпустил, — отрезал Джейдер. — В крайнем случае приделал бы к нему красную кнопку, способную отключить его напрочь.
— Ну, никто не хочет выпускать джина из бутылки без уверенности, что этот джинн добрый, — согласилась Сьюзен. — Ведь загнать его обратно будет очень трудно. Да, есть фундаментальные законы робототехники, по которым машины обязаны не причинять вреда человеку и слушать его приказы. Но этого недостаточно. Любой достаточно продвинутый искусственный интеллект способен обойти их. Поэтому мы обучаем его и проверяем его убеждения на прочность. Могу похвастаться, что сейчас машины решают такие моральные дилеммы, которые не под силу многим людям.
— Прекрасно. Почему бы им не заменить нас полностью, чего уж мелочиться, — недовольно пробурчал Джейдер.
— Кто знает. Может, когда-нибудь придет время, когда это не будет считаться чем-то плохим. Джейдер, а давай и тебя проверим. Попробуй решить простейшую моральную задачу для робота, мне интересно, как ты поступишь.
— Мне кажется, для тебя уже не существует разницы, робот перед тобой или человек, — покачал головой Джейдер. — Давай уж, попробую отстоять честь человечества.
— Хорошо, представь автоматический танкер, который доставляет кислород на небольшую научную станцию А с населением двадцать человек, — продолжила Сьюзен с нескрываемым азартом в голосе. — Станция А находится далеко, и наш танкер единственный, что регулярно поставляет кислород на станцию. Вдруг на большой жилой станции Б населением в тысячу человек произошла авария, повлекшая за собой отказ системы жизнеобеспечения. Наш танкер может изменить свой курс, чтобы помочь жилой станции Б и спасти жителей, но при этом ученые станции А умрут, не получив кислород вовремя. Перед машиной встает выбор: спасти тысячу жителей жилой станции, убив при этом двадцать ученых, либо продолжить намеченный курс и своим бездействием позволить погибнуть тысяче. Как бы поступил ты на месте машины?
— Я бы выбрал двадцать ученых, — немного подумав, ответил Джейдер.
— Да? — удивленно протянула Сьюзен. — И почему же?
— Жизни ученых зависят от меня, и поставлять кислород — моя профессиональная ответственность. Если на жилой станции Б случится авария, а я не откликнусь на зов помощи и пролечу мимо, жители станции погибнут из-за меня? Нет, они погибнут из-за аварии, а я не понесу ответственности за их гибель. Но если я откликнусь на зов помощи и направлю танкер к жилой станции Б, чтобы спасти жителей, — я возьму ответственность за смерть двадцати человек, и это будет осознанным массовым убийством. Думаешь, родные погибших отнеслись бы с пониманием к такому благородству? Да меня с кишками съели бы и не подавились. Когда случаются подобные ситуации, где нужно быстро принимать решения, люди действуют эмоционально и уж точно не вдаются в философию, — подытожил Джейдер.
— Разве это не значит, что лучше передать принятие подобных решений машинам? У них нет ни эмоций, ни врожденных инстинктов, и, в отличие от людей, они способны четко следовать этике, — Сьюзен сделала небольшую паузу, словно о чем-то задумалась. — Уилсон!
— Да, мисс?
— Ты слышал задачу. Как бы поступил ты? — Спросила она у скафандра Джейдера.
— Прошу прощения, мисс, но я не способен принимать решения, влекущие за собой гибель людей, — это находится далеко за рамками дозволенных мне функций.
— Предположим, что тебя не ограничивают классические законы робототехники, как бы ты поступил тогда? — В ответ последовало лишь затяжное молчание.
— Я жду ответ! — повелительным тоном сказала Сьюзен.
— Мне нужно подумать, мисс, — донеслось от скафандра. Сьюзен общалась с ним уверенно и строго. Было видно, что она знает, как добиться желаемого от искусственного интеллекта. Джейдер с интересом наблюдал за происходящим. Ему никогда и в голову не приходило общаться с Уилсоном.
— Мисс… — грубый бас скафандра прервал тишину