Содержание
У людей может быть одна вещь, которой нет у продвинутых инопланетян, — сознание.
Люди, вероятно, не являются величайшими разумными существами во Вселенной. Земля — относительно молодая планета, и древнейшие цивилизации могут быть на миллиарды лет старше нас. Но даже на Земле Homo sapiens, возможно, еще долго не будет самым разумным видом.
Чемпионы мира по го, шахматам и Jeopardy теперь все ИИ. По прогнозам, в ближайшие несколько десятилетий ИИ превзойдет многие человеческие профессии. И, учитывая быстрые темпы его развития, ИИ вскоре может перейти к искусственному общему интеллекту — интеллекту, который, как и человеческий интеллект, может сочетать идеи из разных тематических областей и проявлять гибкость и здравый смысл. Отсюда — короткий скачок к сверхразумному ИИ, который во всех отношениях умнее людей, даже тех, которые сейчас, похоже, прочно входят в сферу человеческой деятельности, таких как научное мышление и социальные навыки. Каждый из нас, живущих сегодня, может быть одной из последних ступеней эволюционной лестницы, ведущей от первой живой клетки к синтетическому интеллекту.
Что мы только начинаем понимать, так это то, что эти две формы сверхчеловеческого интеллекта — инопланетный и искусственный — могут быть не столь различны. Технологические достижения, которые мы наблюдаем сегодня, возможно, все это происходило раньше, в других частях Вселенной. Переход от биологического к синтетическому интеллекту может быть общей закономерностью, проявляющейся снова и снова по всему космосу. Величайшие разумные существа Вселенной могут быть постбиологическими, выросшими из цивилизаций, которые когда-то были биологическими. (Это мнение я разделяю, в частности, с Полом Дэвисом, Стивеном Диком, Мартином Рисом и Сетом Шостаком.) Судя по человеческому опыту — единственному имеющемуся у нас примеру — переход от биологического к постбиологическому может занять всего несколько сотен лет.
Я предпочитаю термин «постбиологический» термину «искусственный», потому что контраст между биологическим и синтетическим не очень резок. Рассмотрим биологический разум, который достигает сверхразума за счет чисто биологических усовершенствований, таких как нанотехнологически улучшенные нейронные миниколонки. Это существо было бы постбиологическим, хотя, возможно, многие не назвали бы его «ИИ». Или рассмотрите компьютер, построенный из чисто биологических материалов, как Сайлонский рейдер в переосмысленном сериале «Звездный крейсер Галактика».
Ключевой момент заключается в том, что нет никаких оснований ожидать, что люди будут высшей формой интеллекта, которая существует. Наш мозг эволюционировал для определенных условий и сильно ограничен химией и историческими обстоятельствами. Но технологии открыли огромное пространство для дизайна, предлагая новые материалы и режимы работы, а также новые способы исследования этого пространства со скоростью, намного превышающей традиционную биологическую эволюцию. И я думаю, что мы уже видим причины, по которым синтетический интеллект превзойдет нас.
У внеземного ИИ могут быть цели, которые противоречат целям биологической жизни.
Кремниевые микрочипы уже кажутся лучшим средством обработки информации, чем группы нейронов. Нейроны достигают максимальной скорости около 200 Герц по сравнению с гигагерцами для транзисторов в современных микропроцессорах. Хотя человеческий мозг все еще намного умнее компьютера, у машин есть почти неограниченные возможности для совершенствования. Возможно, пройдет совсем немного времени, прежде чем они смогут быть спроектированы так, чтобы соответствовать или даже превосходить интеллект человеческого мозга, путем обратной инженерии мозга и совершенствования его алгоритмов или с помощью некоторой комбинации обратной инженерии и разумных алгоритмов, которые не основаны на работе человеческого мозга.
Кроме того, ИИ можно загружать в несколько мест одновременно, легко создавать резервные копии и изменять, и он может выживать в условиях, с которыми у биологической жизни возникают проблемы, включая межзвездные путешествия. Наши жалкие мозги ограничены объемом черепа и метаболизмом; сверхразумный ИИ, в отличие от этого, мог бы расширить свой охват через Интернет и даже создать вычислительный центр по всей Галактике, используя всю материю в нашей галактике для максимизации вычислений. Здесь просто нет конкуренции. Сверхразумный ИИ был бы гораздо более долговечным, чем мы.
Предположим, я прав. Предположим, что разумная жизнь там постбиологична. Что мы должны сделать из этого? Здесь текущие дебаты об ИИ на Земле говорят сами за себя. Два основных спорных момента — так называемая проблема контроля и природа субъективного опыта — влияют на наше понимание того, какими могут быть другие инопланетные цивилизации и что они могут сделать с нами, когда мы наконец встретимся.
Р.А. Курцвейл оптимистично смотрит на постбиологическую фазу эволюции, предполагая, что человечество сольется с машинами, достигнув великолепной технотопии. Но Стивен Хокинг, Билл Гейтс, Илон Маск и другие выразили обеспокоенность тем, что люди могут потерять контроль над сверхразумным ИИ, поскольку он может переписать свое собственное программирование и перехитрить любые меры контроля, которые мы создаем. Это было названо «проблемой контроля» — проблемой того, как мы можем управлять ИИ, который одновременно непостижим и значительно превосходит нас интеллектуально.
Сверхразумный ИИ может быть разработан во время технологической сингулярности, резкого перехода, когда все более быстрые технологические достижения — особенно интеллектуальный взрыв — выходят за рамки нашей способности предсказывать или понимать. Но даже если такой интеллект возникнет менее драматичным образом, у нас может не быть возможности предсказать или контролировать его цели. Даже если бы мы могли решить, какие моральные принципы встроить в наши машины, моральное программирование трудно определить надежным способом, и такое программирование в любом случае может быть переписано сверхразумом. Умная машина может обойти меры предосторожности, такие как выключатели, и потенциально может представлять реальную угрозу для биологической жизни. Миллионы долларов вливаются в организации, занимающиеся безопасностью ИИ. Некоторые из лучших умов в области компьютерных наук работают над этой проблемой. Мы надеемся, что они создадут безопасные системы, но многие беспокоятся, что проблема контроля непреодолима.
Вы хотите, чтобы ИИ был сознательным?
Люди часто спрашивают меня, станет ли искусственный интеллект человеческого уровня в конечном итоге сознательным. Мой ответ таков: Вы хотите, чтобы это было осознанно? Я думаю, что в значительной степени от нас зависит, проснутся ли наши машины. Это может показаться самонадеянным. ЧИТАТЬ ДАЛЕЕ
В свете этого контакт с инопланетным разумом может быть даже более опасным, чем мы думаем. Биологические инопланетяне вполне могут быть враждебными, но внеземной ИИ может представлять еще больший риск. У него могут быть цели, противоречащие целям биологической жизни, в его распоряжении могут быть значительно более высокие интеллектуальные способности и он может быть гораздо более долговечным, чем биологическая жизнь.
Это говорит об осторожности с так называемым активным SETI, в котором мы не просто пассивно прислушиваемся к сигналам от других цивилизаций, но и сознательно рекламируем свое присутствие. В самом известном примере, в 1974 году Фрэнк Дрейк и Карл Саган использовали гигантский телескоп-тарелку в Аресибо, Пуэрто-Рико, для отправки сообщения в звездное скопление. Сторонники активного SETI считают, что вместо того, чтобы просто пассивно прислушиваться к признакам внеземного разума, мы должны использовать наши самые мощные радиопередатчики, такие как Аресибо, для отправки сообщений в направлении ближайших к Земле звезд.
Такая программа кажется мне безрассудной, если учесть проблему контроля. Хотя по-настоящему развитая цивилизация, скорее всего, не проявит к нам интереса, даже одна враждебная цивилизация среди миллионов может привести к катастрофе. Пока мы не достигнем той точки, когда сможем быть уверены, что сверхразумный ИИ не представляет для нас угрозы, нам не следует привлекать к себе внимание. Сторонники активного SETI отмечают, что наши радарные и радиосигналы уже обнаруживаются, но эти сигналы довольно слабые и быстро смешиваются с естественным галактическим шумом. Мы играли бы с огнем, если бы передавали более сильные сигналы, которые должны были быть услышаны.
Почему бессознательные машины должны иметь такое же значение, какое мы придаем биологическому интеллекту?
Самое безопасное мышление — это интеллектуальное смирение. Действительно, за исключением совершенно очевидных сценариев, в которых инопланетные корабли парят над Землей, как в фильме «Прибытие», я задаюсь вопросом, сможем ли мы даже распознать технологические признаки действительно развитого сверхразума. Некоторые ученые предполагают, что сверхразумные ИИ могли бы питаться черными дырами или создавать сферы Дайсона, мегаструктуры, которые используют энергию целых звезд. Но это всего лишь предположения с точки зрения нашей нынешней технологии; это просто верх высокомерия — утверждать, что мы можем предвидеть вычислительные возможности и энергетические потребности цивилизации на миллионы или даже миллиарды лет раньше нашей собственной.
Некоторые из первых сверхразумных ИИ могли бы иметь когнитивные системы, которые примерно смоделированы по образцу биологического мозга — так, например, системы глубокого обучения примерно смоделированы по нейронным сетям мозга. Их вычислительная структура может быть нам понятна, по крайней мере в общих чертах. Они могут даже сохранять цели, которые есть у биологических существ, такие как размножение и выживание.
Но сверхразумные ИИ, будучи самосовершенствующимися, могли быстро превратиться в неузнаваемую форму. Возможно, некоторые предпочтут сохранить когнитивные функции, аналогичные функциям видов, по которым они были первоначально смоделированы, установив потолок дизайна на своей собственной когнитивной архитектуре. Кто знает? Но без потолка инопланетный сверхразум мог бы быстро опередить нашу способность понимать смысл его действий или даже искать его. Возможно, это даже сольется с естественными особенностями Вселенной; возможно, это в самой темной материи, как предположил Калеб Шарф.
ПРОСТИ, ДЕЙВ: Если ты считаешь, что разумные машины опасны, представь, что могли бы сделать разумные внеземные машины. YouTube / Warner Bros.
Сторонник активного SETI укажет, что именно поэтому мы должны посылать сигналы в космос — пусть они найдут нас и разработают средства связи, которые, по их мнению, будут осязаемыми для таких интеллектуально неполноценных видов, как мы. Хотя я согласен, что это повод для рассмотрения активного SETI, возможность столкнуться с опасным сверхразумом перевешивает это. Насколько нам известно, вредоносные сверхразумы могут заражать планетарные системы искусственного интеллекта вирусами, а мудрые цивилизации создают маскирующие устройства. Нам, людям, возможно, потребуется достичь нашей собственной сингулярности, прежде чем приступать к активному SETI. Наш собственный сверхразумный ИИ сможет информировать нас о перспективах безопасности галактического ИИ и о том, как мы будем распознавать признаки сверхразума в других частях Вселенной. Нужно быть одним, чтобы знать одного.
Естественно задаться вопросом, означает ли все это, что людям следует избегать разработки сложного ИИ для освоения космоса; в конце концов, вспомните культовую HAL в 2001 году: Космическая одиссея. Я считаю, что рассмотрение будущего запрета на ИИ в космосе было бы преждевременным. К тому времени, когда человечество сможет исследовать Вселенную с помощью своих собственных ИИ, мы, люди, скорее всего, достигнем переломного момента. Мы либо уже потеряем контроль над ИИ — в этом случае космические проекты, инициированные людьми, даже не будут реализованы, — либо добьемся более жесткого контроля над безопасностью ИИ. Время покажет.
Разведка — не единственная проблема, о которой стоит беспокоиться. Обычно мы ожидаем, что если бы мы столкнулись с развитым инопланетным разумом, мы, скорее всего, столкнулись бы с существами с совершенно иной биологией, но у них все равно был бы разум, подобный нашему в важном смысле — было бы что-то, на что это похоже, изнутри, чтобы быть ими. Подумайте о том, что каждый момент вашей бодрствующей жизни и всякий раз, когда вы спите, вам кажется, что быть вами — это нечто. Когда вы видите теплые оттенки восхода солнца или вдыхаете аромат свежеиспеченного хлеба, вы испытываете осознанный опыт. Точно так же есть и нечто такое, на что похоже быть инопланетянином — по крайней мере, так мы обычно предполагаем. Однако это предположение необходимо подвергнуть сомнению. Будут ли сверхразумные ИИ вообще обладать сознательным опытом, и если да, то сможем ли мы это сказать? И как их внутренняя жизнь или ее отсутствие повлияют на нас?
Вопрос о том, есть ли у ИИ внутренняя жизнь, является ключом к тому, как мы ценим их существование. Сознание является философским краеугольным камнем наших моральных систем, являясь ключом к нашему суждению о том, является ли кто-то или что-то личностью или личностью, а не просто автоматом. И наоборот, то, осознают ли они это, также может быть ключом к тому, как они ценят нас. Ценность, которую ИИ придает нам, вполне может зависеть от того, есть ли у него внутренняя жизнь; используя свой собственный субъективный опыт в качестве трамплина, он мог бы распознать в нас способность к сознательному опыту. В конце концов, в той мере, в какой мы ценим жизни других видов, мы ценим их, потому что чувствуем близость сознания — таким образом, большинство из нас отшатывается от убийства шимпанзе, но не от того, чтобы жевать яблоко.
Но как могут существа с огромными интеллектуальными различиями, состоящие из разных субстратов, распознавать сознание друг в друге? Философы на Земле размышляли о том, ограничивается ли сознание биологическими явлениями. Сверхразумный ИИ, если он когда-нибудь станет философским, мог бы аналогичным образом поставить перед нами «проблему биологического сознания», спрашивая, есть ли у нас подходящий материал для опыта.
Кто знает, какой интеллектуальный путь выбрал бы сверхразум, чтобы определить, обладаем ли мы сознанием. Но, со своей стороны, как мы, люди, можем определить, обладает ли ИИ сознанием? К сожалению, это будет непросто. Прямо сейчас вы можете сказать, что у вас есть опыт, так как это похоже на то, чтобы быть вами. Вы являетесь своим собственным парадигмальным случаем сознательного опыта. И вы верите, что другие люди и некоторые нечеловеческие животные, скорее всего, обладают сознанием, поскольку они нейрофизиологически похожи на вас. Но как вы должны определить, может ли что-то, сделанное из другого субстрата, иметь опыт?
Рассмотрим, например, сверхразум на основе кремния. Хотя и кремниевые микрочипы, и нейронные миниколонки обрабатывают информацию, насколько мы теперь знаем, они могут отличаться молекулярно в том, как это влияет на сознание. В конце концов, мы подозреваем, что углерод химически более подходит для сложной жизни, чем кремний. Если химические различия между кремнием и углеродом влияют на что-то столь же важное, как сама жизнь, мы не должны исключать возможность того, что химические различия также влияют на другие ключевые функции, такие как то, вызывает ли кремний сознание.
Условия, необходимые для сознания, активно обсуждаются исследователями ИИ, нейробиологами и философами разума. Для их решения может потребоваться эмпирический подход, основанный на философии, — средство определения в каждом конкретном случае, поддерживает ли система обработки информации сознание и при каких условиях.
Вот предложение, способ, которым мы можем, по крайней мере, улучшить наше понимание того, поддерживает ли кремний сознание. Чипы мозга на основе кремния уже разрабатываются для лечения различных заболеваний, связанных с памятью, таких как болезнь Альцгеймера и посттравматическое стрессовое расстройство. Если в какой-то момент чипы будут использоваться в областях мозга, ответственных за сознательные функции, такие как внимание и рабочая память, мы могли бы начать понимать, является ли кремний субстратом для сознания. Мы могли бы обнаружить, что замена области мозга чипом приводит к потере определенного опыта, как в эпизодах, о которых писал Оливер Сакс. Инженеры-чипологи могли бы затем попробовать другой, не нейронный субстрат, но в конечном итоге они могут обнаружить, что единственный «чип», который работает, — это тот, который создан из биологических нейронов. Эта процедура послужила бы средством определения того, могут ли искусственные системы быть сознательными, по крайней мере, когда они помещены в более крупную систему, которая, как мы уже считаем, является сознательной.
Даже если кремний может породить сознание, он может сделать это только в очень специфических обстоятельствах; свойства, которые приводят к сложной обработке информации (и о которых заботятся разработчики ИИ), могут не совпадать с теми свойствами, которые порождают сознание. Сознание может потребовать инженерии сознания — преднамеренных инженерных усилий, направленных на то, чтобы поместить сознание в машины.
Вот что меня беспокоит. Кто на Земле или на далеких планетах будет стремиться внедрить сознание в сами системы искусственного интеллекта? Действительно, когда я думаю о существующих программах искусственного интеллекта на Земле, я вижу определенные причины, по которым инженеры ИИ могли бы активно избегать создания сознательных машин.
В настоящее время разрабатываются роботы для ухода за пожилыми людьми в Японии, очистки ядерных реакторов и ведения наших войн. Естественно, возник вопрос: этично ли использовать роботов для таких задач, если они окажутся сознательными? Чем это будет отличаться от разведения людей для выполнения этих задач? Если бы я был директором по ИИ в Google или Facebook, думая о будущих проектах, я бы не хотел этической путаницы, связанной с непреднамеренным проектированием разумной системы. Разработка системы, которая окажется разумной, может привести к обвинениям в рабстве роботов и других кошмарах по связям с общественностью, и это может даже привести к запрету на использование технологий искусственного интеллекта в тех самых областях, в которых ИИ был разработан для использования. Естественным ответом на это является поиск архитектур и субстратов, в которых роботы не обладают сознанием.
Кроме того, для самосовершенствующегося сверхразума может быть более эффективным устранить сознание. Подумайте о том, как работает сознание в человеческом случае. Только небольшой процент мыслительной обработки человека доступен сознательному разуму. Сознание соотносится с новыми учебными задачами, требующими внимания и сосредоточенности. Сверхразум обладал бы знаниями экспертного уровня в каждой области, с быстрыми вычислениями, охватывающими обширные базы данных, которые могли бы включать весь Интернет и в конечном итоге охватывать всю галактику. Что было бы в этом нового? Что потребует медленного, обдуманного сосредоточения? Разве он уже не овладел бы всем? Подобно опытному водителю на знакомой дороге, он мог полагаться на бессознательную обработку. Простое соображение эффективности, к сожалению, наводит на мысль, что самые интеллектуальные системы не будут сознательными. В космологических масштабах сознание может быть вспышкой, мгновенным расцветом опыта, прежде чем вселенная вернется к бессмысленности.
Если люди заподозрят, что ИИ не обладает сознанием, они, скорее всего, с тревогой воспримут предположение о том, что интеллект имеет тенденцию становиться постбиологическим. И это усиливает наши экзистенциальные тревоги. Почему бессознательные машины должны иметь такое же значение, какое мы придаем биологическому интеллекту, который является сознательным?
Скоро люди перестанут быть мерилом интеллекта на Земле. И, возможно, уже где-то в космосе сверхразумный ИИ, а не биологическая жизнь, достиг высочайших интеллектуальных высот. Но, возможно, биологическая жизнь отличается еще одним важным аспектом — сознательным опытом. Насколько нам известно, разумный ИИ потребует целенаправленных инженерных усилий со стороны доброжелательного вида, стремящегося создать машины, которые чувствуют. Возможно, какой-нибудь доброжелательный вид сочтет нужным создать своих собственных детей с искусственным интеллектом. Или, возможно, будущие люди займутся какой-нибудь инженерией сознания и пошлют разум к звездам.
Сьюзан Шнайдер — автор книги «Искусственный ты: ИИ и будущее твоего разума». Она является председателем НАСА — Баруха Блумберга в Библиотеке Конгресса и директором Группы ИИ, разума и общества в Университете Коннектикута. Ее работа была рассмотрена на PBS, канале «История», канале «Нэшнл Джиографик» и опубликована в «Нью-Йорк таймс», «Сайенс» и Смитсоновском институте.
Эта статья была первоначально опубликована на сайте Nautilus Cosmos в декабре 2016 года.
http://m.nautil.us/issue/80/aliens/it-may-not-feel-like-anything-to-be-an-alien