С весьма различной степенью оптимизма относясь к возможности создания Искусственного Интеллекта как таковой, люди достаточно единодушно признают, что возникновение ИИ неизбежно повлечет за собой существенную модернизацию философских и этических постулатов. Из возможных направлений этой модернизации, однако, внимание обычно уделяется лишь одному – расширению категории «мыслящие сущности» и связанным с этим проблемам. Зачастую предполагается, что настанет тот день, когда ИИ обретет те же права, что и человек, и будет аналогичным образом рассматриваться как уникальная личность. В футурологических прогнозах встречаются строчки типа «20XX год – первый судебный процесс по делу об убийстве ИИ», «20XX год – ИИ получает избирательные права» и т.п.

Иными словами, прямым следствием признания ИИ разумным будет присвоение его существованию той же ценности, что и существованию единичного разума человека – ценности, в гуманистической традиции объявляющейся бесконечной. А бесконечности сравнению не подлежат… Человек рассматривается как некая фиксированная точка отсчета, к которой ИИ может приближаться «снизу», оставаясь при этом в суде все еще «вещественным доказательством», с которой однажды может сравняться, получив статус «свидетеля», но которую по постулированному определению не может качественно превзойти, сколько бы ни наращивал далее свою количественную мощь.

(…Соответственно, гипотетический Сверх-ИИ, сопоставивший технические параметры свои и человечества и решивший в целях оптимизации от человечества избавиться, будет, мол, в чем-то глубоко заблуждаться, и потому будет как бы неправильным Сверх-ИИ. Ну да. Естественно.)

Недооценивается возможность обратного сдвига.

Не расширение категории «мыслящие сущности» – а ее упразднение в силу невозможности обозначить её границы.

Что, если окажется, что функциональность ИИ неотличима от человеческой, что он успешно проходит тест Тьюринга длиной в человеческую жизнь, но при этом по всем остальным своим очевидным признакам – не более чем инструмент? Инструмент, который можно создать, придав ему желаемые качества. Инструмент, который можно растиражировать во множестве копий – а можно придать уникальность, используя  случайные параметры. Инструмент гибкий, способный к адаптации – но из-за той же гибкости подверженный порче из-за накапливающихся ошибок…

Инструмент, способность которого к обработке информации всецело определяется информацией же, в нем содержащейся.

Не приведет ли это к нагляднейшей демонстрации того, что уникальность личности и вытекающая из нее ценность человеческой жизни – фикция? Что сами эти идеи – это лишь случайно закрепившаяся в ходе информационной эволюции мутация?

Что на шкале сложности информационных систем, тянущейся от простейших биологических механизмов репликации до Сверх-ИИ и далее, нет никакого фазового перехода, соответствующего возникновению так называемой разумности?

Системы машинного перевода, которые лет пятнадцать назад могли служить лишь генераторами юмористических зарисовок низкого и среднего качества, но никак не реальным подспорьем переводчику, постепенно набирают силу и уже довольно неплохо справляются с ненасыщенными специфической лексикой текстами. Их совершенствование продолжается. Параллельно прогрессируют алгоритмы распознавания и синтеза речи, растут вычислительные мощности продвинутых ноутбуков и дешевых мобильников... Вряд ли можно будет назвать тот год и день, когда развитие технологий наконец ликвидирует последствия ветхозаветной диверсии на высотном строительстве – как нельзя сказать, когда именно Интернет превратился из неэргономичного инструмента-игрушки для узкого круга лиц в едва ли не главный символ и связующее поле современного общества. Просто выйдет какой-нибудь MetaTransLa 7.0, и окажется, что пресловутые языковые барьеры исчезли. Не пали. Просто ветер перемен потихоньку занес их песком. Остались торчать лишь утонченные столбы поэзии да языковых игр вроде «Алисы в Стране Чудес».

Это даже не сразу заметят. Но потом – потом последует запоздалая реакция, по которой впоследствии будут отмечать начало новой эры.

Ватикан выступит с обращением к католикам мира о недопустимости использования MetaTransLa™ для перевода церковных текстов и проповедей, так как машинный перевод разрушает их изящную иносказательность.

Более радикальные секты напрямую заявят о том, что MetaTransLa™ есть порождение дьявола и каждый переведенная им фраза содержит дьявольский код.

Националистические партии объявят язык своей страны носителем уникальной культуры, не поддающейся машинному переводу, и будет требовать запрета MetaTransLa™ на государственном уровне.

Тоталитарные режимы закроют доступ к MetaTransLa.net.

СМИ по всему миру будут заходиться истерическими статьями и катастрофическом падении нравов и бездуховности общения молодежи через MetaTransLa™.

Et cetera, et cetera. Как только компьютерная лингвистика приблизится к решению своей сверхзадачи и однажды исподволь перешагнет черту – она может попасть в такую же преисполненную двуличия и лицемерия опалу, как та, в которой сейчас находятся генная инженерия, ядерная энергетика, технологии клонирования и исследования воздействия ЛСД на психику.

Команда, которая создаст MetaTransLa™ – будьте осторожны. Не пропустите тот момент, когда нужно будет нанимать охрану. Будет крайне глупо, хотя и не ново, получить пулю в грудь или кислоту в лицо.

Программа, которая сможет прогнать текст по цепочке переводов с языка на язык и вернуться к исходному, отсеяв шелуху красивых слов и оставив лишь главный смысл – слишком мощный инструмент анализа, чтобы ему легко позволили стать общедоступным.

Взаимонепонимание людей разных наций, позволяющее в любой удобный момент разделить мир на «своих» и «варваров» – слишком мощный и безотказный инструмент политических и религиозных игр, чтобы ему легко позволили исчезнуть.

Универсальный транслятор – бомба, закладываемая в один из наиболее прогнивших углов фундамента цивилизации.

Вавилонская рыбка таит в себе мощный яд.

Традиционно осуществлявшееся гиками-одиночками и их небольшими группами проведение технологий через первый этап развития – собственно разработку и испытание первых ненадежных, неудобных и опасных образцов – в настоящее время оказывается все более затруднительным, т.к.:

• Развитие новых технологий требует значительных капиталовложений и обширной элементной базы, что делает его недоступным отдельно взятому человеку и даже достаточно большому сообществу (имущественный ценз);
• Новые технологии рассматриваются как несущие потенциальную угрозу для общества в целом и потому подлежащие запрету (из относительно «свежих» примеров – клонирование и другие биотехнологии. Возникшая ранее система жесткого контроля распространения радиоактивных материалов относится сюда же).

Крупные корпорации, способные преодолевать имущественный ценз, во-первых, руководствуются чисто коммерческими соображениями, и потому слабо заинтересованы в интенсивном развитии, предпочитая экстенсивное, и, во-вторых, в значительно большей степени подвержены давлению со стороны властей и общества и не могут открыто связывать свое имя с «сомнительными экспериментами».

Возник эффект старения популяции технологий. Значительная их часть находится на втором и третьем этапах, заселенность первого этапа низка.

Ситуация имеет два основных сценария развития:

1. «Запретные эксперименты» пресекаются сверхрадикальным образом, темп прогресса тормозится до околонулевых значений (под которыми понимается внедрение новых технологий за два-три поколения – по-видимому, максимальная скорость, при которой достаточно аргументированно может быть доказана безопасность технологии).

Глобальная потеря темпа развития может привести человечество в тупик, связанный с исчерпанием возможностей современных технологий, последующим истощением ресурсов планеты и постепенным медленным откатом в средневековье.

2. Несмотря на принятый мораторий на исследования в определенных областях, сохраняется некоторый темп прогресса. Рано или поздно будет достигнут уровень благосостояния общества, при котором проведение «запретного эксперимента» станет доступным отдельно взятому человеку, в том числе – психически неуравновешенному, одержимому маниакальными идеями. Не имея опыта исправления ошибок и наработанных механизмов защиты от новой технологии, цивилизация окажется не готовой к последствиям умышленно деструктивного её применения.

Не только из идеалистических соображений поддержания максимального темпа прогресса, но и из общепринятых требований социальной безопасности следует вывод: возможность развития и обкатки технологии должна быть заранее предоставлена сообществу гиков, прежде чем это развитие станет доступным произвольному человеку.

Прикладная футурология с завидной периодичностью рождает умилительные в своей наивности прогнозы, в деталях расписывающие развитие цивилизации лет эдак на двести вперед. Педантично так, «2020 г. – победить рак, 2050 г. – создать ИИ, 2070 г. – изобрести, на чем лететь к Великому Центавру, 2075 г. – улететь…» Вызывает к жизни эти планы-графики не то глубокая увлеченность их авторов стратегическими компьютерными играми с негибким сюжетом, не то государственный заказ – чиновник если и окажется вдруг способен принять концепцию принципиальной непредсказуемости будущего, то положить соответствующий текст на стол вышестоящего начальства не рискнет. Несть им числа, и даже то, что в суммарном тираже цитирования предсказания об утопании Лондона в лошадином навозе уже вполне можно утопить Лондон, не останавливает их размножение.

Есть в этих прогнозах что-то от сценариев порнофильмов. Изрядная шаблонность, эксплуатация проверенных и востребованных образов и упор на наглядность в ущерб естественности…

А при съемке оных фильмов случаются забавные и, кстати, нежно любимые мной эпизоды, иногда избегающие принявшего форму ножниц курсора мыши при монтаже полученного видеоматериала. Всё идет как всегда, тела возвратно-поступательно движутся к великой цели, как вдруг девушка меняется в лице, сбивается с выработанного годами ритма постанываний, истошно орет «ой, блядь, щас кончу!», и собственно, кончает, сваливаясь с партнера, выбивая ногой у оператора камеру и роняя ценный арендованный реквизит. Актеры ржут, режиссер матерится, девушка улыбается.

Истинно революционные технологии рождаются примерно так же.

Жизненный цикл технологии состоит из трех этапов.

На первом как развитие, так и собственно использование технологии протекает в узком кругу увлеченных ей людей. Увлеченных до фанатизма – тех, что принято называть гиками. На этом этапе идет наиболее активное тестирование технологии, определяются ее возможности, отбраковываются неперспективные приложения и определяется вектор дальнейшего развития.

Достигнув определенного уровня, технология становится популярной в обществе и обретает значительную коммерческую ценность. Развитие ее на этом этапе осуществляется исследовательскими подразделениями крупных корпораций.

Вытесняясь новой технологией, технология теряет свое значение в обществе и в дальнейшем используется опять-таки немногочисленными поклонниками (на данном этапе сегодня находятся, например, паровой двигатель и дирижаблестроение). При этом она может получать неожиданное новое развитие, фактически возвращающее её к первому этапу.

Известный принцип самореализации гласит: «Следует развивать свои достоинства, а не бороться с недостатками». Можно предположить, что тот же рецепт успеха относится и к технологиям. Однако, развиваться так они могут лишь на первом и третьем этапе. Абстрагироваться от недостатков технологии способен гик, что выражается в том, что он:

• готов мириться со значительными финансовыми затратами, на начальном этапе чаще всего несоразмерными предоставляемым технологией возможностям;
• готов выделять варьирующееся от значительного до колоссального время на своё [само]обучение – т.е. готов подстраиваться под перспективную технологию;
• готов сознательно терпеть значительные риски, связанные с несовершенством технологии – как финансовые, так и угрозу своему здоровью и даже жизни;

Кроме того, он, как правило, заинтересован в том, чтобы выжать из технологии максимум возможностей и готов прилагать значительные усилия даже ради небольших улучшений значимых параметров – опираясь при этом скорее на эстетические чувства, чем на рациональные соображения.

Типичным примером такого развития является начало компьютерной эры. Компьютер «Альтаир-8800», обладая минимумом возможностей, крайне недружелюбным интерфейсом и будучи практически неприменим для каких-либо полезных в повседневной деятельности операций, успешно продавался по цене в несколько сотен долларов.

Массово внедряемая же технология для получения общественного одобрения и коммерческого успеха должна:

1. быть доступной для потребителя;
2. обеспечивать обратную совместимость в самом широком смысле слова, в том числе и с человеком, т.е.
3. не требовать долгого обучения. Причем мягкая формулировка «не требовать значительного изменения имеющихся навыков по работе с предыдущим поколением технологии» имеет тенденцию расширяться до «не требовать какого-либо обучения вообще» (концепция «дружественного идиоту интерфейса»);
4. быть безопасной или, по крайней мере, восприниматься таковой.

Из объединения пунктов 3 и 4 рождается убийственное для большинства действительно эффективных технологий требование «быть максимально безопасной в руках идиота, упорного в своих идиотских намерениях». Выполнить его, как правило, если и можно, то лишь при значительном возрастании цены конечного продукта – противоречие с пунктом 1.

Следствие: перешедшая во вторую фазу технология практически теряет возможность развиваться интенсивно и ограничена экстенсивной модернизацией.

В рассмотренном примере персональных компьютеров переход в эту фазу произошел, по-видимому, в 1981 г., с выпуском первых моделей IBM PC. Огромный темп экстенсивного увеличения вычислительных мощностей маскирует глубокую стагнацию развития, в частности, устройств ввода-вывода, выражающуюся хотя бы в том, что в качестве стандарта утвердилась заведомо неэффективная, более того – специально создававшаяся с целью уменьшения скорости работы клавиатурная раскладка QWERTY.

Мозг человека способен взаимодействовать с компьютером и Сетью на значительно больших скоростях, чем позволяет современный интерфейс. Усилия же разработчиков направлены на оптимизацию графическо-тактильных интерфейсов, не требующих для работы навыков сложнее хватательного рефлекса.

Как правило, неявно предполагается, что прохождение Сингулярности будет процессом, одинаково затрагивающим всё человечество. Каждый житель планеты получит «стандартный пакет» предоставляемых Сингулярностью благ, после чего организуется «общество равных возможностей» нового уровня либо произойдет объединение в планетарный сверхразум.

В природе единственным примером сингулярностей – т.е. точек, в которых те или иные физические параметры в стандартном их понимании обращаются в бесконечность – являются (точнее, могут являться) чёрные дыры.

Между тем, в черную дыру ничего не может упасть, сохранив свою целостность, т.к. по мере приближения к сингулярности растет не только напряженность гравитационного поля, но и её градиент. Любое физическое тело будет разрушено приливными силами до атомарного уровня. При падении в черную дыру небольшой массы это произойдет еще до перехода через горизонт событий.

Не ждет ли нечто подобное и человечество?

До последних десятилетий двадцатого века человечество было относительно однородно в своем развитии. Темп прогресса постоянно возрастал, но росла и скорость распространения информации и внедрения новых производственных технологий. Распространение и внедрение занимало существенно меньше времени, чем открытие и изобретение.

К настоящему моменту ситуация изменилась. Интернет, являясь наиболее совершенной системой коммуникации, де-факто не справляется с ролью «сверхпроводника», обеспечивающего однородность развития. Более того, в нём самом начинают выделяться обособленные части – закрытые сообщества, имеющие собственную внутреннюю культуру, очень высокую скорость обмена информацией между своими участниками, и значительно меньшую – с конкурирующими сообществами).

Одной из главнейших причин этого является то, что в существующих ныне моделях науки и производства продуктивный обмен информацией подразумевает не только собственно ее передачу, но и подготовку соответствующих специалистов – которая по существующим методикам занимает до нескольких лет, что в современных условиях оказывается чрезмерно долгим сроком. Кроме того, широкое внедрение (особенно на коммерческой основе) принципиально новых технологий требует перестройки общества, характерное время которой сопоставимо со скоростью смены поколений, т.е. также составляет как минимум несколько лет. «Бутылочным горлышком» оказывается сам человек и общество.

В этой ситуации развитие может утрачивать свою целостность и продолжаться несколькими независимыми путями.

Физической аналогией происходящего являются струи очень вязкой жидкости (новые знания и технологии), вливающиеся в резервуар (человечество). Если скорость их течения невелика – поднимающийся уровень жидкости в сосуде в каждый момент времени практически горизонтален. Если же скорость растёт – то понятие «уровня жидкости» как такового теряет смысл, т.к. она не успевает растекаться и образует сложные случайные структуры.

Возможные сценарии:

1. Развитие технологий обмена информацией за счет оптимизации интерфейсов «разум-Сеть» и «разум-[Сеть]-разум» догонит развитие технологий в целом, существующая неоднородность прогресса выровняется. Человечество может пройти Сингулярность, сохраняя свою целостность.
2. Возрастающее отставание скорости эффективного обмена информацией от скорости ее получения окажет критическое влияние на дальнейшее развитие технологий. Темп прогресса стабилизируется на некотором равновесном значении, близком к нынешнему (возможно, даже существенно ниже нынешнего – т.к. a). назрел кризис в финансировании научных исследований; b). инертность потребительского спроса начинает лимитировать скорость

развития коммерчески успешных продуктов). Прохождения Сингулярности не произойдет.

3. Сохранится и будет усиливаться имеющаяся тенденция к превышению скорости развития технологий над скоростью их общепланетарного распространения, однако эта скорость продолжит экспоненциально нарастать. Если в таком режиме произойдет прохождение Сингулярности, то человечество будет разорвано на N несвязанных (по крайней мере, изначально) сообществ, где N может варьироваться от 2 до, вообще говоря, количества людей на Земле. (Последний вариант может быть реализован, например, если нанотехнологии и развитие ИИ предоставят каждому человеку самодостаточную виртуальную вселенную).

Шок будущего характеризуется внезапной, ошеломляющей утратой чувства реальности, умения ориентироваться в жизни, вызванной страхом перед близким будущим. Он вызывается усиливающимся давлением событий, потоком знаний, науки, техники, различного рода информации.
[…] до 1950 г. (положим) скорость адаптации была в целом не меньше, чем скорость изменений. Поэтому человек успевал за ними и ШБ не было. Скорость изменений всё росла и после 1950 г. человек перестал успевать
К 1990 году […] стало возникать целостное видение будущего настолько далеко вперёд, как никогда раньше. Перед обществом/человеком встала задача адаптироваться не только к происходящим изменениям, но и к ожидаемым. Т.е. требуемая скорость адаптации стала ещё выше!

Материалы доклада Медведева Д.А. «Проблема "Шока будущего"»
http://www.transhumanism-russia.ru/content/view/196/37/

Медведев неявно выделяет два класса футурошока (не путать с рассматриваемыми в докладе четыремя уровнями футурошока):

Футурошок класса 1, обусловленный уже произошедшими изменениями, не вписывающимися в картину мира индивида:

Футурошок класса 2, обусловленный ожидаемыми изменениями, не вписывающимися в картину мира индивида:

Футурошок обоих классов, таким образом, может в принципе быть ослаблен и устранен в рамках того же подхода, что и вызывает его возникновение – т.е. в ходе научно-технического развития, в данном случае направленного на совершенствование методов обучения и психологической помощи.

Тезис Медведева о «возникновении целостного видения будущего» выглядит, однако, довольно спорным. Беглый анализ представлений человечества о своем будущем в различные времена показывает, что их неопределенность скорее монотонно увеличивается (уверенность древних цивилизаций в своем вечном существовании в неизменном виде, предсказания линейного технологического развития в фантастике XIX-XX веков, полярные оценки перспектив человечества в настоящее время – от входа в Сингулярность к 2030-2035 году до глобальной технологической катастрофы и вымирания человечества к тому же времени). Можно предположить, что развитие описывается законами динамического хаоса и его сколь-либо надежное предсказание возможно на все меньшее и меньшее время. Это приводит к возникновению следующего класса футурошока, логически продолжающего их последовательность:

Футурошок класса 3, обусловленный ожидаемой непредсказуемостью и тотальностью изменений. Предчувствие разрушения картины мира:

Купирование футурошока класса 3 рациональными методами крайне затруднено, т.к. он представляет собой классический страх неведомого и по своей сути близок к страху смерти. Человек ощущает, что «мир, каким мы его знали, исчезнет», но не предполагает, что придет ему на смену. Ввиду отсутствия представления о природе ожидаемых изменений принципиально невозможно аргументировано доказать их приемлемость и полезность, сменив тем самым их оценку с негативной на нейтральную или позитивную.

Устранить конфликт можно, лишь понижая значимость текущей ситуации.

Человек должен понять и глубоко принять, что его картина мира, его система взглядов и ценностей – в том числе самых глубинных, составляющих его личность как таковую – является преходящей и в ближайшем времени будет практически полностью изменена либо отброшена вообще.

Такая постановка задачи характерна не для прикладной психологии Запада, но для духовных учений Востока, провозглашающих целью саморазвития отказ от эго и растворение личности.