Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко».

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Aberdeen University Library Online Collections.

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберётесь до конца текста, пути обратно уже не будет.

Кот и демоны.

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит ещё одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Если вас пугает такая перспектива, ни в коем случае не читайте дальше.

Рождение Василиска.

23 июля участник LessWrong под ником Роко (Roko) написал: «Существует зловещая перспектива, что при наступлении позитивной сингулярности появившаяся сущность будет стремиться к наказанию всех, кто знал о такой возможности, но не способствовал ее приходу на все сто процентов». Таким образом, пост-сингулярность может быть миром изобилия и наслаждений для людей, которые ничего не знали о ней, но при этом сущим адом для тех, кто знал, что если он лично не способствовал появлению «дружественного ИИ», то лишь задерживал приход этого грандиозного события. Более того, сама такая угроза должна повышать шансы появления «дружественного ИИ», поскольку она стимулирует усилия, которые направлены на его рождение.

На первый взгляд, идея Роко напоминает о рассуждениях Паскаля, который логически показал, что верить в бога безопасней, чем не верить. Если вера означает соблюдение некоторых ограничений в этой жизни ради вечного наслаждения в будущей, а неверие — наоборот, — то разница между этими сроками слишком очевидна. Лучше приложить усилия сейчас, чтобы получить бесконечно большую выгоду и радость в довольно скором будущем. Но все не так просто. И если наши предупреждения звучали зря, если вы дочитали до этого места, то теперь уже поздно: капкан захлопнулся. Сам факт этого знания подвергает вас риску. Теперь вы в полной власти «василиска» — теперь уже с большой буквы, Василиска.

Петля затягивается.

Чтобы осознать, в какой ловушке мы оказались, придётся вспомнить ещё один мысленный эксперимент, известный как «парадокс Ньюкома». Представьте, что некий предсказатель предлагает вам две коробки, открытую и закрытую. Вы можете взять или обе, или только закрытую. В открытой — и это видно — лежит тысяча долларов, содержимое закрытой зависит от предсказателя. Если он спрогнозировал, что вы выберете обе коробки, то она будет пустой, и вам достанется та самая тысяча. Если предсказал, что выберете одну закрытую, — в ней будет целый миллион.

Какой прогноз он сделал, вам неизвестно. Как действовать, тоже. Можно взять обе коробки и удовольствоваться скромной суммой. Но тут все зависит от предсказателя. Если его прогнозы всегда безошибочны, то лучше выбрать закрытую: этот ход уже предугадан заранее, и в коробке вас ждёт целый миллион. Но может, он решил сэкономить и предсказал, что вы заберёте обе коробки? Тогда стоит взять обе. Идеального решения в такой ситуации не существует. Однако похожие «коробки» предлагает и Василиск, если поместить его на место предсказателя.

Шантаж будущим.

Если Василиск знает, что вы выберете «закрытую коробку» и не станете помогать его приходу, то когда-нибудь накажет вас по максимуму. Если же он предсказывает, что вы выберете обе «коробки» (то есть, посвятите свою жизнь его созданию), то страданий можно будет избежать, даже продолжая жить обычной жизнью. Вопрос лишь в том, в чем состоит это предсказание и чего добивается сам Василиск.

Если он всемогущ и точно просчитывает поведение людей, лучше ему помогать. Но в таком случае он в принципе и не предсказывал, что вы выберете одну «закрытую коробку», отказав Василиску в своей помощи. А может, что угрозой такого наказания он лишь стремится направить ваши усилия в выгодном для себя направлении? Это похоже на шантаж со стороны существа, которое ещё не родилось, но уже проецирует свою волю на нас из своего ещё не наставшего будущего, стимулируя своё собственное появление.

Любопытно, что такая проекция напоминает древние представления, породившие самого мифического василиска. Тогда многие полагали, что зрение работает за счёт невидимых и неощутимых подвижных «лучей», которые исходят из наших глаз, «ощупывая» окружающее пространство. Так и Василиск способен протягивать свои «щупальца» из будущего в наше время, заставляя действовать в собственных интересах из страха даже гипотетического, но бесконечно мучительного наказания — как только он родится на свет.

Язык не за зубами.

Мы предупреждали, что само знание о Василиске можно считать опасным. Ведь основатель LessWrong Элиезер Юдковский быстро осознал угрозу и довольно резко ответил Роко на форуме. «Меня печалит, — писал Юдковский, — что людям, которые настолько умны для того, чтобы вообразить себе такое, при этом оказываются недостаточно сообразительны, чтобы держать свой дурацкий язык за зубами и никому об этом не говорить».

В самом деле, чем больше людей хотя бы знают о проблеме Василиска, тем больше желающих действовать в его интересах — и тем выше шансы на его появление в будущем. Недаром Юдковский в том же 2010 г. удалил эту дискуссию и все, связанное с ней, из архивов своего форума. Как видим, это не помогло, и Василиск Роко стал одним из мемов «темной стороны Сети» и темой философских дискуссий. Не сдержались и мы — а вам теперь остаётся жить с этим знанием, вечно мучаясь вопросом, чью сторону принять в борьбе за наше неопределённое будущее.

Источник: https://www.techinsider.ru/sci...

P.S. В.К. Граждане, не переживайте, всё это фигня. Единственно, что в этом верно, так это то, что ваше будущее действительно определяет ваш выбор.

И фигня это потому, что и создатель этого мысленного эксперимента, и его критики понятия не имеют, что такое жизнь. Они создали, своим выбором, для себя некий виртуальный мир симуляций, в котором и существуют.

Однако вам, граждане, следует напомнить, что все те, кто в своём выборе определились как в согласии следовать тем, кто строит сейчас мир тотальной цифровизации в контексте тотальной глобализации, с выбором не повезло. Но они сами сделали этот выбор и, таким образом, попав, к сожалению, в сети этого самого "Василиска Роко".

Ну а в качестве примера жизни, я вам предложу ещё один материал. Ну а вы уже сами постарайтесь не попасть впросак в своём выборе.

Что умели делать 10-летние крестьянки на Руси и Было ли у них время отдыхать за играми.

Хозяйкам на Руси приходилось непросто. «Хозяйство вести — не сумой трясти», - гласит известная пословица. Девочек приучали к труду с 5-летнего возраста. Благодаря примеру мам и бабушек, девочки постепенно переходили с одного уровня ответственности на следующий. А к десяти они уже являлись полноценной «хозяйственной единицей» с множеством ответственных обязанностей. К десятилетней дочке предъявлялись требования, наравне со взрослыми. А если соседи вдруг начинали неуважительно отзываться о ней, как о «непряхе», на хорошего жениха можно было не рассчитывать.

Дисциплина и послушание.

Девочки рукодельничали, даже играя. /Фото: fb.ru

Воспитание детей на Руси исторически окутано поверьями и обрядами. Первое и главное – дисциплина. Дети, прежде всего, обязаны были уважать старших и следовать их родительской воле. С ранних лет малыши знали, что мальчикам предстоит всю жизнь выполнять роль добытчика, а девочкам - хозяйки и мамы. С глубокого детства они приучались к трудолюбию, аккуратности, целомудрию. "Домострой" настаивал, что дочь должно воспитывать в строгости. Начиная с 5 лет, в обязанности девочке вменялись помощь с младшими детьми, работа по дому и в поле. Мать знала, что от качества привитых навыков будет зависеть, вырастет ли дочь хорошей женой. Любая взрослая девушка обязана была уметь рукодельничать, вести хозяйство и вкусно готовить. В 5-6 лет малышка, в нашем сегодняшнем понимании, осваивала прядение, помогала по дому и на земельном участке, ухаживала за младшими братьями и сёстрами, убиралась у скотины. Такая поступательность через несколько лет гарантировала качественные результаты.

Воспитание личным примером.

К 10 годам дочь работала по дому наравне с матерью.

В давние времена семья из нескольких поколений обитала в одном доме. Подрастающая девочка круглосуточно впитывала опыт старших женщин, которые всегда были на глазах. Конечно, основной ответственной за обучение считалась мать, которая действовала исключительно собственным примером. Сначала демонстрировала, как выполнять то или иное дело, затем доверяла помогать себе, а со временем поручала самостоятельные обязанности. Сегодня чаще всего ребёнок видит работающую мать дома только пару часов до сна. А старый жизненный уклад позволял девочкам расти более хозяйственными. В магазины за покупками не ходили, довольствуясь только тем, что приготовили и изготовили сами. Так что домашних дел хватало на всех.

В крестьянской избе занавеска отделяла угол, который называли «бабий кут». В этом женском месте и проводили большую часть времени девочки. Повторяя за мамой, наводили порядки в "посуднике", пересеивали сыпучие продукты, перематывали пряжу. Мужчины даже не заглядывали в женский угол без особой надобности. А появление здесь постороннего мужчины и вовсе могли счесть за наглость и оскорбление. К десяти годам дочь уже полноценно участвовала во всех хлопотах: отвечала за чистую посуду, убиралась, готовила несложную крестьянскую пищу. Так, поступательно и естественно ребёнок нагружался таким объёмом домашних обязанностей, какой сегодня не каждой взрослой хозяйке по силам.

Пестуньи и ткачихи.

Старшие сестры следили за младшими. /Фото: fb.ru

Многодетные русские семьи строились на «догляде» - помощи старших детей в воспитании младших. Часто родители на весь день уходили в поле, оставляя совсем ещё крох под ответственность старших сестёр. У люлек с младенцами чаще всего можно было увидеть девочку-подростка. Качая ногой прикреплённую к потолочной балке колыбельку, она параллельно рукодельничала. Кроме укачивания, умела пеленать, делать из пережёванного хлеба соску, кормить малыша. В общем, знать, как успокоить раскапризничавшегося ребёнка. При необходимости девочка 10 лет шла в "пестуньи" – тогда так называли нянек. Если семья нуждалась в деньгах, дочь зарабатывала в чужом доме на общие нужды. Причём, сумма выходила за несколько месяцев существенная, как для подростка. Иногда с пестуньей расплачивались едой – мукой, картошкой, яблоками.

«Догляд» на Руси. /Фото: rfbr.ru

Ещё одним ключевым элементом крестьянской культуры на Руси было ткачество. Ткани изготавливали самостоятельно, после чего из отрезов уже получались одежда, полотенца, платки, скатерти и другое. Первым делом девочек учили наматывать нитки на цевки, после - трепать лен и только потом уже прясть из него. К 5 годам отец мастерил для дочки собственную прялку, передавать которую в другие руки считалось дурным делом. Согласно народному поверью, прикоснувшись к прялке, подружка может её сглазить и разладить.

Освоив прядение, девочка переходила к ткацкому станку, умея в 10 лет соткать пояс и рушник. Но это далеко не все навыки. К этому возрасту дочь в полную силу помогала родителям в поле. В круг её обязанностей входили сбор колосков и вязание снопов. Девочка-подросток знала принципы выращивания овощей, пасла коз, коров и домашнюю птицу, мыла скотину и содержала в порядке стойла.

Усердно трудясь, дети ценили похвалу и одобрение старших. Трудолюбие считалось высшей целью. При этом нужно сказать, что крестьянские дети не только работали с восхода и до заката. Родители хоть и были строги, но не лишали своих чад обычных детских радостей. Они, как и мы в их возрасте, любили играть и веселиться. Существовало множество распространённых игр и развлечений, которые передавались из поколения в поколение. К примеру, для самых младших делались тряпичные куклы, которыми они играли в "дочки-матери". Старшие шили для кукол наряды, заплетали косы, прихорашивали оригинальными украшениями. Такая незамысловатая игра одновременно являлась отработкой и совершенствованием освоенных ранее навыков.

Такая девичья забава поощрялась. Считалось, что если девочка получает удовольствие от игры с куклами, то в будущем она вырастет заботливой матерью и старательной хозяйкой. Подрастая, дочки встречались с подружками. Распевая песни, они занимались рукоделием – вышивали, пряли, вязали. В летнее время года компаниями ходили в лес, параллельно собирая грибы, ягоды, хворост и траву на сено.

Источник: https://kulturologia.ru/blogs/...

В.К. И это лишь мала толика того, как детей вводили в жизнь. Ведь жизнь далеко не ограничивалась домашними заботами. Поэтому всем нам действительно необходимо не играть в "Кота Шрёдингера (Schrödinger)", а определиться наконец-то в своём выборе: сами-то мы живы или мертвы в выборе своего будущего.