Эта новость, прокатившаяся в конце декабря по множеству российских и зарубежных сайтов, так или иначе связанных с тематикой IT, очень быстро затерялась в сплошных потоках новогодних поздравлений и разнообразной праздничной мишуры. И мы едва не проморгали одно из ключевых событий в истории развития сети Интернет: впервые голосовой помощник дал пользователю потенциально смертельно опасный совет – предложил замкнуть голой рукой ноль и фазу в электрической цепи.
«Умная колонка» Alexa, разработанная и продвигаемая компанией Amazon, выдала это предложение в ответ на просьбу десятилетней девочки из США «придумать для нее испытание». Челлендж, предложенный голосовым помощником заключался в том, чтобы воткнуть вилку зарядного устройства для телефона в розетку примерно наполовину, а потом дотронуться до открытых контактов монеткой в 1 пенни, держа ее пальцами. По счастью, ребенок оказался слишком умен, чтобы пойти на поводу у электронного советчика, а мать девочки достаточно осторожна, чтобы отключить колонку и оперативно обратиться в поддержку.
Нас предупреждали
Между тем, подобную ситуацию, когда совет электронного помощника оказывается действительно опасным и деструктивным, уже давно и неоднократно прогнозировали футурологи и фантасты. Так, около года назад в издательстве «Аркадия» вышел русский перевод книги Карла Ольсберга «Зеркало». По сюжету, уникальное устройство Mirror, разработанное для облегчения коммуникации между людьми, становится слишком самостоятельным, превращаясь в цифровую копию своего владельца и беззастенчиво им манипулируя. Дело доходит до массовых беспорядков, после чего производитель отзывает свою продукцию с рынка, чтобы предложить ее армии.
«Книга получилась достаточно мрачная, но чрезвычайно жизненная, очень близкая к нашей реальности, - говорит работавший над переводом «Зеркала» германист Сергей Кормилицын. – Идея техники, становящейся слишком умной и самостоятельной, в принципе, не нова: вышедшие из-под контроля роботы, сошедшие с ума и ставшие асоциальными компьютеры, все эти «страшилки» присутствуют в мировой литературе заметно больше сотни лет, особенно, если вспоминать не только «ЭАЛ» Артура Кларка, но и майринковского голема. Но то, что раньше существовало только в фантазиях авторов, сегодня – почти реальность. Да, еще не искусственный интеллект, а всего лишь нейросеть, не «Зеркало», а «Алекса», «Алиса» или «Сири», но невооруженным глазом, как говорится, разницу поймешь не сразу».
Все еще не ИИ
«Проблема в том, что сегодня искусственным интеллектом принято называть довольно примитивный механизм анализа голоса, к которому «прикручена» достаточно банальная поисковая система, работающая в сети Интернет, – говорит Дмитрий Завалишин, генеральный директор группы ИТ-компаний DZ Systems. – Это относится, разумеется, не только к «Алексе», но и ко всем подобным системам, которые не способны ответить ни на один вопрос с точки зрения именно интеллекта и маскируют это генерацией запросов в сеть Интернет, представляющую собой, как вы сами понимаете, ту еще помойку. И если мы сами, обращаясь к сети, как источнику информации, еще как-то можем полученное фильтровать, то все эти многочисленныt поделки, которые нам продают под именем ИИ, делать этого физически не умеют, потому что не способны к семантическому анализу информации. Масштаб опасности, который вскрылся в этом инциденте с «Алексой» очевиден. Но вы только подумайте, сколько может быть опасностей не очевидных, или отложенных. Если, например, завтра кто-нибудь спросит «умную» колонку, куда вложить последние деньги? Ведь ответ будет результатом тупого поиска в Интернете с непредсказуемой эффективностью. Представить себе ситуацию, когда пользователь обращается к такой системе и получает совет, способный привести к очень неприятным отложенным последствиям, – например, о самолечении, или об обращении с химически активными веществами, – очень просто».
К счастью, ситуация с «Алексой» разрешилась благополучно, хотя понервничать пришлось всем, – и матери девочки, и другим родителям детей по всему миру, прочитавшим о случившемся и переставшим так уж слепо доверять электронному помощнику, и представителям Amazon, которым пришлось в срочном порядке «вправлять мозги» своему детищу. Но сам факт, что реальная, чреватая травмами и смертью опасность может исходить не от боевого робота, не от компьютера, управляющего ударным беспилотником, а от элемента домашнего уюта – кубика пластмассы, набитого микросхемами, – заставляет зябко поежиться.
Анастасия Пермякова
Оценил 1 человек
2 кармы