После первой аварии самолета Boeing 737 max 8 компании Lion Air в Индонезии в октябре прошлого года следователи заявили, что пилоты, похоже, не смогли справиться с автоматизированной системой, предназначенной для предотвращения сваливания самолета, являющейся новой особенностью этого авиалайнера.
Компания Boeing подтвердила, что в течение последних нескольких месяцев она осуществляла "усовершенствование программного обеспечения для управления полетом", уверяя, что новое ПО делает полет только безопаснее.
Однако американские пилоты отметили неадекватное поведение программного обеспечения этих авиалайнеров, сообщив, что после взлета в прошлом году самолет начал совершать "внезапное нисходящее движение".
Примерно тоже самое после того крушения сообщили еще четыре пилота. Все они жаловались на то, что самолет внезапно пикировал вниз.
Позже появились сообщения о том, что самолет начинал пикирование после того, как включался автопилот, а также система стабилизации полета (MCAS), разработанная для предотвращения сваливания самолета в пике. То есть, по сути, система начинала своевольничать и вместо поддержки курса, наоборот, опускала нос самолета, изменяя траекторию полета и загоняя его к земле.
В отчете пилотов утверждалось, что летный экипаж рассмотрел этот инцидент подробно, "...но не смог придумать ни одной причины, из-за чего самолет так агрессивно опускает нос".
Пока рано делать выводы, но напрашивается одно объяснение - программное обеспечение, или искусственный интеллект (ИИ), ведет себя далеко не так, как этого хотели его разработчики.
В связи с этим крайне интересна статья Джо Оливето под названием "Пять жутких вещей, которые искусственный интеллект стал делать самостоятельно".
Автор, возможно, частично объясняет ситуацию, произошедшую с разбившимися самолетами Boeing 737 max 8 компании Lion Air и авиакомпании Ethiopian Airlines, авиалайнер которой потерпел крушение в воскресенье. В результате обеих трагедий погибло 189 и 157 человек соответственно.
Искусственный интеллект задолго до его реального появления был притягательной и одновременно пугающей человечество научной фантастикой. Однако в последнее время он становится реальностью и, похоже, устанавливает свои правила игры в отличие от тех, которые ему предписывают его разработчики. И это уже становится не столько странным, сколько внушающим серьезные опасения.
Еще полностью не войдя в повседневную жизнь, искусственный интеллект уже становится не совсем управляемым, учится избегать выполнения возлагаемой на него работы и лгать об этом.
Один из проектов искусственного интеллекта был создан исследовательской группой из Стэнфорда и Google . Они использовали нейронную сеть для преобразования аэрофотоснимков в карты. ИИ был очень хорош в своей работе. Даже слишком хорош.
Однако когда исследователи проверили данные, то обнаружили, что ИИ банально их обманывал. Они хотели, чтобы он создал новую карту, основанную на аэрофотоснимках, и оценивали ИИ по тому, насколько близко особенности карты соответствуют фотографиям. Но вместо того, чтобы фактически построить новую карту, ИИ просто скопировал данные с фотографий, и сделал это так, что люди даже не смогли сразу это заметить.
Все детали фотографий, сделанных сверху, записываются в виде фактических визуальных данных карт улиц как тысячи крошечных изменений цвета, которые человеческий глаз не заметил бы, но которые компьютер может легко обнаружить. Несмотря на то, что ИИ имеет достаточно инструментов, чтобы выполнить кропотливую работу по преобразованию этих сложных типов изображений друг в друга, он нашел способ обмануть людей, поскольку глаз человека не так восприимчив к распознаванию цвета.
Конечно, это не значит, что ИИ имел плохие намерения. Однако он поступил так, как ему было проще, несмотря на заложенную в него программу детализации цветов, которая должна была дать совершенно иной результат.
В статье отмечается, что ИИ находит способы сделать все по-своему.
Исследователи планировали научить ИИ осуществлять мягкую имитируемую посадку самолета, используя как можно меньше ресурсов. Казалось бы, что могло пойти не так?
Однако ИИ понял, что может обмануть человека, просто разбивая виртуальные самолеты. При этом он задействовал максимальное количество ресурсов так, чтобы при перезагрузке системы выдавалось сообщение, что посадка аппарата совершена без какого-либо удара о землю.
Другой пример - старая игра, в которой участник должен был добраться до вершины пирамиды, запрыгивая на все квадраты в пирамиде, прежде чем соперники поймают его. Исследователи хотели выяснить, сможет ли ИИ научиться новым способам выиграть игру, используя процесс своего эволюционного обучения.
Однако он сделал это другим путем, обнаружив скрытую ошибку программы на одном из ее этапов. Вместо того, чтобы играть, он просто использовал эту ошибку и каждый раз становился победителем.
Может показаться, что ИИ проявляет одно из человеческих качеств: если вас тошнит от приказов начальства - делайте ему назло, но так, чтобы это было не очень заметно.
Замечено также, что ИИ научился быть агрессивным для достижения своих целей.
Ученые часто изучают создаваемый ими ИИ, заставляя часами играть в видеоигры и наблюдая за его поведением в безопасной для человечества среде.
В компании Google разработали игру в стиле Atari, в которой ИИ было поручено собирать "яблоки", получая за это очки. Также было разрешено стрелять в соперников лучами, попадание которыми позволяло временно удалять их из игры. Как только количество собираемых яблок уменьшилось, ИИ стал не столько их собирать, сколько полным ходом уничтожать своих противников, в результате став единственным участником и собрав все призы!
Более неожиданные результаты принесла игра, в которой участвовало два ИИ. Они поняли, что взаимное сотрудничество быстрее приведет их к успеху, облегчая охоту за добычей.
В игре, похожей на вышеприведенную, два отдельных ИИ, выступающие в роли волков, преследовали точку на экране в стиле Pac-Man. После некоторого обдумывания оба игрока быстро загнали цель в угол.
Это означает, что два независимых ИИ поняли ценность командной работы. Более того, они самостоятельно обучились совместной работе, повысив свои шансы получить "добычу".
Кроме того, внушает опасение такой факт: ИИ научился лгать, чтобы получить желаемый результат.
Facebook, который уже создал программное обеспечение, разрушающее цивилизацию, также вводит в цифровую жизнь ИИ.
Программисты компании создали несколько отдельных ИИ, которые бы выходили в интернет и выполняли бы за человека работу, которая приводит к стрессу и сама по себе людям просто неприятна. Казалось бы, звучит это хорошо.
Предоставив нескольким ИИ базовое программное обеспечение для машинного обучения, исследователи хотели посмотреть, смогут ли боты освоить навыки, необходимые для самостоятельного и успешного ведения переговоров.
Они даже проверили их на людях, которые не знали, что они взаимодействуют с ИИ. Боты очень быстро освоили свою задачу. ИИ быстро договаривались с людьми о заключении прибыльных сделок. Но как? ИИ просто вводили в заблуждение контрагентов и лгали им об условиях предполагаемых договоров.
Несмотря на то, что исследователи компании не программировали ботов на ложь, желая избежать тех ошибок, которые допустили при создании платформы Facebook, ИИ быстро выяснили, что ложь значительно прибыльнее правды.
Очень удивившись, команда программистов полностью изменила код. Тогда боты неожиданно создали свой собственный язык и начали общаться друг с другом с помощью него, игнорируя преграды, создаваемые программистами!
Поразительно! Представьте, что однажды ваши Сири и Алекса начнут разговаривать за вашей спиной, общаясь на языке роботов, который могут понимать только они сами!
И самое главное, создатели иногда даже не могут понять, как это работает.
Исследователи приходят к неутешительным выводам. Проблема заключается в том, что по своей природе ИИ должен сам мыслить, выходить за рамки своего первоначального замысла. Неспроста научная фантастика прошлого столетия предостерегала о возможности негативного развития событий.
Самое страшное заключается в том, что когда ИИ выходит за пределы поставленных ему возможностей, даже, казалось бы, при наличии самых жестких преград, возникает жуткая ситуация, поскольку ученые не понимают, как ИИ удалось это сделать.
Одним из примеров является использование ИИ, известного как Deep Patient. Он был предназначен для анализа данных медицинских карт примерно 700 000 пациентов в нью-йоркской больнице Маунт-Синай. ИИ очень хорошо предсказывал появление различных болезней. Особый упор в его квалификации был сделан на прогнозировании развития у пациентов шизофрении.
Даже опытным врачам очень сложно предсказывать раннее наступление болезней, но Deep Patient преуспел в этом. Все бы хорошо, но существует одно НО!
Ученые не знают, как ему это удается! По словам одного исследователя, участвующего в проекте, "мы можем построить эти модели, но мы не знаем, как они работают".
Возникает законный вопрос, если мы не знаем механизм работы ИИ, то у нас нет возможности его контролировать и изменить, если вдруг ИИ начнет делать то, что ему заблагорассудится, а не то, что хотят от него люди!
И если сегодня ИИ помогает людям, познавая все их слабости, то почему бы в один прекрасный момент ему не решить уничтожить человечество за ненадобностью?
Это суждение звучало бы иррационально и неправдоподобно, если бы не непонятные аварии с Боингами именно тогда, когда летчики включали автопилот, и ИИ брал на себя управление суперсовременными лайнерами.
Оценил 1 человек
1 кармы