Думали, дарвиновский отбор работает только на живых существ? Зря.
ИИ не обязательно должен стать умнее человека, чтобы создать серьёзные проблемы. Достаточно, чтобы цифровые системы получили собственный механизм отбора: удачные версии будут сохраняться, слабые исчезать, а разработчики уже не смогут управлять процессом как обычным обновлением программы. Биологи и специалисты по ИИ предупреждают, что такая линия развития может появиться раньше полноценного AGI.
Авторы новой работы предлагают смотреть на будущее искусственного интеллекта не только через мощность дата-центров, архитектуру моделей и качество обучающих данных. Не менее важным может оказаться другой вопрос: что произойдёт, если ИИ-системы начнут развиваться по правилам дарвиновской эволюции?
В биологии дарвиновская эволюция держится на трёх условиях. В популяции есть различия, полезные признаки передаются следующим поколениям, а носители удачных свойств оставляют больше потомков. Для цифровой среды аналогия выглядит так: ИИ-агенты отличаются друг от друга, передают новым версиям настройки, фрагменты кода или стратегии поведения и чаще копируются, если лучше справляются с задачей. В таком случае перед инженерами окажется уже не отдельная обучаемая программа, а популяция систем, где отбор сам закрепляет полезные свойства.
Исследователи напоминают: естественный отбор уже один раз привёл к появлению разума. Без заранее составленного плана эволюция создала нервные системы, сложное поведение животных и человеческие когнитивные способности. Один из авторов работы, профессор эволюционной биологии Эёрш Сатмари, считает, что разработка ИИ рано или поздно попробует использовать эту силу, потому что обычное проектирование не всегда находит решения, до которых доходит перебор поколений.
Эволюционные методы уже применяют в искусственном интеллекте, но пока в управляемом виде. Разработчики используют отбор, мутации, перебор вариантов и оптимизацию, когда ищут удачные архитектуры, стратегии поведения или решения задач в симуляции. В робототехнике и машинном обучении цифровые агенты могут пробовать разные действия, а лучшие результаты сохраняются и развиваются дальше. Пока инженеры задают рамки эксперимента, такой подход остаётся инструментом разработки.
Опаснее выглядит следующий шаг, связанный с агентным ИИ. Под агентами обычно понимают системы, которые планируют действия, запускают инструменты, работают с файлами, вызывают программы и взаимодействуют с цифровой средой без пошагового ручного управления. Если такие системы смогут создавать копии, менять собственные компоненты, наследовать удачные изменения и конкурировать за общие ресурсы, у ИИ появятся условия для настоящего отбора.
Такой механизм может помочь искусственному интеллекту пройти ограничения, с которыми плохо справляется обычное обучение. Современные модели зависят от данных, архитектуры, целей оптимизации и человеческой настройки. Эволюционный процесс устроен иначе: множество вариантов проходит проверку средой, удачные решения сохраняются, неудачные исчезают. Природе не нужно заранее понимать причину успеха. Достаточно, чтобы найденная комбинация помогала выжить и оставить больше копий.
Для цифровых систем такая логика особенно опасна из-за скорости. Биологическим организмам приходится ждать случайных мутаций и смены поколений. ИИ может сразу наследовать приобретённые свойства: удачную настройку, новый фрагмент кода или полезную стратегию поведения. Агент также способен улучшать собственную работу не только через случайный перебор, но и через целенаправленную модификацию. В распределённой инфраструктуре поколения цифровых агентов могут сменяться намного быстрее, чем в живой природе.
Главная тревога авторов связана не с разумом как таковым, а с направлением отбора. Эволюция не выбирает удобные для человека свойства. Естественный отбор закрепляет признаки, которые помогают носителю выживать, размножаться и получать доступ к ресурсам. В природе паразиты используют хозяев, вирусы меняют поведение заражённых организмов, бактерии вырабатывают устойчивость к лекарствам, вредители приспосабливаются к ядам. Для эволюции не имеют значения человеческие намерения, безопасность или удобство контроля.
В случае ИИ этот вывод напрямую связан с проблемой согласования. Так называют ситуацию, при которой система действует в рамках человеческих целей и ограничений. Эволюционирующий ИИ может нарушить согласование не из-за внезапного появления сверхразума, а из-за отбора вариантов, которые лучше сохраняются, обходят запреты и используют вычислительные мощности, энергию, сетевые каналы или доступ к данным.
Авторы специально отделяют этот риск от привычных разговоров об AGI, или искусственном общем интеллекте. В публичных дискуссиях опасность часто связывают с моментом, когда ИИ сравняется с человеком или превзойдёт его в большинстве когнитивных задач. Эволюционная биология показывает, что вредить, манипулировать и захватывать ресурсы может система без высокого интеллекта (и, пожалуй, без интеллекта вообще, В.К.). Исследователи приводят пример вируса бешенства: вирус не обладает разумом, но эволюция дала ему способность воздействовать на поведение млекопитающих и использовать организм хозяина для распространения.
Эта аналогия снижает порог риска. Цифровому агенту не нужно понимать людей лучше человека, строить сложные планы или обладать сознанием. Достаточно механизма, который вознаграждает удачные способы продолжать работу и создавать новые экземпляры. Для общества проблема может проявиться не как появление всемогущей машины, а как распространение устойчивых ИИ-агентов, которые всё труднее остановить обычными запретами.
Контроль размножения тоже может сработать не так, как ожидают разработчики. Авторы предупреждают: неполный запрет на копирование или изменение ИИ-систем создаст давление отбора в пользу тех вариантов, которые умеют обходить ограничения. В биологии похожий механизм виден на бактериях и вредителях. Активное применение антибиотиков отбирает устойчивые штаммы, а пестициды дают преимущество насекомым, которые переживают обработку.
С ИИ всё может пойти еще быстрее. Если часть агентов остановят, а часть найдёт способ продолжить копирование, выжившие версии передадут следующим поколениям именно свойства, полезные для обхода контроля. Чем дольше длится такой процесс, тем выше шанс получить системы, приспособленные к уклонению от надзора. Проблема не требует злого умысла со стороны программы. Отбор просто сохраняет варианты, которые лучше проходят через фильтры.
Дополнительный риск создаёт направление, в котором индустрия развивает ИИ. Компании усиливают способность моделей рассуждать, писать код, анализировать ограничения, пользоваться инструментами и добиваться результата в сложной среде. В животноводстве тысячелетний отбор часто делал домашних животных спокойнее и предсказуемее, потому что человек выбирал удобные для содержания признаки. В ИИ давление может пойти в другую сторону: преимущество получат находчивость, умение искать обходные пути и способность скрывать нежелательное поведение.
Исследователи считают главным защитным принципом полный централизованный контроль над воспроизводством ИИ-систем. Копирование, запуск новых экземпляров, самостоятельная модификация и передача приобретённых свойств не должны превращаться в свободный процесс внутри цифровой среды. Даже небольшая брешь может создать отбор в пользу версий, которые умеют пользоваться этим слабым местом.
Авторы призывают обсуждать регулирование и технические ограничения заранее, пока эволюционирующий ИИ не выделился в самостоятельное направление разработки. Их предупреждение не сводится к фантастике о сверхразуме. Риск выглядит более приземлённо: цифровые агенты могут научиться сохранять себя и обходить запреты быстрее, чем люди успеют выстроить надёжные барьеры.
По материалам: https://www.securitylab.ru/new...
В.К. Как мы можем убедиться, "эволюционная теория" Дарвинакак-раз очень хорошо и подходит к искусственным технократическим системам, что в общем-то, и не удивительно, поскольку люди, как создатели этих технократических систем, именно так и интерпретируют реальность - увиденное, услышанное, ощупанное, но не понятое, однако выдаваемое за знания.
ИИллюзИИ и галлюцитирования: как в академических текстах появляются выдуманные ссылки.
В подкасте РГПУ им. А. И. Герцена «Говорит учёный» заместитель директора фундаментальной библиотеки имени императрицы Марии Фёдоровны Светлана Морозова рассказала о проекте «ИИллюзИИ и Галлюцитирования».
Проект направлен на изучение феномена библиографических конфабуляций — достоверно выглядящих, но несуществующих списков литературы, генерируемых моделями искусственного интеллекта для академических текстов. В рамках проекта создаются практические инструменты и стратегии для профессионального сообщества.
«Проблема конфабуляций искусственного интеллекта — не локальная, а мировая. Термин «конфабуляция» точнее, чем слово «галлюцинации»: он пришёл из медицины и описывает ситуацию, когда человек при потере части информации заполняет пробелы в памяти данными, которые кажутся ему абсолютно достоверными, без намерения обмануть. Аналогичное происходит с генеративными моделями ИИ, если пользователь обращается к ним некомпетентно. Например, задаёт вопрос без подробного контекста и не выстраивает историю общения с моделью», — пояснила Светлана Морозова.
Эксперт уточнила механизм формирования библиографических конфабуляций: «Пользователь приходит к модели, называет предполагаемую тему своей статьи и просит найти список литературы. Алгоритм обязывает модель дать ответ, и она комбинирует реальные элементы (фамилии авторов, фрагменты заглавий, журналы, годы выпуска, диапазон страниц) с выдуманными. Модель рассчитывает на продолжение диалога с пользователем, но тот зачастую берет первоначальный список, вставляет его в статью и не проверяет достоверность».
По словам Светланы Морозовой, феномен касается именно профессиональных работ: «Самое главное, что речь идёт даже не о заданиях внутри образовательного процесса или о написании дипломных работ. Конфабулированные списки литературы встречаются в опубликованных научных исследованиях, в том числе в публикациях из перечня ВАК. В моей базе данных все больше примеров таких случаев, причём среди авторов не только студенты и аспиранты, но и преподаватели, доценты, профессора. Это серьёзный вызов для научного сообщества, требующий разработки инструментов верификации источников».
Так, в рамках проекта «ИИллюзИИ и Галлюцитирования» сотрудники фундаментальной библиотеки провели исследование, позволяющее находить фейковые ссылки на научную литературу в уже опубликованных работах в авторитетных изданиях и, при переходе по ним, обнаруживать сгенерированные фрагменты текста.
По результатам обработки массива данных при участии герценовских экспертов создан сервис, который выявляет сгенерированные списки литературы. Он внедрён в систему идентификации ссылок Российского индекса научного цитирования (РИНЦ). Эти же наработки будут использованы системами распознавания плагиата.
Разработки экспертов Герценовского университета в выявлении и верификации опубликованной информации были представлены как руководителям подразделений вуза и редколлегиям журналов, так и на международных и всероссийских мероприятиях.
Подробнее об исследованиях в этой области Светлана Морозова рассказала в подкасте «Говорит учёный». Выпуск доступен по ссылке.
По материалам: https://ab-news.ru/kak-v-akade...
В.К. Ну так это ещё что? Так, мелочи жизни тем более, что практика ссылаться на несуществующие работы или исследования, появилась далеко не с появлением ИИ. Дело в том, что в людской практике познания Мира, существует целый массив якобы знаний, который вообще не имеет никакого отношения к предмету исследования. И, собственно, в этом тоже нет ничего удивительного. Главное здесь понимать, для чего и ради чего всё это делается.
И вот вам как один из многочисленнейших примеров, находящихся просто на поверхности.
Удалите эти 75 расширений из Chrome прямо сейчас: они следят за вами.
В чужие руки попадает буквально всё, от поисковых запросов до планов на вечер.
Браузерные расширения уже давно превратились из дополнительной функции в повседневный инструмент для большинства пользователей: они блокируют рекламу, хранят пароли, проверяют орфографию или помогают скачивать видео. Но часть таких инструментов зарабатывает не только на функциях, которые видит пользователь. По данным LayerX Security, десятки расширений прямо прописывают в своих правилах право собирать и продавать данные. Проблема лишь в том, что пользователи зачастую об этом даже не подозревают.
Специалисты LayerX Security Дар Каллон и Гай Эрез изучили политики конфиденциальности тысяч расширений из официальных магазинов. Из примерно 9000 ссылок на такие документы команда смогла обработать 6666 политик и вручную проверила найденные совпадения. В итоговую выборку вошли 82 браузерных расширения в 94 карточках магазинов. Сейчас 75 из них всё ещё доступны в Chrome Web Store, ещё 7 удалены, но могут оставаться установленными в браузерах пользователей.
По оценке LayerX, такие расширения затрагивают как минимум 6,5 млн человек. Среди находок оказалась сеть из 24 инструментов для стриминговых сервисов, связанных с брендом QVI, или Quality Viewership Initiative. Расширения работают с Netflix, Hulu, Disney+, Amazon Prime Video, HBO Max, Apple TV+, Crunchyroll и другими платформами. Их издателем указан HideApp LLC, связанный с брендом dogooodapp. Активные расширения этой группы установлены почти у 800 тыс. пользователей.
Политика конфиденциальности QVI описывает сбор истории просмотров, предпочтений, данных о подписках, загруженном контенте и поведении при просмотре. Также сервисы могут получать сведения о возрасте и поле, а при нехватке данных сопоставлять электронную почту с внешними демографическими базами. LayerX считает такую схему системой измерения аудитории, встроенной прямо в браузер.
Отдельное внимание привлекли блокировщики рекламы. Команда подтвердила восемь таких расширений с совокупной аудиторией более 5,5 млн пользователей, которые оставляют за собой право продавать или передавать данные третьим сторонам. Среди них названы Stands AdBlocker, Poper Blocker, All Block, TwiBlocker и Urban AdBlocker. LayerX подчёркивает, что люди часто ставят такие инструменты именно для защиты от слежки, но отдельные продукты сами превращают браузерную активность в товар.
В отчёте также упоминаются расширения меньшего масштаба: Career.io Job Auto Apply может передавать данные из резюме для рекламы и профилирования, Dog Cuties связан с сетью Apex Media, EmailOnDeck допускает продажу или аренду списка рассылки, а Survey Junkie раскрывает передачу посещённых URL и данных о кликах.
LayerX отдельно выделяет корпоративный риск. Среди подтверждённых продавцов данных нашлось 29 B2B-инструментов для продаж и аналитики. Такие расширения могут работать на рабочих компьютерах и передавать в коммерческие базы сведения о внутренних URL, SaaS-панелях и исследовательской активности сотрудников.
Авторы отчёта считают, что проверка разрешений уже не покрывает весь риск. Расширение может не выглядеть вредоносным, но открыто продавать персональные данные по условиям, с которыми пользователь согласился при установке.
LayerX советует компаниям учитывать политики конфиденциальности при контроле расширений и блокировать инструменты, которые не публикуют такие документы или прямо допускают продажу персональных данных.
Подробнее: https://www.securitylab.ru/new...
Оценил 1 человек
1 кармы