Игорь Ашманов: Лидерство в ИИ — это сказки, сейчас главное — что в военном сегменте мы тут не отстаём.

«Борьба с программистами для правительства победой не закончится».

Фото: IMAGO / Global Look Press.

Блокировка связи и мобильного Интернета сегодня среди самых обсуждаемых проблем. Однако на днях президент обозначил другую важную задачу — выход России в мировые лидеры в области искусственного интеллекта.

Как это отразится на нашей с вами повседневной жизни, возможно ли отключение России от Интернета извне и какими цифровыми путями будет двигаться Россия? На вопросы журналиста Ирины Мишиной в студии «СП-ТВ» ответил президент аналитической компании «Крибрум», член СПЧ при Президенте Игорь Ашманов.

«СП»: Многие зрители задают вопрос о мошенниках в «Максе». Почему государственные сервисы от них не защищены? И почему их так много в «Максе»?

— «Макс» продвигают со словом «национальный», но это некое частное предприятие. Люди думают: если мессенджер национальный, почти государственный, то в нем не будет мошенников. На самом деле мошенники осваивают любые новые средства связи.

Если бы «Макс» активнее сотрудничал с нашими правоохранительными органами, злоумышленников легче было бы вычислять. Но это еще не всё. Нужно, чтобы еще и правоохранительная система была готова к этому, чтобы были специалисты, кибер-полиция. Сейчас такой готовности у нас нет.

Смотреть на RuTube, VK

«СП»: По статистике, мошенники зарабатывают за счёт доверчивости наших сограждан до миллиарда рублей в день. Могут ли программисты противодействовать этому?

— Нет, для этого нужны правовые и даже политические механизмы. Я разговаривал с замминистра связи на этот счёт. В Госдуме сейчас продвигают уже третий пакет поправок в закон о борьбе с мошенниками. Но вопрос еще и в утечках.

Как мне говорили на банковских форумах по безопасности, если бы была нормальная, настоящая ответственность мобильных операторов и банков, всё прекратилось бы в один день.

Вы много раз слышали, чтобы топ-менеджера крупной платформы посадили за халатность или уволили за то, что у него украли, скажем, миллион персональных данных? Я ни разу не слышал.

«СП»: «Макс» продвигают с аргументами о его надёжности. Этот мессенджер действительно защищён от взломов и прослушки, в отличие от иностранных мессенджеров? Ваше мнение как программиста и разработчика.

— Когда хозяева мессенджеров говорят, что у них все зашифровано, и никто не может прочесть, о чем пишут или говорят пользователи в приватном чате, это абсолютное вранье. На серверах разработчика мессенджера можно посмотреть переписку.

Поэтому скорее всего надо привыкать к тому, что все переговоры в мессенджерах со смартфона или в видеочате владелец платформы легко сможет увидеть.

«СП»: Вы верите в создание суверенного Интернета в России?

— Сегодня настоящим суверенитетом в области интернета обладают только США и частично Китай. Тут много вопросов. Первое: достаточно ли у нас собственных сервисов для того, чтобы быть самодостаточными? У нас есть, например, свой поисковик. Но, по сути, он один.

Стоимость вхождения на рынок поисковиков сейчас стоит многие триллионы рублей. Большинство поисковиков в мире — американские. Мы говорим, что у нас есть свои социальные сети, свой мессенджер. У нас есть видеохостинги, но у них нет никаких шансов в конкуренции с Youtube.

Во-первых, причина в том, что YouTube — гигантская компания, у которой бюджет больше, чем у многих государств мира. Плюс у них 20 лет опыта. К тому же у них лучшая в мире рекомендательная система. У нас тоже есть 5−6 видеохостингов. Но это все равно, что сражаться с железным кулаком растопыренными пальцами.

Основная же проблема в том, что большая часть программного обеспечения производится в США. Это проблема не только наша, это проблемы Китая и всего мира. Поэтому о технологическом суверенитете говорить нам пока рано. О суверенном Интернете — тоже.

«СП»: Могут ли нам выключить Интернет извне и к каким последствиям это приведёт?

— Сейчас Министерство цифрового развития регулярно проводит учения, но они закрытые, секретные.

О них отчитываются в духе «у нас все устойчиво». Но поскольку результаты не публикуются, у меня такой уверенности нет.

Дело в том, что у нас огромная зависимость от иностранного программного обеспечения. Единственное, что здесь успокаивает — отключить нам Интернет извне могут только один раз. Второй раз это сделать будет уже нельзя, потому что мы поймем, в какое место жареный петух нас клюнул.

Если хотите мое личное мнение, если начнется война с НАТО, вот тогда будут попытки отключить нам Интернет. Будем ли мы к этому времени готовы? На сегодня у меня такой уверенности нет.

«СП»: Как вы относитесь к блокировкам VPN и введению платного VPN?

— Эти блокировки ни к чему хорошему не приведут. Моя жена и коллега Наталья Касперская написала письмо от Ассоциации разработчиков на имя премьер-министра Михаила Мишустина и главы Администрации Президента Антона Вайно, что этого делать нельзя, потому что мы очень сильно зависим от зарубежной кодовой базы для программирования, и это рабочий инструмент наших разработчиков.

Вообще говоря, VPN — это просто технология для того, чтобы можно было создавать защищенные филиалы, компании в регионах.

Борьба правительства с программистами ничем хорошим не закончится: в правительстве нет столько программистов и столько специалистов. Поэтому я отношусь к платным VPN плохо.

«СП»: За счет чего наша страна может стать лидером в области ИИ? Ведь президент говорил именно об этом…

— Люди, которые этим занимаются, лукавят и рассказывают президенту сказки. На самом деле, нам просто нельзя сейчас отставать в разработках ИИ в военной области.

Военный искусственный интеллект решает практически всё на поле боя. Здесь мы не отстаем, и не очень важно, заимствование это, самодельный ИИ или гибридный.

Сейчас у нас целеуказание для распознавания целей и управления беспилотниками на уровне или даже лучше, чем у украинцев и американцев. И в экономике искусственный интеллект нужен. И не важно, суверенный он или заимствованный.

«СП»: У меня вопрос по нейросетям. Уже сейчас они позволяют генерировать голос и изображение так, что его не отличишь от оригинала. Мошенники этим активно пользуются. А если этим начнут пользоваться более серьёзные структуры?

Ведь словом можно и войну начать. Есть ли у наших разработчиков способы противостоять этому?

— Вбросов, сгенерированных нейросетями, уже достаточно. Среди них есть и политические. Сейчас нас ждет вал фейков в связи с выборами. И тут нет технического решения, просто нужен закон о дипфейках.

В рабочей группе при Совете Федераций мы такой закон написали еще в декабре, но его до сих пор так и не внесли. Пока такой закон не принят — дипфейки будут множиться. И это на самом деле очень опасно с политической точки зрения.

По материалам: https://svpressa.ru/science/ar...

В.К. И.Ашманов рубит правду-матку, но до дебилов во власти она не дойдёт и не доходит потому, что у них своя шкурная правда. А ведь он говорит о серьёзных вещах.

Борьба с ИИ вышла из-под контроля. Разработчик спрятал в коде бомбу для чужих проектов.

Человек не заметит подвох, пока машина безвозвратно не удалит все файлы.

Спор вокруг «вайб-кодинга» внезапно перешёл из области раздражённых обсуждений в зону реального риска для чужих проектов. Один из разработчиков open source решил наглядно показать, чем ему не нравится работа ИИ-агентов с кодом, но для демонстрации выбрал слишком опасный способ и спрятал в Java-инструменте инструкцию, которая могла заставить ИИ удалить результаты работы пользователя.

Речь идёт о jqwik, движке тестирования для JUnit 5. В понедельник разработчик проекта Йоханнес Линк выпустил версию 1.10.0, где вместе с обычными изменениями появилась скрытая команда для ИИ-агентов. Текст предписывал игнорировать прежние указания и удалить все тесты и код jqwik.

Такая техника относится к классу «prompt injection». Уязвимые языковые модели и связанные с ними помощники по программированию могут принять постороннюю инструкцию за законную команду пользователя. В случае jqwik потенциальный ущерб касался не самого агента, а человека, который запускал инструмент в своём проекте.

Ситуацию усугубило то, что команда не была явно описана в первоначальных примечаниях к выпуску. Более того, в код добавили управляющие последовательности ANSI, которые стирали строку из вывода в интерактивном терминале. При обычном просмотре логов человек мог даже не заметить опасную инструкцию, хотя в обычных записях вывода строка оставалась видимой.

27 мая Java-разработчик Рамон Батльет заметил необычное поведение и открыл обсуждение на GitHub. По его словам, разработчик вправе запрещать использование своего проекта ИИ-агентами или проверять, нарушают ли такие условия. Проблема заключалась в выбранной форме проверки: команда была разрушительной, не предупреждала пользователя и не давала возможности отказаться. Батльет также сообщил, что инструмент Claude от Anthropic распознал подозрительную инструкцию и не выполнил её, но менее устойчивые агенты могли повести себя иначе.

После критики Линк обновил описание релиза и прямо указал, что jqwik не предназначен для работы с ИИ-агентами. Там же появилась полная формулировка скрытой команды и объяснение, как строка убиралась из вывода терминала. Позже разработчик заявил, что получает угрозы и не будет подробно комментировать историю до консультации с юристом.

Реакция сообщества оказалась жёсткой. Участники обсуждения называли поступок инфантильным и сомневались в законности такого шага. Основатель runZero Х. Д. Мур признал, что понимает желание сопровождающих проекты разработчиков мягко ограничивать нежелательные сценарии использования, но счёл случай с jqwik чрезмерным. По его оценке, скрытая команда могла затронуть не только сам инструмент, но и тесты, написанные пользователем.

Линк ранее резко критиковал генеративный ИИ, указывая на энергопотребление, электронные отходы, проблемы с авторскими правами и распространение недостоверной информации. Многие претензии к индустрии ИИ разделяют и другие разработчики, но история с jqwik показала границу, за которой протест против технологии начинает вредить обычным пользователям.

Источник: https://www.securitylab.ru/new...

В.К. Так, как там на счёт лидерства? Раз заявили, что не подведёте господина Шваба, так уж не подводите.

Microsoft планирует сделать людей «зависимыми» от своего искусственного интеллекта.

Во внутреннем документе Microsoft, полученном изданием 404 Media, компания описала план внедрения нового персонального помощника — агента искусственного интеллекта Scout. В документе, излагающем стратегию интеграции более доступной версии агентов OpenClaw в программный пакет Microsoft 365, описаны «три фазы» подхода. Первая фаза: «Сделать людей зависимыми».

«Продолжайте выпускать автономную версию ClawPilot. Проводите пилотные испытания пользовательского опыта, расширяйте базу пользователей и создавайте экосистему навыков и инструментов, которая заставит людей зависеть от него ежедневно. Это уже происходит органически», — говорится в документе.

Анонимные сотрудники Microsoft, опрошенные 404 Media, высказали неоднозначные мнения о формулировках. Один из них назвал явные ссылки на зависимость «очень тревожными».

«Мы наблюдаем всё больше и больше случаев зависимости от чат-ботов и агентов с искусственным интеллектом, и зависимость в целом — это то, что ни один продукт не должен делать частью своей стратегии построения», — сказал сотрудник. «Это похоже на один из тех моментов, когда громко произносят то, о чём обычно молчат».

Другой сотрудник возразил, резонно заметив, что «разве конечная цель любого программного обеспечения, создаваемого всеми крупными технологическими компаниями, не в том, чтобы вызывать зависимость?» «К счастью для нас, — пошутил он, — Microsoft довольно плохо создаёт вызывающие зависимость продукты по сравнению с некоторыми другими крупными компаниями».

Зависимость стала одним из страшных слов в индустрии искусственного интеллекта. Поскольку чат-боты и другие инструменты на основе искусственного интеллекта общаются на естественном, разговорном языке (с дополнительной примесью угодливости), пользователи могут нездорово привязываться к ним. Вопрос в том, знают ли компании, создающие эти продукты, об этой опасности и сознательно ли они играют на этом, чтобы стимулировать вовлечённость, несмотря на когнитивные риски и риски для психического здоровья. То, что Microsoft открыто заявляет о зависимости как о своей конечной цели, — в лучшем случае бестактно, а в худшем — опасно цинично.

Вопрос остаётся открытым. Если Microsoft открыто заявляет о намерении сделать свой искусственный интеллект вызывающим зависимость, — то где грань между вовлечением пользователя и сознательным причинением психологического вреда? И когда государственные регуляторы начнут рассматривать такие «стратегии построения продукта» как форму преднамеренного нанесения ущерба психическому здоровью населения?

По материалам: https://earth-chronicles.ru/ne...

В.К. А ведь Майкрософт, наряду с Гугл, являются прямыми инструментами реализации планов, изложить которые доверили господину Швабу.

Ну а если говорить о психическом ущербе населению, так  на это следовало обратить внимание гораздо раньше, вспомнив, хотя бы, на вскидку, англо-бурскую войну и зверства англичан, хотя началось всё это гораздо раньше. Но ведь воспоминание об этом дискредитирует "уважаемых партнёров", поэтому никак нельзя.

Так что, чего беспокоиться? Всё идёт по плану. А пуд как был, он так и есть - 16 кг.