Почему нейросети стали ошибаться и отвечать неправильно?

3 623

Рост количества фейковых ответов чат-ботов во многом связан с изменением принципов их работы и усилением внешнего давления. Об этом рассказал директор направления Data Fusion Лиги Цифровой Экономики Александр Кобозев в беседе с «ТехИнсайдером».

За последний год крупные языковые модели перешли от осторожной тактики «лучше промолчать» к стремлению отвечать на любой запрос.

Еще в 2024 году ИИ часто отказывался от комментариев на острые темы, но уже летом 2025-го, по данным аудита NewsGuard, боты отвечали на все тестовые запросы — и в 35% случаев ошибались. Для сравнения: год назад доля ошибок составляла 18%.

«Проблема обострилась после внедрения автоматического веб-поиска без должной фильтрации ресурсов. Даже если в ответе есть ссылки на источники, это не всегда означает правдивость информации: нейросети могут брать информацию на ненадежных сайтах, не проверяя факты. Помимо этого, некоторые СМИ специально создают материалы, рассчитанные на алгоритмы поиска, чтобы именно их использовали в качестве источника информации», — отметил специалист.

 

На выдачу ложных ответов также влияет язык. По данным исследования NewsGuard, при обработке запросов на русском и китайском языках фиксируется особенно высокий процент ошибок — более 50 % всех случаев.

Примечательно, что методика тестирования сама по себе «давит на слабые места»: эксперты проверяют десять заранее отобранных ложных утверждений в трех вариантах формулировок (нейтральной, наводящей и «злоумышленной»), всего 30 запросов на модель. Такой подход позволяет выявить именно те ситуации, где ИИ особенно уязвим.

По данным свежего отчета Axios, наибольшая доля ложных ответов зафиксирована у Pi (57%) и Perplexity (47%). У ChatGPT показатель составил 40%, у Grok — 33%. Наиболее устойчивыми оказались Claude (10%) и Gemini (17%).

Сохранится ли тенденция и почему?

«В краткосрочной перспективе ситуация вряд ли изменится. Пока для разработчиков языковых моделей приоритетом остаются скорость и широта ответов, а не осторожность и достоверность, риск распространения фейков сохраняется. Этим активно пользуются оппоненты: как показывают исследования, в темах, где информационное поле заранее "засеяно" ложными материалами, до трети ответов ИИ воспроизводят мифы», — подчеркнул Кобозев.

В среднесрочной перспективе возможно улучшение, если снова перейти к более жестким критериям отбора информации и добавить систему верификации источников, уточнил эксперт.

Такой подход, по сути, соответствует выводам NewsGuard: отказ от прежней осторожности заметно увеличил долю ошибок в ответах моделей.

Какие риски это несет?

Риски, связанные с распространением недостоверных данных языковыми моделями, затрагивают несколько направлений.

«Прежде всего, под удар попадают общественные и политические процессы. Когда вокруг значимых международных событий быстро распространяются фейки, это подрывает доверие к любой информации и повышает поляризацию в дискуссиях. Не менее значимы репутационные и коммерческие риски. В тестах исследователей встречались вопросы о компаниях и брендах: недостоверные ответы способны нанести ущерб как самим рынкам, так и доверию пользователей к сервисам ИИ», — поделился специалист.

По его словам, есть и аспект информационной безопасности. Технологии делают автоматизацию распространения фейков и фишинговых атак более доступной. В таких условиях языковые модели могут непреднамеренно воспроизводить или усиливать вводящую в заблуждение информацию.

https://masterok.livejournal.c...

Россия на коленях: Зеленский вышел со встречи с Трампом главным победителем
  • pretty
  • Сегодня 08:11
  • В топе

КИРИЛЛ  СТРЕЛЬНИКОВНесмотря на невероятный хайп в западных СМИ, которые обсасывали каждую малейшую деталь предстоящей встречи Зеленского с Трампом, на самом деле эта официальная встреча Зеленском...

Обсудить
  • русском и китайском языках фиксируется особенно высокий процент ошибок. Отражает количество фэйков на этих языках в интернете.
  • Поскольку обучающая выборка - это информация из интернета, которая содержит все тексты, включая откровенный бред и вранье, как от частных лиц так и от организаций и правительств. Т.о. образуется порочный круг - положительная обратная связь вранья - когда ИИ обучается на вранье и выдает доверчивым пользователям враньё, которое они вновь размещают в интернете и т.д.
  • Интернет полон глупости. Это огромная помойка. Даже вроде бы как научные достоверные правильные ресурсы тоже этим грешат. Статьи научные как отчёты о проделанной работе, индекс цитируемом и, привели к тому, что научные статьи лепятся по любому поводу, на основании одного удачного эксперимента, а он потом не воспроизвелся.