ChatGPT провалил тест на ручник

29 1502

Сегодня мы повсеместно читаем оды т.н. «искусственному интеллекту» под которым почти неизменно и безальтернативно предлагается понимать ChatGPT. Сам ChatGPT называет себя так, если его спросить об этом.


Очень пафосное заявление

При всём пафосе создаваемом вокруг ChatGPT, единственная задача которую решают его алгоритмы: предсказание следующего слова исходя из предыдущего контекста. Для этого используется нейросеть оценивающая вероятность возникновения тех или иных слов в предложении, а попадание выдачи в ожидание пользователя связано только и исключительно с текстами в использованных справочниках. Алгоритмы выдающие эталонные формы предложения не занимаются анализом, не имеют никакого отношения к мышлению вообще и искусственному интеллекту в частности, просто потому что содержание сформированной выдачи им «безразлично».

ChatGPT стал вторым чат-ботом, прошедшим широко известный Тест Тьюринга. Это значит, что во взаимодействии с ним судейской коллегии было невозможно определить общаются ли они с человеком или программой. Вдохновлённые таким несомненным успехом, а также свободным доступом к боту предоставленном в OpenAI, многочисленные «уверовавшие в ИИ» начали наперебой предлагать приткнуть бота во все возможные ниши: от программирования до медицинских диагнозов. Даже поисковые системы забили тревогу в ожидании того, что бот подвинет их в предложении услуг поиска информации. На самом деле все эти ожидания не имеют под собой абсолютно никаких оснований. Ниже проиллюстрирую этот факт на конкретных примерах.

Ещё в нашем советском детстве был широко распространён «тест на интеллект» применяемый к соседским мальчишкам. Попробуем применить разные его формулировки на ChatGPT.


Тест "на ручник"

Тест на ручник, "красный стоп-кран"


В этом ответе прекрасно всё. В справочнике бота хранятся связанные тексты:

«красный» => «для лучшей видимости», «сигнализирует»

«стоп-кран» => «необходимость немедленного прекращения работы двигателей»

Неважно что речь идёт о самолёте. Запомним это.

Но есть ещё вторая популярная формулировка (добивающая):

Тест на ручник, "синий стоп-кран"


Боту безразлично какого цвета «стоп-кран» на самом деле. Он просто переписал поток информации поступивший на вход (в форме утверждения) и расшифровал его из справочника.

Тест на ручник, "стоп-кран на велосипеде"


Думаю, что помещение «создателем» в справочник ChatGPT заявления о том что бот «является искусственным интеллектом» было по меньшей мере самонадеянным и фактически преследовало маркетинговые задачи.

Советский «Тест на ручник» ChatGPT явно провалил.

На этом можно было бы и закончить. Но говорят что этот бот хорош в решении математических задач. Попробуем задать простую задачу.


Задача "Про уток"

Уток летело пять (правильный ответ - три)


Также как и в проваленном ранее «тесте на ручник», ChatGPT выдаёт нам наш же вопрос (заданный в форме утверждения) за ответ дополнив расшифровкой. Расшифровка здесь стала вычленением из текста строк с числами с последующим их сложением (и оказалась фатальной). Но говорят, я не умею писать «промпты» и здесь надо добавлять магическую фразу «подумай хорошо».

Подумай хорошо. Пять уток превращаются в шесть


Магия «подумай хорошо» сработала и вызвала «бога поиска в тексте комбинаторики». Неверный ответ 5 превратился в неверный ответ 6. Давайте исключим эти ответы в «промпте».

Бог комбинаторики настаивает что уток - шесть


Нет, это не удастся сделать. Иначе как ChatGPT сможет сформировать ответ? Предлагаю просто сказать боту какой ответ — правильный.

Это сложней чем смысл жизни и всего такого


К сожалению, боту безразличны правильность или неправильность. Он не занимается анализом, он занимается — построением предложений. И этот генератор очень просто поставить в тупик, заставить извиняться шаблонами и т.д. У меня есть ещё порядка 50 таким же образом заваленных ChatGPT задач, но для иллюстрации достаточно и этой.


Кому сегодня нужен ChatGPT?

Достаточно анекдотичны попытки использования ChatGPT в качестве навигатора: это задача с которой он справиться не способен в принципе. И дело здесь не в том, что его отключили от сети Internet в 2021 году, а в том, что входной поток данных не имеет для этого достаточно информации. В результате ChatGPT создаёт фантазийные маршруты из справочников не подвергая сомнению пункт назначения.

Театр географического абсурда

Использование ChatGPT вместо поисковых систем может приводить к любым результатам.

Лучшая закуска к пиву - гипс


Единственное применение которое реально доступно для ChatGPT в общественной жизни: это написание ответов гражданам пишущим жалобы на «Госуслугах» и т.п. ресурсах.

Это то чего надо на самом деле бояться


Взято отсюда

«Всё! ВСУ побежали!»: Наши взяли Петровское

Войска Зеленского, несмотря на ввод в бой американских танков, не смогли остановить стремительное продвижение армии РоссииГлаве Минобороны РФ Сергею Шойгу в ходе инспекции группировки в...

Прилет ФАБ-1500 в пункт временной дислокации в Красногоровке

По данным разведки, на предприятии в 3,5 километра западнее Марьинки находился пункт временной дислокации местного гарнизона. Здесь базировалось до 350 военнослужащих, 6 единиц бронетех...

Договор об объединении Германии может быть денонсирован: в Совете Федерации поддержали инициативу о признании документа недействительным

Глава крымских немцев Юрий Гемпель призвал денонсировать договор с Германией от 1990 года, известный также как договор «Два плюс четыре», поскольку он давно не реализуется и нарушается руководством ФР...

Обсудить
  • Юзал я этого бота,был бы он человеком назвал бы его тупым пользователем спрааочной литературы. Алгоритм заложенный в него не может отличить ложное от неложного,когда же указал на это то получил ответ,что он способен распознавать фейковые сайты. Проблема в том что давая ответ из используемой им базы он повторил ложное, заложенное в эту базу. То есть не может различить лжи которая содержалась в используемой им информации. Как то так..
  • :smiley:
  • "..Единственное применение которое реально доступно для ChatGPT в общественной жизни: это написание ответов гражданам пишущим жалобы на «Госуслугах» и т.п. ресурсах. .." :thumbsup: :thumbsup: :thumbsup: :thumbsup: :smile:
  • "..«стоп-кран» => «необходимость немедленного прекращения работы двигателей».." Бред собачий!! Он на то и "кран", что открывается для сброса давления в пневматической тормозной системе железнодорожного состава, что вызывает его немедленную остановку даже при работающих на полную мощность двигателях. :smile:
  • Искуственный интеллект - это такая же хрень как резиновая женщина - интеллекта там нет и им не пахнет - тк у него нет чувств - нет осознания