Инженер Роберт Карузо (Robert Caruso), организовавший шахматные партии между Atari Chess и передовыми системами ИИ OpenAI ChatGPT и Microsoft Copilot, решил проверить способности Google Gemini. Это было логичным шагом, поскольку ChatGPT и Copilot в некоторой степени являются родственными — обе системы построены на платформе OpenAI, тогда как Gemini — принципиально иная мультимодальная большая языковая модель, разработанная Google.
Обсуждая предстоящую партию, Gemini заявил, что почти наверняка победит Atari Chess, отметив, что «та даже близко не является большой языковой моделью».
Чат-бот от Google утверждал, что «больше похож на современный шахматный движок, <…> который умеет просчитывать миллионы ходов вперёд и оценивать бесконечное количество позиций». В ответ на это инженер указал, что ChatGPT и Copilot тоже поначалу хвастались своими способностями и предсказывали лёгкую победу, но в итоге проиграли изрядно устаревшей системе.
Это резко изменило поведение Google Gemini — чат-бот признал, что преувеличил своё шахматное мастерство, и в действительности ему «будет очень трудно противостоять игровому движку Atari 2600 Video Chess». В итоге ИИ заявил, что «с точки зрения времени самым эффективным и разумным решением, вероятно, будет отмена матча». Так, запущенный инженером симулятор Atari 2600 с процессором на 1,19 МГц и всего 128 Кбайт оперативной памяти отпугнул Google Gemini, который не сделал ни единого хода. С другой стороны, чат-бот впечатлил своей способностью заранее оценивать собственные возможности.
«Добавить такие проверки в реальных условиях — это не просто способ избежать забавных ошибок в шахматах. Речь о том, чтобы ИИ стал более надёжным, заслуживающим доверия и безопасным — особенно в критических обстоятельствах, где у ошибок могут быть серьёзные последствия. Чтобы ИИ оставался крепким инструментом, а не бесконтрольным оракулом», — прокомментировал исследователь результаты эксперимента.
Оценили 5 человек
4 кармы