Падение OpenAI, Google и Anthropic с Эвереста данных

Синдром Эвереста — это понятие введенное в 1994 году Маддуксом. Понятие основано на примере непреодолимого желания Джорджа Мэллори, олимпийского чемпиона по альпинизму, погибшего в 20-х годах прошлого века при попытке покорить Эверест, оно описывает тенденцию, согласно которой учителя и преподаватели будут использовать новую технологию, особенно, связанную с Интернетом, для учебного процесса исключительно потому, что она существует, без любых видимых на то причин. Также оно описывает токсичное воздействие избыточного количества информационных ресурсов и различных инструментов, доступных в Интернете.

Вот с этим то сетевым синдромом столкнулись три ведущие компании в области искусственного интеллекта OpenAI, Google и Anthropic, для них начался период ощутимого снижения отдачи от своих дорогостоящих усилий по разработке новых систем ИИ. Новая модель OpenAI, известная как Orion, не достигла желаемой компанией производительности, предстоящая итерация Google Gemini не оправдывает ожиданий своих создателей, у Anthropic те же самые трудности привели к отставанию в графике выпуска их новой модели Claude.

После бурного спурта нейронок типа ChatGPT появилась тенденция продвигать всё более сложные продукты ИИ, предлагая их бизнесу и населению. Но новые сложные нейромодели несут с собой разочарование для всех участников процесса. Становится все труднее находить свежие, ещё неиспользованные источники высококачественных данных для обучения более продвинутых систем ИИ. Массовость использования нейронок с неконтролируемым масштабированием результатов их использования, фактически исчерпывающим образом сказалось на доступности качественных данных для обучения новых систем ИИ.

Так, OpenAI утверждала, что находится на пороге важного достижения, в этом сентябре завершился начальный раунд обучения для новой масштабной модели Orion, которая должна была приблизится к созданию мощного ИИ, превосходящего людей. Но ожидания компании, по утверждению осведомлённых источников, не оправдались. Orion не смогла продемонстрировать прорыва, который ранее показала модель GPT-4 по сравнению с GPT-3.5. А предстоящая итерация Google Gemini и вовсе не оправдывает ожиданий, как пользователей, так и инвесторов. В Anthropic по тем же причинам столкнулись с отставанием в графике выпуска своей улучшенной модели Claude под названием 3.5 Opus.

Все эти три компании придерживаются принципа «чем больше, тем лучше». В стремлении создавать и продвигать продукты, приближающиеся к уровню человеческого интеллекта, технологические компании увеличивают объём вычислительной мощности, данных и времени, затрачиваемых на обучение новых моделей, что приводит к росту расходов. Генеральный директор Anthropic Дарио Амодеи  заявил, что в этом году компании потратят $100 млн на обучение новейших моделей, а по его же прогнозу в ближайшие годы эта сумма может достичь $100 млрд.

Разработчики ИИ-моделей оказываются перед выбором: либо предлагать старые модели с дополнительными улучшениями, либо запускать чрезвычайно дорогие новые версии, которые могут работать едва ли лучше. Потому что фактически исчерпаны достоверные объемы качественных данных. Технология, лежащая в основе ChatGPT и конкурирующих ИИ-чат-ботов, была создана на основе данных из социальных сетей, онлайн-комментариев, книг и других источников из интернета (Википедия). Этих данных хватило для создания продуктов, генерирующих суррогатные эссе и поэмы. Качественного перехода не случилось, есть ещё путь пост-обучения моделей специально подготовленными людьми из разных областей знания. Но этого явно недостаточно для разработки систем ИИ, которые превзойдут интеллектом лауреатов Нобелевской премии.