Китайская нейросеть в 10 раз мощнее самой «продвинутой» нейросети

13 982



Исследователи из Пекинской академии искусственного интеллекта объявили о выпуске собственной генеративной модели глубокого обучения, Wu Dao, которая способна конкурировать и даже превзойти GPT-3 от OpenAI.

Будучи обученной на 1,75 трлн параметров, Wu Dao 2.0 примерно в десять раз больше, чем GPT-3 (175 млрд). Она превзошла также Google Switch Transformer с 1,6 трлн параметров. Модель обучали на китайском и английском языках на 4,9 терабайт изображений и текстов.



Вторая версия Wu Dao 2.0 вышла всего через три месяца после выпуска первой в марте. Исследователи BAAI сначала разработали систему обучения с открытым исходным кодом FastMoE, похожую на Google Mixture of Experts. Она работает на PyTorch и позволяет обучать модель как на кластерах суперкомпьютеров, так и на обычных графических процессорах. Это дало FastMoE большую гибкость, чем системе Google, поскольку FastMoE не требует проприетарного оборудования, такого как TPU от Google.

В отличие от большинства моделей глубокого обучения, которые выполняют единственную задачу — либо генерируют текст, либо создают дипфейки, либо распознают лица — Wu Dao является мультимодальной системой.


генерация поэзии


генерация рисунков


Исследователи продемонстрировали способности модели выполнять задачи по обработке естественного языка, генерации текста, распознаванию изображений и созданию изображений.

Реклама

Модель может не только писать эссе, стихи и двустишия на китайском языке, но и генерировать альтернативный текст на основе статического изображения и почти фотореалистичные изображения на основе описаний на естественном языке. Wu Dao также продемонстрировал свою способность предсказывать трехмерные структуры белков, таких как AlphaFold.


Разработчики отмечают, что модель требует лишь небольшого количества новых данных при использовании в новой задаче. Тан Цзе, заместитель директора BAAI по академическим вопросам, утверждает, что она позволит создавать «думающие машины.

С моделью работают уже 22 партнера, в том числе Xiaomi, поставщик услуг доставки Meituan и соцсеть коротких видео Kuaishou.

GPT-3 для написания текстов на основе всего нескольких примеров обучали на 570 гигабайтах текста. Модель представили в мае 2020 года. GPT-3 может отвечать на вопросы по прочитанному тексту, а также писать стихи, разгадывать анаграммы и осуществлять перевод. Алгоритму достаточно от 10 до 100 примеров того, как выполнить действие.

https://masterok.livejournal.c...

Просто так не пустим: Россия поставила условие для выдачи визы Нуланд
  • Beria
  • Вчера 14:08
  • В топе

Замгоссекретаря США по политическим вопросам Виктория Нуланд, вновь вернувшаяся в американскую властную обойму с командой Байдена, может приехать в Россию уже в октябре, вот только выдавать ей виз...

Дави его, глядь: Роман Носиков об очередной победе над нами
  • pretty
  • Вчера 07:36
  • В топе

После распада Варшавского блока и СССР мы на некоторое время разучились радоваться существованию Восточной Европы и любить наших тамошних «братушек». Братушки выплескивали накопившуюс...

Великобритания обратилась за срочной помощью из-за нехватки еды
  • Jivoy
  • Вчера 10:04
  • В топе

В Великобритании кое-что происходит, и таких случаев становится слишком много, чтобы их можно было игнорировать. Дело в том, что во все большем числе магазинов покупатели видят пустые полки, особе...

Обсудить
  • кетайцы молодцы - мало пыжатся и много делают, у таёжных всё наоборот :joy_cat:
  • Пацан какой-то развлекается, троллит всех подряд, а они ведутся, дуркованы.
  • Писать стихи на китайском - это невеликое достижение. Любое сочетание иероглифов - имеет смысл.
  • Спасибо за информацию. Никакого возникновения интеллекта в описаниях разработок "интеллекта", как и следовало ожидать, не наблюдается. Шум - да, большой шум наблюдается.