Компания Nvidia представила революционную генеративную модель искусственного интеллекта Cosmos Reason. Она обещает в корне изменить подход к робототехнике и «умным» устройствам, наделяя их способностью рассуждать и принимать решения, как это делают люди.
Особенный ИИ
Cosmos Reason — это языковая модель зрения (Vision Language Model, или VLM), которая способна анализировать визуальные данные и текстовую информацию одновременно. В отличие от традиционных ИИ-систем, которые работают с текстом или изображениями по отдельности, VLM объединяет оба типа данных, что позволяет ей «понимать» происходящее вокруг.
Ключевая особенность Cosmos Reason заключается в ее способности связывать элементы наблюдаемой сцены в логическую цепочку и делать выводы, даже если модель ранее не сталкивалась с подобной ситуацией. Например, робот, использующий Cosmos Reason, может осознать, что находится на кухне, и, получив команду приготовить завтрак, понять, что для этого ему понадобятся кофеварка, тостер, хлеб, масло, сахар, молоко и посуда. Причем, выстроить последовательность действий ИИ способен, даже если раньше не сталкивался с подобной задачей.
Примечательно, что модель достаточно «легкая» по меркам ИИ — она содержит всего 7 миллиардов параметров, что делает ее относительно компактной и универсальной. Cosmos Reason может работать не только в роботах, но и в других интеллектуальных устройствах, таких как камеры наблюдения, светофоры и промышленное оборудование, а также в системах, составленных из этих устройств.
Как работает
Cosmos Reason Основная задача Cosmos Reason — анализировать окружающую среду, выстраивать логические связи между элементами и принимать обоснованные решения. Модель сочетает два ключевых направления робототехники. Язык зрения (Vision Language) отвечает за анализ визуальных данных и построение логических связей. А реактивный интеллект обеспечивает быстрое реагирование на изменения окружающей среды и выполнение действий, требующих «мышечной памяти».
Cosmos Reason объединяет эти направления, добавляя способность к глубоким рассуждениям. Например, робот может не только понять, что перед ним человек, но и оценить его действия, предугадать намерения и правильно взаимодействовать с ним. Это особенно важно для задач, где требуется учитывать физическое взаимодействие объектов или мотивы участников сцены.
Возможное применение
Разработка Nvidia открывает широкие возможности для использования в различных сферах. Так, например, умные камеры и светофоры смогут анализировать дорожное движение, предотвращать аварии и помогать в управлении транспортными потоками. Кроме того, роботы с Cosmos Reason могут контролировать производственные процессы, следить за состоянием оборудования и оперативно реагировать на неисправности. Автоматизация складских операций станет еще более эффективной благодаря способности роботов понимать окружающую среду и адаптироваться к изменениям.
Также система может использоваться для мониторинга различных объектов и ситуаций, включая охрану, контроль доступа и многое другое. По словам создателей, Cosmos Reason уже доступна для скачивания на платформе GitHub. Однако модель работает исключительно на оборудовании Nvidia. Для ее использования компания предлагает специализированные решения, такие как компьютер Jetson Thor DGX, а также графические процессоры RTX Pro 6000, 4000 и 2000, построенные на архитектуре Blackwell.
https://masterok.livejournal.c...
Оценили 6 человек
7 кармы