Доказательства из Австралии
Недавнее исследование, проведенное Австралийской комиссией по ценным бумагам и инвестициям (ASIC), показало, что модели искусственного интеллекта, в частности Llama2−70B*, не справляются с резюмированием сложных документов по сравнению с человеческими экспертами.
Исследование, проведенное в сотрудничестве с Amazon Web Services, показало, что резюме, созданные ИИ, были значительно слабее по связности, целенаправленности и длине, набрав в среднем 7 баллов из 15, по сравнению с резюме человека, которые набрали 12,2 балла.
Исследование было посвящено обобщению материалов, представленных на запрос Объединенного парламентского комитета, с акцентом на ссылки на ASIC, рекомендации по конфликту интересов и предложения по регулированию. Несмотря на усилия по оптимизации моделей ИИ, результаты оказались слабыми. ИИ с трудом понимал нюансы, выдавал «общие» резюме и даже генерировал фактически неверную информацию.
ASIC признала, что быстрая разработка более крупных и совершенных моделей, таких как GPT-4 и Llama3*, может привести к улучшениям в будущем. Однако эксперты подчеркивают существующие ограничения в использовании ИИ для решения сложных задач.
*принадлежит Meta, которая признана в РФ экстремистской и запрещена
источник: https://www.ferra.ru/news/apps...
-
-
- +1
-
Зачем поддерживать автора?
Зачем поддерживать автора?
- - Любой текст это труд, если вам понравилась статья, то поддерживая автора - вы показываете, что оценили то, что он потратил свое время и силы.
- - Автор получает небольшую финансовую помощь от вас, у него появляется больше стимула сделать еще лучше.
- - Статья, которую поддерживают пользователи попадет в рейтинг по поддержке на главной странице Конта, что принесет ей больше просмотров и откликов, а значит, поддерживая статью вы помогаете автору продвигать его точку зрения.
Оценили 16 человек
27 кармы