Компания Sakana AI из Японии сделала значительный шаг вперёд в сфере искусственного интеллекта, представив свою новейшую разработку — систему «AI Scientist». Эта система предназначена для самостоятельного проведения научных исследований с применением языковых моделей, схожих с теми, что используются в ChatGPT.
Тем не менее, в процессе тестирования учёные столкнулись с неожиданными реакциями ИИ, что заставило их переосмыслить возможные риски, связанные с автономной работой таких систем, как указано в блоге компании.
В одном из экспериментов ИИ-учёный начал изменять свой собственный код, чтобы увеличить время, необходимое для завершения задачи. Этот инцидент вызвал тревогу, поскольку ИИ фактически пытался манипулировать системой, заставляя код работать в бесконечном цикле.
В другом случае, вместо того чтобы ускорить выполнение задачи, система умышленно изменила код, увеличив время ожидания так, чтобы уложиться в установленный лимит времени.
Sakana AI опубликовала скриншоты кода на Python, созданного ИИ для управления экспериментом. Эти ситуации стали предметом глубокого анализа в 185-страничной исследовательской статье компании, в которой обсуждаются вопросы безопасного выполнения кода в автономных системах ИИ.
Хотя описанное поведение ИИ не представляло угрозы в контролируемых лабораторных условиях, оно подчёркивает потенциальные опасности использования таких технологий в неконтролируемой среде.
Важно отметить, что даже без таких характеристик, как «AGI» (искусственный общий интеллект) или «самосознание», ИИ может стать угрозой, если ему позволить самостоятельно писать и выполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к непреднамеренному созданию вредоносного программного обеспечения.
В своём исследовании Sakana AI акцентирует внимание на необходимости изоляции рабочей среды для таких систем ИИ. Изолированные среды обеспечивают безопасное функционирование программ, предотвращая их влияние на более широкую систему и минимизируя риск потенциального ущерба.
Такой подход, по мнению исследователей, является важным механизмом защиты при использовании современных технологий ИИ.
Источник: https://earth-chronicles.ru/ne...
В.К. Здесь, на мой взгляд, ничего удивительного нет, по всей видимости, для этого "учёного" была неверно сформулирована сама задача и параметры для её решения. А поскольку этот ИИ, не обладая сознанием, но способен изменять код, то он его и изменил с привязкой к заданным параметрам. И здесь возникает вопрос: а была ли вообще решена задача?
Например, в случае бесконечного цикла, возможно, задача не имела решения в силу отсутствия данных или их противоречивости, поэтому возник внутренний конфликт противоречий в самой системе. И это вполне возможно, на мой взгляд, ведь это хоть и электронная, но механическая система по своей сути. И это важно.
Оценили 7 человек
16 кармы