Шесть суперсовременных моделей ИИ провалили тесты по математике: лучший результат составил всего 2%
Математики разработали новые задачи, чтобы опробовать навыки рассуждения шести передовых моделей искусственного интеллекта. Однако ИИ провалили почти все тесты.
Современным моделям искусственного интеллекта сложно решать математические задачи исследовательского уровня. И даже самые совершенные системы ИИ способны решить только 2% сотен проблем, с которыми сталкиваются, пишет LiveScience.
Согласно данным исследовательского института Epoch AI, для решения головокружительных задач математикам, имеющим степень доктора, обычно нужны часы или дни. Самые совершенные модели ИИ получили правильные ответы менее чем на 2% из этих задач.
В последнее десятилетие был разработан ряд тестов для ИИ. И во многих случаях модели искусственного интеллекта легко проходят эти тесты, говорят учёные. К примеру, в стандартном тесте MMLU (Measuring Massive Multitask Language Understanding) современные модели ИИ отвечают на 98% математических задач правильно.
Большинство этих тестов направлено на проверку способности искусственного интеллекта выполнять математику на уровне средней школы и колледжа, пишет Эллиот Глейзер, математик из Epoch AI.
Однако новый набор тестов под названием FrontierMath направлен на более высокий уровень рассуждений. Epoch AI разработал вопрос с помощью профессоров математики. По словам разработчиков, сдачи охватывают широкий спектр подгалузей – от теории чисел до алгебраической геометрии.
Выводы ученых показывают, что модели искусственного интеллекта пока не имеют математических соображений на исследовательском уровне. Однако по мере развития ИИ эти сравнительные тесты дадут способ узнать, усугубляются ли их способности к размышлению.
"Регулярно оценивая самые современные модели и сотрудничая с исследовательским сообществом искусственного интеллекта, мы стремимся углубить наше понимание возможностей и ограничений ИИ", – отметила команда ученых.
OBOZ.UA ранее писал, что портрет, нарисованный одним из самых совершенных ИИ-художников, продали с молотка за $1 миллион.
Только проверенная информация у нас в Telegram-канале OBOZ.UA и Viber. Не ведитесь на фейки!