В последние два года генеративный ИИ стал доступен широкой публике и продемонстрировал впечатляющие результаты на различных экзаменах. Например, модель GPT-4 показала высокие результаты на экзамене для юристов в США. Однако новое исследование ставит под сомнение его способности в академической среде.
В рамках исследования был проведен экзамен по уголовному праву в Университете Уоллонгонга, где 225 студентов оценивались по двум частям: анализу кейса и написанию эссе. Студенты не могли использовать ИИ, а исследователь создал десять ответов на вопросы экзамена с помощью различных моделей ИИ. Половина ответов была сгенерирована без подсказок, а другая половина — с детальными инструкциями.
Результаты показали, что, хотя ИИ смог имитировать стиль написания студентов, он не справился с более сложными вопросами, требующими глубокого юридического анализа. Средний балл студентов составил 66%, в то время как ИИ, использующий подсказки, лишь в среднем обошел 39.9% студентов.
Эти результаты подчеркивают, что генеративный ИИ не готов заменить людей в интеллектуально сложных задачах, таких как юридические экзамены. Вместо этого, ИИ следует рассматривать как инструмент, который может улучшить человеческие способности. Образовательные учреждения должны сосредоточиться на развитии навыков сотрудничества студентов с ИИ и критического анализа его выводов.