Два исследования, которыми руководил Цзин Лю, директор Центра образовательной науки о данных и инноваций Мэрилендского университета, показали, насколько по-разному искусственный интеллект может влиять на обучение. Одно из них указывает, что занятия математикой с помощью ИИ могут помочь школьникам средних классов, испытывающим трудности. Другое выявило, что ИИ-ассистент снижал вовлечённость студентов колледжа и был связан с более низкими оценками.
Лю хотел опубликовать результаты вместе, чтобы показать: ИИ в образовании — не однозначное благо и не однозначное зло. Исследователи пока выясняют, как создавать инструменты, способные со временем улучшать обучение. Для этого важно изучать не только технологии, но и то, как на них реагируют ученики и студенты, в том числе непредвиденным для разработчиков образом.
Математический тренажёр для школьников
В первом исследовании сайт Goblins для практики по математике использовали 6 000 школьников средних классов в Дир-Вэлли, штат Аризона. Учителя задавали ученикам задачи, а ИИ-репетитор помогал решать их пошагово: в текстовом чате, на виртуальной доске и в голосовом режиме. Учителям рекомендовали подключать инструмент для учеников, которым требовалась дополнительная помощь, однако некоторые задавали упражнения всему классу, а другие не использовали сайт вовсе.
Ученики, решавшие не менее двух задач в неделю — более 50 за учебный год, — показали значительно лучшие результаты в стандартизированной итоговой проверке по математике, чем сопоставимые сверстники, которые пользовались Goblins реже или не пользовались им совсем. Независимая некоммерческая исследовательская организация Accelerate, заказавшая исследование, оценила разницу в 0,11 стандартного отклонения как примерно три дополнительных месяца обучения.
Однако исследование не доказывает, что именно Goblins обеспечил улучшение результатов. Возможно, ученики, чаще пользовавшиеся сайтом, и без него были больше заинтересованы в занятиях математикой и показали бы более высокие результаты. Accelerate рассчитывает заказать рандомизированное контролируемое исследование, которое поможет прояснить этот вопрос.
Тем не менее заслуживает внимания один результат: половина из 6 000 учеников использовала Goblins для решения как минимум двух задач в неделю — именно такая частота занятий была связана с более высокими баллами по математике.
Это примечательно, поскольку в образовательных технологиях давно существует так называемая «проблема пяти процентов». Инструмент может хорошо работать для тех, кто пользуется им по инструкции, но, по приблизительной оценке, так поступают лишь около 5 процентов учеников. Остальные 95 процентов либо не заходят в систему дома, либо бездействуют во время отведённого на занятия экранного времени в классе. Исследования платформ Khan Academy, IXL и других сервисов подробно описывают трудность, с которой сталкиваются школы: детей непросто приучить регулярно пользоваться обучающими программами.
Судя по результатам, Goblins удалось заинтересовать некоторых учеников, которых обычно трудно вовлечь в занятия, в том числе изучающих английский язык и детей с инвалидностью. Лю предполагает, что этому помогал мультяшный аватар учителя: ученики могли обращаться к нему вслух и получать ответы. ИИ-репетитор также говорил и понимал испанский и ещё шесть языков.
«Это было похоже на разговор с собственным учителем, — сказал Лю. — Ученикам хотелось пользоваться этим инструментом».
Возможно, помогало и то, что учителя сами выбирали задания. Вместо того чтобы передавать урок компьютеру, они решали, кому какие задачи задать, и могли загружать собственные упражнения. Это согласуется с результатами исследований более ранних образовательных технологий. Другая математическая платформа для школьников средних классов, ASSISTments, тоже показала хорошие результаты: учителя задавали относительно небольшой объём практических упражнений, а ученики сразу получали обратную связь.
При этом не стоит преувеличивать, насколько привлекательным оказался Goblins. Лишь 6 процентов участников занимались на платформе не менее получаса в неделю. Именно такую продолжительность занятий чаще рекомендуют в сфере образовательных технологий, и по этому показателю Goblins сталкивается со знакомой проблемой пяти процентов.
Когда доступ к ИИ даёт обратный эффект
Во втором исследовании проверяли ИИ-ассистента, разработанного в Мэрилендском университете. Прежде чем внедрять его для всех 40 000 студентов, проректор Дженнифер Кинг Райс попросила Лю сначала изучить эффективность инструмента.
Лю случайным образом распределил 30 преподавателей на две группы: 15 подключили ассистента к своим курсам, а остальные 15 вели те же курсы без ИИ. Среди предметов были английский язык, математика, биология и общественные науки. Например, два преподавателя вели разные группы одного курса биологии — в одной использовали ИИ-ассистента, в другой нет.
Преподаватели загрузили в университетский чат-бот с ИИ учебные планы, материалы для чтения, задания и другие ресурсы курсов. Студенты могли спрашивать о требованиях к заданиям и сроках их выполнения или просить объяснить учебные темы. Ассистент был доступен круглосуточно через Canvas — университетскую систему управления обучением.
В курсах с ИИ-ассистентом учились 1 100 студентов, а в контрольной группе — 1 200. Средний балл первой группы был ниже на 0,11 пункта по четырёхбалльной шкале. Это примерно соответствует разнице между оценкой 3,0 — уверенной отметкой B — и 2,9, то есть низкой отметкой B. Студенты также реже взаимодействовали с учебными материалами, например оставляли меньше комментариев на онлайн-форумах курсов, и реже приходили на консультации или встречались с преподавателями и однокурсниками. Негативный эффект был заметнее у студентов, которые первыми в семье получали высшее образование.
«Инструменты ИИ могут усилить неравенство в результатах обучения. Меня это особенно тревожит», — сказала Райс.
Ассистентом воспользовались хотя бы раз только 15 процентов студентов на курсах с ИИ. Чаще всего они просили выдать готовый ответ, а не использовали функции репетитора.
Как инструмент, которым воспользовалось так мало студентов, мог оказать столь негативное влияние?
Лю и Райс предполагают, что постоянное присутствие ИИ-ассистента на сайте курса могло непреднамеренно создать впечатление, будто пользоваться искусственным интеллектом поощряется. Студенты могли воспринять это как разрешение обращаться к ChatGPT, Claude или Gemini за пределами университетской платформы, чтобы выполнять задания. Исследователи не могут установить, происходило ли это. Но если работу за студентов выполнял ИИ, они могли усвоить меньше материала.
По словам Лю, вывод не в том, что колледжам следует избегать ИИ. Даже тщательно разработанный инструмент может иметь последствия, выходящие за рамки его предполагаемого применения. Мэрилендский университет заслуживает признания за то, что проверил ассистента до внедрения для всех студентов и опубликовал тревожные результаты, которыми могут воспользоваться другие исследователи.