Помогает ли искусственный интеллект ученикам и студентам учиться? Ответ хотят знать многие учителя и родители: новые образовательные технологии быстро распространяются в классах.
Метаанализы должны обобщать разрозненные исследования и показывать, где перевешивают доказательства. Таких работ уже 39, и все они сообщают о существенной пользе ИИ в образовании.
Однако сами исследования, обобщающие эти данные, могут быть ненадёжными, а рецензирование не выявило их недостатков.
«Это ненадёжные доказательства», — сказал Джастин Райх, доцент Массачусетского технологического института и директор лаборатории Teaching Systems Lab при MIT. Он организовал вебинар, чтобы обсудить растущее число метаанализов с положительными выводами об ИИ. «Все эти метаанализы flawed».
Судебно-криминалистическая проверка 14 из 39 метаанализов выявила серьёзные концептуальные и статистические недостатки. Эти статьи опубликованы в журналах крупных издательств, среди которых Springer Nature, Wiley, SAGE и Taylor & Francis. По данным Google Scholar, на них ссылаются более 3 000 раз, а число цитирований продолжает расти примерно на 200 в месяц. Это может создавать впечатление, будто эффективность ИИ уже научно доказана. Один метаанализ отозвали почти через год после публикации в журнале Nature: основанием стала жалоба двух норвежских учёных.
Проверку провёл Патрик О’Нил, преподаватель колледжа Ivy Tech в Блумингтоне, штат Индиана. Он изучил выборку первичных исследований и статистические методы, с помощью которых их результаты объединяли в метаанализах. О’Нил обнаружил повторяющиеся ошибки; некоторые из них, по его словам, можно было заметить, просто прочитав аннотации исследований.
На вебинаре О’Нил перечислил «невозможные статистические данные», «галлюцинированные ссылки» и «преувеличенные выводы». В некоторых первичных исследованиях приводились ссылки на работы о генеративном ИИ, опубликованные ещё до того, как эта технология стала доступна широкой публике. Иногда ссылки вели на материалы, не имеющие отношения к теме.
Многие объединённые исследования вообще не измеряли, насколько ИИ улучшает обучение. Например, результаты студентов-медсестёр, которые занимались с преподавателем, использовавшим ИИ, по три часа в неделю, сравнивали с результатами тех, у кого занятий не было вовсе. Неудивительно, что первая группа справилась лучше. В другом исследовании студенты, игравшие в видеоигры и отвечавшие на вопросы, созданные ИИ, показали лучшие результаты, чем те, кто не делал ни того ни другого. А участники ещё одного эксперимента сообщили, что после общения с ИИ-ботом чувствовали меньше тревоги.
Бет Типтон, эксперт по метаанализам и профессор Северо-Западного университета, вместе с коллегами Райхом и О’Нилом критиковавшая такие работы, назвала «безумной» идею проводить чрезвычайно широкий метаанализ, охватывающий все способы применения ИИ в образовании.
Типтон сравнила такой подход с метаанализом преподавания математики. Эффективно ли оно? Это зависит от того, как именно преподают предмет. Тщательный метаанализ мог бы сузить вопрос до конкретного подхода — например, выяснить, улучшают ли навыки математики занятия с использованием пространственного мышления. По словам Типтон, прежде чем проводить метаанализ об ИИ, нужно так же точно определить, как именно его используют.
«Мы говорим о людях, которые пользуются приложениями и программами со встроенным ИИ, например Khan Academy? Или о том, что ученикам дают доступ к Claude?» — спросила Типтон.
По словам О’Нила, серьёзная проблема нынешних метаанализов об ИИ — «смещение публикаций». Он обнаружил, что в двух третях объявлений о сборе статей по теме ИИ в образовании специально приглашали исследования о его пользе, «словно отсекая нулевые или отрицательные результаты». В итоге метаанализы фактически «производят доказательства», объединяя отобранные положительные результаты, сказал он.
Повторный анализ данных
О’Нил проводит собственный метаанализ исследований об ИИ, применяя надлежащие статистические методы, и получает куда менее оптимистичную картину. По его данным, результаты 44 хорошо спланированных экспериментов сильно различались: в одних случаях ИИ приносил большую пользу ученикам и студентам, в других — серьёзно вредил. По предварительным расчётам О’Нила, в среднем эффект был близок к нулю. Это не значит, что педагогам следует считать ИИ безвредным в среднем: всё зависит от того, как его используют.
Сюзанна Лоэб, профессор педагогики Стэнфордского университета, также участвовавшая в вебинаре, рассказала, что её команда собрала почти 900 исследований об ИИ в образовании. В недавний обзор доказательств для проекта AI Hub for Education включили только 20 работ, отвечавших требованиям к качеству. После этого команда нашла ещё 32 исследования и вскоре собирается обновить обзор. Однако, по словам Лоэб, пока слишком рано проводить метаанализ, который был бы полезен руководителям школ и учителям. Лишь немногие качественные исследования проводились в школах США, где учатся дети с детского сада по 12-й класс.
Типтон опасается, что стремительный рост числа метаанализов опережает количество специалистов, способных качественно оценивать такие работы. Учёные всё чаще берутся за метаанализы, поскольку они быстрее и дешевле экспериментов и могут принести много цитирований. Высокий спрос на доказательства об ИИ сделал эту тему особенно привлекательной и породил своего рода индустрию метаанализов об ИИ.
Типтон рассказала, что ежедневно получает просьбы рецензировать метаанализы, но не может принимать все предложения. Проверка первичных исследований может занять несколько дней, а рецензирование — неоплачиваемая работа.
В медицине тоже есть некачественные исследования, отметила Типтон, но существуют механизмы, помогающие отделять надёжные результаты от сомнительных. Управление по контролю качества пищевых продуктов и лекарственных средств США оценивает доказательства перед одобрением препаратов, а страховые компании изучают исследования, решая, какие методы лечения покрывать. В образовании сопоставимых гарантий нет.
«Ничейная земля»
«В образовании — своего рода ничейная земля, — сказала Типтон. — Кто угодно может заявить, что у него есть доказательства чего угодно, и поделиться ими с кем угодно. А потребителям, школам, учителям и родителям приходится самим разбираться в этих данных. Это невероятно раздражает».
Исследователи обратились к благотворительным фондам и Национальному научному фонду США с просьбой поддержать строгие и надёжные обзоры исследований. «Возможно, наша модель добровольного рецензирования плохо работает для знаковых исследований по важнейшим вопросам образования, — сказал Райх. — Рецензирование не работает. Метаанализ не работает».
Пока не появятся действительно надёжные данные, исследователи советуют педагогам осторожно экспериментировать с ИИ: начинать с небольших групп учеников и отслеживать результаты. Даже внедрение ИИ в лекционный курс для 300 студентов может быть рискованным, сказал О’Нил.
Иными словами, учителям приходится самим экспериментировать в своих классах. И всё же обнадёживает, что исследователи в сфере образования указывают на недостатки собственной области и пытаются их исправить.