Психометрика в EdTech. Первые шаги. Инструменты для методистов, аналитиков, исследователей и продакт-менеджеров в образовании бесплатное чтение

Моим родителям

Предисловие

Современные технологии искусственного интеллекта прокладывают путь к будущему образования, где обучение становится по-настоящему доступным и персонализированным. Однако в центре всех изменений всегда остается человек – ученик и учитель, студент и преподаватель.

Психометрика, наука о педагогических и психологических измерениях, становится той линзой, которая помогает взглянуть на данные глубже, превращая обезличенные логи в отражение реальных историй, целей и усилий. За каждым байтом данных скрывается человек. Психометрика позволяет понять, как люди учатся: какие стратегии они выбирают, как преодолевают трудности, что их вдохновляет и мотивирует.

Например, в Практикуме мы применяем психометрические подходы для анализа поведенческих паттернов, разработки адаптивных методов обучения и поддержки студентов на их образовательном пути. Это не просто оцифровка процессов, это способность увидеть, понять и поддержать каждого студента, помогая ему создать свою уникальную историю успеха. Технологии усиливают, а не заменяют человеческую эмпатию и взаимодействие.

Образованию будущего нужна среда, где технологии становятся инструментами поддержки человеческих усилий. Пространство, где преподаватели вдохновляют на развитие, а студенты становятся активными творцами своего пути. В этом контексте психометрика – это не просто наука, а гуманистический инструмент, превращающий данные в ресурс для раскрытия человеческих возможностей и создания осмысленного обучения.

Дарья Золотухина, руководитель направления Образования, развития талантов и технологий для общества в Яндексе

От научного редактора

Если вы когда-либо слушали выступление Димы Аббакумова, то знаете, как понятно и весело он умеет подать любую тему. Если же вы с Димой не встречались, то по тексту этой книги поймете, что автор поставил себе задачу – описать базу психометрической аналитики наиболее простым и прикладным образом; и автор задачу выполнил.

Приведу только одну деталь: в первом варианте рукописи Дима снабдил все представленные метрики математическими формулами, заботливо их аннотировал, описал все буковки-индексы простым и понятным языком. А потом одним махом все формулы в тексте снес. Я сначала удивилась такому решению, а потом восхитилась смелости: и правильно, в мире столько продактов и методистов с математической тревожностью – зачем их пугать. А тем, кому от формул не страшно, все станет ясно из приведенного кода.

Скорее всего, после прочтения книги у вас появится вопрос: «Все же так просто! Наверное, психометрическую аналитику (не путайте ее с учебной аналитикой) применяют во всем EdTech, во всех онлайн-курсах?» Но нужно знать условия работы бизнеса, чтобы понять: нет, не просто, далеко не во всех. Психометрика – все еще экзотическая наука в России. Цифровые образовательные продукты создаются быстро («раз, два – в продакшен»). То, что разношерстные команды Яндекс Практикума – продакты, методисты, разработчики – заговорили на общем языке психометрической аналитики, кажется мне волшебством. А чтобы придумать подходящие формату продукта метрики (а ключевые метрики в этой книге – посильность, супербалл, дельта – далеко не общепринятые, Дима их сам придумал, проверил их полезность, связал с бизнесовыми метриками), нужны креативность, смелость и приверженность доказательному подходу. Не просто ввести метрику в систему, а доказать, что она полезна для студентов, для продукта, для развития бизнеса. Не обманывайтесь кажущейся простотой текста.

Как научный редактор я докапывалась до каждой главы, требуя обоснований, но как первый читатель хотела больше практической информации. Поэтому иногда подавала автору противоречивые сигналы. Например, просила: «Дима, приведи, пожалуйста, референсные значения для этой метрики – пусть из твоей практики, но чтобы у читателя был ориентир. Но только уточни там, что это не бронзой на граните высечено, пусть понимают, что в их продукте оптимальные значения метрики могут быть не такими, как в твоей практике». И Дима очень честно все описывал и предупреждал. Я слегка в шоке, что Яндекс Практикум так открыто делится полезностями. Но кто мы такие, чтобы не поддержать принципы открытой науки?;)

Психометрика – чудесная наука, она за справедливость и пользу оценивания. В ней много спорного и трудного, но с этой книгой ваши первые шаги в психометрической аналитике для EdTech точно будут уверенными.

Инна Антипкина, доцент, старший научный сотрудник Центра психометрики и измерений в образовании Института образования НИУ ВШЭ, руководитель проектно-учебной лаборатории моделирования и оценивания компетенций в высшем образовании

От автора

Последние пять лет мы наблюдаем динамичный рост EdTech. В широком смысле EdTech – это область, связанная с применением технологий для улучшения образования в целом, к которой относятся:

• онлайн-курсы;

• мобильные приложения;

• тренажеры и симуляторы;

• системы управления обучением и электронные журналы;

• программы управления контентом;

• инструменты виртуальной и дополненной реальности;

• технологии персонализированного обучения и многое другое.

Однако чаще (в более привычном нам смысле) аббревиатура EdTech ассоциируется со сферами бизнеса, в которых студенты заходят на веб-сайт или в мобильное приложение и получают там новые знания. Этот бизнес может быть большим и малым. Примерами большого бизнеса являются Яндекс Практикум, DataCamp, Duolingo и многие другие компании в России[1] и за рубежом[2]. К малым можно смело отнести индивидуальных онлайн-преподавателей и небольшие онлайн-школы, применяющие образовательные технологии в своей практике. На такие малые и большие сферы применения EdTech я ориентируюсь в этой книге. Кроме того, рассчитываю, что и более широкому кругу читателей из сфер образования и обучения эта книга окажется полезной.

В EdTech любят метрики и используют их на самых разных уровнях управления бизнесом. Например, метрика рентабельности ROI (Return on Investment) помогает понять, окупились ли расходы на создание, рекламу и проведение курса, а метрика ROMI (Return on Marketing Investment) показывает, насколько хорошо работают используемые маркетингом инструменты для привлечения студентов на курс. Метрика количества уникальных пользователей представляет текущий объем аудитории курса и позволяет отследить динамику этой аудитории во времени, а LTV (Lifetime Value) – сколько прибыли приносит отдельный студент за все время взаимодействия с EdTech-провайдером.

Существуют метрики удовлетворенности и лояльности студентов. Например, CSI (Customer Satisfaction Index) говорит о том, доволен ли студент обучением в целом или его отдельными аспектами, NPS (Net Promoter Score) – готов ли студент рекомендовать конкретный курс своим знакомым и друзьям, a метрика реферальности – сколько новых студентов приходят благодаря рекомендации обучающихся в данное время студентов.

Для оценки качества обучения обычно используют метрики COR (Completion Rate), или «доходимость», которая показывает долю студентов, успешно завершивших обучение, и Transformation (или Success) Rate, которая отражает степень уверенности студента в том, что цели его обучения достигнуты. Наконец, как и любому бизнесу, EdTech важно изучать долю и причины возвратов, для чего используется соответствующая метрика. Приведенный список, безусловно, неполный, но он отлично иллюстрирует, как важны метрики и работа с ними для современного образовательного бизнеса.

Главная ценность упомянутых метрик заключается в том, что они делают бизнес видимым и, следовательно, управляемым. Однако парадокс заключается в том, что в них отлично выражена бизнес-составляющая, но практически отсутствует составляющая образовательная. Другими словами, показывают ли нам указанные метрики, работает или нет учебный контент и насколько хорошо он это делает; осваивают ли студенты желаемое и насколько уверенными они могут быть в этом; оптимальны ли формат обучения и учебная нагрузка и, собственно, происходит ли обучение в самом деле? Едва ли. Разве что косвенно. Получается, собственно обучение – то, на основе чего строится EdTech-бизнес, – остается скрытым, а значит, неуправляемым.

При этом наука, которая уже полтора века измеряет обучение и помогает настраивать его на студентов, есть. Она называется психометрика и дает прямые ответы на вопросы о студентах, контенте и их взаимодействии. Подтверждения этому мы с вами найдем на страницах этой книги, а пока поверьте мне на слово. Но, собственно, почему вы должны мне поверить?

Самое время представиться. Меня зовут Дмитрий Аббакумов. Двадцать лет назад я «завалил» промежуточные тесты на первом курсе университета. К счастью, они были экспериментальными, и нас, заваливших, тогда не отчислили. Однако после этого провала я решил разобраться в том, как работают инструменты измерения и оценки знаний, почему они бывают хорошими и плохими (как было в случае с моим университетским опытом) и чем хорошие отличаются от плохих. Так я познакомился с наукой психометрикой: сначала прошел обучение в лаборатории «Гуманитарные технологии» при МГУ им. М. В. Ломоносова, затем учился на первом потоке студентов единственной в России магистерской программы по психометрике «Измерения в психологии и образовании»[3] в НИУ «Высшая школа экономики», а впоследствии получил докторскую степень по психометрике в одном из сильнейших университетов мира – KU Leuven, Бельгия. Вот куда завел меня тот заваленный в университете тест. После защиты диссертации я вернулся в Россию, и здесь один из основателей Практикума, Михаил Янович, пригласил меня присоединиться к команде. В Практикуме я сфокусировался на измерении и исследовании того, как учатся наши студенты, как работают тренажеры и микротеория и как через улучшение учебного опыта повышать шансы студентов на успех и наращивать результаты образовательного бизнеса. В течение трех лет моей работы в российском Практикуме и его международном подразделении, впоследствии ставшем самостоятельным бизнесом под названием TripleTen, психометрика стала ядерной технологической компетенцией и одним из ключевых элементов успеха этого бизнеса. В это время я выступал с открытыми лекциями и преподавал на программах School of Education – без преувеличения, кузницы кадров российского EdTech. Мне искренне хотелось (и хочется сейчас) сделать так, чтобы психометрика помогла большему количеству образовательных проектов. Так в конце 2023 года появилась идея написать книгу о психометрике в EdTech.

В этой книге вы узнаете, что такое психометрика как наука и как приложить ее к EdTech-бизнесу; как правильно логировать данные, рассчитывать характеристики контента и студентов и другие важные (психо)метрики; как применять их для улучшения учебного опыта и результатов студентов и какой вклад работа с этими метриками вносит в образовательный бизнес. Книга неслучайно называется «Первые шаги»: она не только рассказывает о психометрическом подходе, но и содержит сниппеты вычислительного кода и практические упражнения с ключами, с помощью которых мы вместе сделаем эти первые шаги. А чтобы шагать было не страшно, а приятно, вы не встретите сложных формул. Я подробно объясняю вычисления в тексте, а затем дополняю пояснениями команды в сниппетах вычислительного кода. Кроме того, здесь много иллюстраций. Верю, что вам это понравится.

Однажды после одного из моих открытых воркшопов в School of Education участница Мария Коробова, которая преподает математику на российской платформе Stepik, поделилась со мной отзывом: «Я в восхищении от технологии и особенно от того, что она применима у меня на маленьком курсе. Спасибо вам огромное, что это придумали и что делитесь!» (Кстати, с метрикой «посильность», о которой говорит Мария, вы познакомитесь в одной из глав книги.) Она рассказала, что регулярно подсчитывает (психо)метрики для своего курса, вносит в него изменения и видит положительные результаты. Я вдохновляюсь такими отзывами и той пользой, которую психометрика приносит малым и большим EdTech, и надеюсь, что вы вдохновитесь вместе со мной и эта книга поможет вам максимизировать ценность ваших образовательных продуктов.

У книги есть соавторы: одна из глав написана совместно с Марией Ковалёвой и Николаем Кутковым, руководителем и исследователем лаборатории образовательных технологий Практикума, которая изучает образовательные технологии и оценивает их влияние на учебные результаты студентов Практикума. Сейчас, например, лаборатория исследует, как инструменты на основе YandexGPT помогают студентам лучше учиться.

Эта книга была бы невозможной без моего друга и научного редактора Инны Антипкиной. Инна – опытный психометрик, кандидат наук об образовании, активно преподает, разрабатывает инструменты оценивания и занимается исследованиями в Институте образования Высшей школы экономики.

Похоже, мы плавно перешли к благодарностям. Помимо горячей благодарности моим соавторам и редактору, хочу выразить особую признательность моей «литературной крестной» Анастасии Чуковской, которая заинтересовалась идеей книги, стала менеджером этого проекта, помогла довести начатое до результата и способствовала моему книжному дебюту. В лице Анастасии я благодарю всех участников этого сложного производственного процесса – подготовки книги – со стороны Яндекса.

Отдельно хочу поблагодарить арт-директора Валентину Смирнову и иллюстратора Олесю Ткач.

Я благодарю издательство МИФ и его сотрудников, работавших над книгой, за профессионализм и внимание к деталям, и лично ответственного редактора Анну Таривердиеву за теплую атмосферу партнерства.

Поскольку материал для книги не появился бы, если бы я не попал в Практикум (а затем в TripleTen), хочу поблагодарить всех коллег, кто поверил в силу моей любимой науки и помогал извлекать из психометрики пользу для наших студентов и EdTech-бизнеса: Михаила Яновича, Елену Швец, Виктора Ламбурта, Марка Сысоева, Анастасию Богапову, Марию Меркулову, Ингвара Сильницкого, Сергея Парфёнова, Льва Якимова, Мадина Тлишева и других.

Отдельную благодарность хочу выразить первым читателям и рецензентам книги: Оксане Власовой, Сергею Жданову, Дарье Кравченко, Веронике Кышовой и Асе Фурсовой – за ценные советы, уточненные формулировки и теплые слова поддержки.

Наконец, хочу сказать спасибо моему верному компаньону – мини-бультерьеру Финику.

31 июля 2024 года

Глава 1. Наука об измерении невидимого

Удобно, когда работаешь с чем-то осязаемым. Всегда можно оценить результаты своей работы: взвесить урожай яблок, подсчитать количество перевезенных пассажиров или позиций в товарном чеке. Сравнивая полученные значения, можно оценить, в каком году урожай был выше, в какое время суток люди чаще пользуются такси и какие товарные позиции лучше всего продаются, а на основании этих сравнений принимать взвешенные решения: выбрать более эффективное удобрение, спрогнозировать необходимое количество такси на линии, чтобы удовлетворить спрос и не спровоцировать простой, заранее в нужном количестве заказать хорошо продающийся товар.

Образованию в этом смысле повезло меньше: его основной продукт скрыт от непосредственного наблюдения. Невозможно, посмотрев на двух студентов, сказать, кто из них лучше знает предмет. Нет инструментов, которые, подобно весам или рулетке, покажут, каков запас знаний у человека. И даже если поместить его в дорогостоящий современный сканер, мы не узнаем, сколько информации в его голове.

Ученые и практики издавна предпринимают попытки измерить невидимое. В литературе можно проследить, что еще за 500 лет до нашей эры Конфуций (551–479 гг. до н. э.) делал первые «педагогические измерения»: наблюдал за учениками, их активностью и мотивацией – и сопоставлял полученные данные с их результатами. Вот, например: «Того, кто не стремится к достижению знания, не следует направлять на правильный путь. Тому, кто не испытывает трудностей в выражении своих мыслей, не следует помогать. Того, кто не в состоянии по одному углу предмета составить представление об остальных трех, не следует учить»[4]. Однако системно такими измерениями стали заниматься только во второй половине XIX века. А значит, именно в это время появились первые исследования и публикации о том, как измерять скрытые от непосредственного наблюдения педагогические и психологические характеристики так же легко и точно, как и физические величины (массу, длину, время).

В этом движении можно выделить два основных направления. Первое – это собственно измерение физических (наблюдаемых) величин учебного процесса. В лаборатории Вильгельма Вундта (1832–1920) в Лейпциге для измерений использовались самые различные инструменты – от простого таймера до тахистоскопа, суперсовременного в то время аппарата, позволявшего проецировать изображение в течение определенного времени, чтобы замерить, например, скорость распознавания этого изображения. На фотографии 1892 года Гуго Мюнстерберг (1863–1916), ученик Вундта, проводит исследование – выясняет, сколько времени студенты Гарвардского университета тратят на выполнение учебных заданий (рис. 1).

^{Рис. 1. Лабораторное измерение скорости решения заданий студентами[5]}

Второе направление – представление ненаблюдаемого результата учебного процесса в качестве физической величины. Первым ученым, о ком важно упомянуть в этом отношении, является Фрэнсис Эджуорт (1845–1926). Его работа «Статистика экзаменов»[6] (1888) – это, пожалуй, первая попытка выразить «знания» через физическую величину. Он пишет, что если несколько экспертов оценивают работу студента, то среднее значение оценок, выставленных за эту работу, можно считать истинным уровнем знаний этого студента. И добавляет, что отклонения оценок отдельных экспертов от полученного среднего можно считать ошибкой измерения. Так, среднее и ошибка – ключевые характеристики при измерениях физических величин (например, массы или длины) – впервые были приложены к ненаблюдаемой характеристике (знаниям). Можно сказать, эта работа дала старт первой метрике ненаблюдаемого.