Все новостиДиана Колесникова. Эмоции в цифрах
02 Сентября 2020
Диана Колесникова. Эмоции в цифрах

Диана Колесникова.Эмоции в цифрах

Диана Колесникова, продакт менеджер школы цифровых навыков SkillFactory, рассказала, как использовать данные для улучшения образовательных программ, и почему не стоит полностью полагаться только на цифры. Публикуем ее выступление от первого лица.

Зачем нужен анализ данных об обучении
В нашей школе обучают таким профессиям, как веб-разработчик, аналитик данных, специалист по работе с big data. Неудивительно, что сбор и интерпретация данных играют большую роль и в образовательном процессе.
На протяжении долгого времени мы собираем множество данных: график оттока студентов, их текстовые отзывы о впечатлениях, удачных и неудачных уроках. На основе этой информации мы планируем, как исправить или переделать курсы. Благодаря регулярным опросам среди студентов и внутренней аналитике самой обучающей платформы мы понимаем, какие курсы оставить как есть, какие переделать первыми, стоит ли менять формат и т. д.

Сколько вешать в граммах
Прежде чем создавать систему аналитики, нужно определиться, что и зачем измерять. Для этого важно понимать, что именно вы хотите изменить. Цели могут быть очень разными. Для университетов или программ профессиональной подготовки целью, скорее всего, будет повышение уровня знаний, ведь от этого зависит, смогут ли потом выпускники успешно работать. Для курсов, направленных на личностное развитие, целью может быть высокая удовлетворенность аудитории, ведь такое обучение часто проходят ради удовольствия.
SkillFactory раньше склонялась ко второму варианту, потому что для нас важно сделать опыт обучения в школе приятным для студентов. Но в конце концов мы решили, что самое главное — дать им все необходимые для трудоустройства навыки, и сделали упор на повышении качества образования. В итоге мы создали сбалансированный комплекс метрик.
Сейчас мы измеряем удовлетворенность студентов — те эмоции, которые они получают от учебы; смотрим на активность студентов на платформе — сколько попыток уходит на решение задачи, как часто и как долго делают домашние задания; спрашиваем аудиторию про время прохождения модулей, про то, насколько интересными и понятными были материалы.

Шкала удовлетворенности
Когда мы измеряем, насколько наши студенты удовлетворены обучением, то выводим не средний балл, а NESSА — Net Experience Satisfaction Score Average. Для этого мы вычитаем из доли людей, очень довольных обучением, долю тех, кто считает его нормальным или плохим. Мы делаем так потому, что для нас важно, чтобы студенты школы воспринимали учебу как запоминающийся опыт, который меняет их жизнь.
Если этот показатель оказывается низким или тем более отрицательным, мы на основе текстовых отзывов строим гипотезы, почему так вышло и как это исправить. Возможно, материал подан очень сложно, тогда мы меняем материал и снова делаем замеры. Бывает, показатели падают из-за смены преподавателя, хотя сама программа та же. В этом случае мы помогаем преподавателю сменить формат обучения плюс нанимаем еще одного, чтобы они вели вебинары по очереди.
Важна и коммуникация. При одном и том же качестве материалов удовлетворенность студентов намного выше, если есть активное общение в чатах с преподавателями и между студентами. Даже если есть недостатки в самом обучении, возможность обсуждать уроки и быстро получать ответы на вопросы это сглаживает.

Полезное неудобство
Нужно изучать и принимать во внимание обратную связь от студентов, но не обязательно сразу подгонять программы под их запросы. Мы всегда помним о конечной цели обучения и ориентируемся именно на нее, даже если пожелания студентов ей противоречат.
Например, часто студенты просят осветить в курсе всю информацию по теме, чтобы им не приходилось ничего искать в интернете. Однако профессии, которым мы учим, предполагают умение быстро находить в сети необходимые для работы сведения. Если студентам не придется искать дополнительную информацию во время обучения, этот навык у них не сформируется. К тому же в digital-сфере все быстро меняется, и способность учиться самостоятельно будет для наших выпускников конкурентным преимуществом.

Оценки в контексте
Анализируя оценки, стоит принимать во внимание, кто и когда их дает. Так, однажды мы запустили новый курс, который сразу получил очень высокие баллы. Мы решили, что курс идеален и не нуждается в доработках, и тут… оценки резко стали снижаться, появилось много жалоб на сложность уроков.
Оказалось, что первыми оценки поставили самые сильные студенты, которые легко справились с материалом и быстро закончили курс. Остальные же завершили его позже, и их низкие оценки попали во вторую волну. При этом, разрабатывая курсы, мы ориентируемся на средний уровень подготовки у студентов и стремимся, чтобы материал был понятен всем. Так что нам пришлось выбирать: оставить этот курс только для продвинутых студентов, а для остальных создать новый, более доступный, — или же переделать текущий курс.

Что дальше?
На основе данных об обучении можно принимать самые разные решения, от изменений в учебных материалах до поддержки студентов и преподавателей. Но эти решения должны быть четко связаны с целью, которую вы ставили перед началом замеров. Если, например, цель образовательного учреждения — увеличить долю трудоустроившихся выпускников, то нельзя использовать созданные под нее метрики, чтобы решать, кому из преподавателей дать премию, а кому нет.
Критически важное значение имеют обработка и оформление собранных данных. Это может быть эксплораторный анализ или предиктивная модель, а может быть просто презентация. Главное, чтобы потом этим документом было удобно пользоваться тем сотрудникам, которые будут решать, что изменить в курсах. Если это будет объемный и сложный файл, весь проведенный анализ потеряет смысл: люди просто не захотят тратить время, чтобы в нем разобраться, и в итоге положительные перемены, ради которых анализ был инициирован, так и не произойдут..