Метрики, которые работают: опыт наставничества методического отдела

Связаться со мной

I am ready for a long road flight for work with a week- or months-long projects.

Связаться со мной

Метрики, которые работают:
опыт наставничества методического отдела

Закажите наставничество
и повысьте лояльность слушателей

Заказать

Для кого

Методические, продуктовые и иные команды из EdTech, корпоративного и государственного секторов обучения, которые сталкиваются с:

Непониманием как выстроить с «0» систему метрик эффективности образовательного продукта
Отсутствием взаимосвязи различных метрик (например, продуктовых и учебных)
Хаотичным существованием метрик образовательного продукта
Сложностью улучшения образовательного продукта на основе метрик
Проблемой донесения ценности метрик до руководства/заказчика и т. д.

Предыстория

В августе 2024 года ко мне обратилась за наставничеством онлайн-школа «Лого-эксперт». В школе обучалось более 4000 взрослых обучающихся.

В онлайн-школе метриками эффективности образовательного продукта занимается методический отдел.

Проблема

Методический отдел (руководитель + 2 методиста) столкнулся с отсутствием системности в анализе данных:

Все метрики были разрознены, без чёткой взаимосвязи
Невозможно отследить, как показатели влияют друг на друга и на общий результат

Ключевые вопросы

Как обученность влияет на удовлетворённость обучающихся?
Непонятно, улучшает ли рост знаний студентов их лояльность к курсам.
Как удовлетворённость влияет на продажи?
Неясно, приводит ли высокая оценка курса студентами к увеличению спроса на продукт.

Последствия

Невозможно объективно оценить эффективность образовательных программ
Решения принимаются «вслепую», без опоры на данные

Запрос клиента

Построить систему метрик, которая покажет:

Какие факторы влияют на успех курсов
Где «слабые места» в продукте
Как оптимизировать процессы
для роста прибыли

Перед онлайн-школой стояла задача понять как с «0» выстроить взаимосвязанную систему метрик для измерения эффективности сначала для одного образовательного продукта, а потом для всей линейки.

Задача оказалось непростой, потому что на неё выделялся месячный срок наставничества.
В течение этого месяца для наставляемых из 3 человек необходимо было объяснить:

что такое учебная аналитика
какие бывают виды метрик, их назначение, формулы расчета
что такое обучение, основанное на данных, и цифровой след
как по шагам строить систему метрик
как устроена таблица метрик образовательного продукта и её взаимосвязи и т. д.

Помимо всего необходимо было поставить и проконтролировать выполнение ряда задач, начиная от усвоения вышеперечисленных знаний до применения их на практике с итоговой работой в виде выстроенной системы метрик.

Решение: этапы работы

Диагностика и планирование

Провёл установочную сессию с методическим отделом

Обсудили, что они уже знают о метриках, какие из метрик (бизнес, продуктовые и образовательные) используются в онлайн-школе, какие метрики считаются ключевыми и т. д.

Вся работа во время установочной сессии велась на онлайн-доске, что формировало наглядную картину для всей команды и позволяло оставлять необходимые уточнения и корректировки.
Определил текущие метрики (бизнес, продукт, обучение)

Онлайн-школа проектирует коммерческие образовательные продукты, поэтому принял решение опираться на бизнес-метрики перед тем, как сформулировать систему метрик (и в первую очередь ключевых).

Все группы метрик работают в системе только тогда, когда существует понимание для какой цели они работают.
Поэтому организовали встречу и я объяснил это в деталях сначала руководителю методического отдела.
В ходе сессии мы с коллегами сформировали дорожную карту работ: задачи, ответственные, сроки, статусы

Дорожную карту разработал для того, чтобы каждый из нас понимал, какие задачи и к какому сроку необходимо выполнить. А также когда подготовить необходимую информацию, организоваться для встречи,
или обсудить предварительные вопросы.

Цель: Синхронизировать понимание целей и этапов работ.

2. Цифровой след, и как его собирать

Сформулировал для методического отдела задачу — изучить материалы по цифровому следу и подходу «обучение, основанное на данных».

Так как без понимания основ будет сложно составить в итоге техническое задание для формирования дашборда на GetCourse.

Коллеги изначально испытывали трудности с пониманием ключевых концепций:
они не до конца представляли, что такое цифровой след, как его собирать на их платформе и зачем это нужно.
Чтобы устранить эти пробелы, я регулярно давал развёрнутые пояснения в общем чате, приводил примеры.
Это помогло команде глубже вникнуть в принципы работы с метриками и сбором данных.

3. Этапы изучения и систематизации метрик

Подготовка базы метрик
Создал Google-документ с полным перечнем метрик.
Содержание документа:
— Определения бизнес, продуктовых и учебных метрик.
— Формулы расчёта для каждой.
— Цели использования и сферы применения.

Поставил задачу для команды:
Изучить материалы и оставить комментарии, если возникают сложности с интерпретацией.
1
Обучение методологии отбора метрик
- Провёл обучение по 7 шагам, которые помогают:
— определить, нужна ли метрика,
— сформулировать её цель,
— выявить стейкхолдеров,
— проверить техническую реализуемость,
— установить приоритетность,
— связать с другими показателями,
— утвердить окончательный список.

Цель:
Научить команду избегать «мусорных» метрик и сфокусироваться только на значимых данных.
2
Создание итоговой таблицы
Поставил задачу для команды разработать Google-таблицу с метриками, ранжированными по:
Критериям (бизнес-цели, сложность внедрения)
Приоритету (высокий/средний/низкий)
Рекомендации для минимизации ошибок:
Не включать метрики, которые невозможно внедрить на GetCourse
Учитывать ресурсы команды (например, COR — коэффициент завершения занятий — требует интеграции с платформой)
3
Построение взаимосвязей

Показал, как выстраивать взаимосвязь между метриками.
Процесс этот достаточно сложный, потому метрик много, и их влияние друг на друга неочевидно.

Яркий пример, когда нужно определить целевой COR по занятию/модулю/курсу и связать его с метриками успеваемости обучающихся также по занятию/модулю/курсу. Подход должен быть универсальным, потому что данные взаимосвязи будут использоваться на всей продуктовой линейке онлайн-школы (более 20 образовательных продуктов).

Вот такую огромную и результативную работу проделали вместе с командой!

4

Результаты

В итоге у коллег сформировалась рабочая Гугл. Таблица, в которой по каждой группе метрик для образовательного продукта было сформулированы следующие разделы:

Наименование метрики
Когда она используется (до обучения, во время или в конце обучения)
Какой является метрика (качественная или количественная)
К какому виду учебной аналитики относится метрика
Цель применения метрики
Где собираем данные по метрике
Как собираем данные по метрике

Опыт наставничества позволил коллегам не только создать рабочую Гугл.Таблицу, но и использовать готовые алгоритмы и подходы к формированию системы метрик в каждом новом образовательном продукте.

► Почему это стоит повторить в вашей компании?

Больше не нужно гадать, почему курс не продаётся.
Вы тратите бюджет на то, что работает, а не на бесконечные эксперименты.

Михаил Осипов

Образовательный методолог, консультант

Если вы не знаете как оценивать эффективность образовательного продукта, или не понимаете как выстроить систему метрик с «0» — напишите мне.

Мы реализуем групповое, либо индивидуальное наставничество, чтобы вы смогли применять знания на разных образовательных продуктах.

Связаться со мной

Примечание:
Возможно наставничество по любым другим темам проектирования образовательного продукта.