Когда мы берёмся за аналитику обучения (или хотя бы мечтаем о ней), стартовый набор метрик у нас плюс-минус одинаковый: охваты, часы, NPS, конверсия, средний балл, стоимость часа и исполнение бюджета. Кто-то уже вывел их на дашборды, кто-то до сих пор мучает Excel, кто-то только прикидывает ТЗ HR-аналитикам. Логика отчёта обычно похожа: показать показатели по месяцам, сравнить с прошлым годом и, разумеется, разбить по программам и подразделениям. Смотришь на такой отчёт: теперь мы точно ответим на любой вопрос про обучение.

Но вот представьте ситуацию. Вас спрашивают: «Мы обучили 800 человек за год. Что изменилось в их работе?» Или пожёстче: «Обучение было неэффективно. Люди вернулись и работают точно так же».

И вы понимаете, что в отчёте есть всё про прохождение курса. Сколько прошли, какие баллы получили, понравилось ли. А вопрос-то задают про работу. Стали ли быстрее выполнять задачи, меньше ошибаться, использовать то, чему их учили?

Это не делает метрики охватов и баллов бесполезными. Просто на такой вопрос они не отвечают. Как проверить изменения и оценить вклад обучения, разберём в отдельной статье. А в этой статье посмотрим на то, что происходит между назначением курса и результатами, которых мы ждем по итогам его завершения. И на метрики, которые помогут нам это увидеть. Своими глазами. В отчете или на дашборде.

Часто мы считаем обучение законченным, когда провели занятия, проверили знания и собрали обратную связь. Этими же этапами ограничивается и отчёт. А применение знаний остаётся за рамками нашей работы, как будто дальше человек сам разберётся.
Но человек возвращается на работу, а там накопились задачи, его заждались коллеги, и у каждого есть что-то срочное и без него никак.

Ответы на эти вопросы стоит продумать ещё при подготовке программы. В книге «Шесть дисциплин прорывного обучения» подготовка до первого занятия, само обучение и перенос знаний на практику рассматриваются как единый процесс. Руководитель помогает определить рабочие приоритеты, сотрудник готовится к занятиям, осваивает материал, а после программы получает возможность и поддержку для применения.

А как узнать, выполняется ли всё это на практике и где сотрудникам нужна помощь? Это задача аналитики. Но чтобы данные помогали вовремя замечать трудности и реагировать на них, ещё при проектировании программы нужно решить, что мы хотим знать на каждом этапе, откуда возьмём данные и когда их соберём. Если предусмотрели предварительное задание, нам важно узнать о трудностях с ним до занятия. Если организовали консультации после курса, стоит посмотреть, пользуются ли ими и с какими вопросами приходят.

Отличная идея для дашборда. Жаль, что сам он эти процессы не создаст, но точно покажет, что с ними происходит, если они появятся.

Мы привыкли смотреть, сколько сотрудников завершили обучение, как справились с проверкой знаний и как оценили программу. А что ещё можно измерить?

За годы работы у меня накопилось немало показателей из книг, опыта коллег и конечно собственных задач. В статье расскажу о части из них: про подготовку участников, обучение и перенос знаний на практику. Покажу, какие вопросы с их помощью можно разобрать и что потом делать с ответами. А полный список метрик обучения скачивайте по ссылке в конце статьи.

Не нужно собирать данные и считать все эти метрики для каждой учебной программы. Если программа короткая, а задача простая, для нее вряд ли нужен отчёт на двадцать страниц. Но когда знаешь, какие варианты существуют, проще найти подходящие для своей ситуации.

Сотруднику назначили обучение. Его уже можно включить в отчёт: вот ещё один будущий участник — метрика «Количество назначений». Но понял ли он, зачем ему эта программа? Какие его рабочие задачи она поможет решать? Что руководитель ждёт после обучения? И готов ли сотрудник к программе или ему нужна предварительная подготовка?

Понять, зачем учиться и чего ждёт руководитель, поможет разговор с ним перед обучением. Правда, такой разговор может и не состояться: руководитель может вообще не знать о назначении или знать, но ничего не обсудить с сотрудником. А может просто ограничиться сообщением: «Тебе назначили обучение».

Альтернативный вариант — поговорить с подчиненным о том, зачем ему учиться и что потом делать с изученным: «У нас постоянно сдвигаются сроки. На обучении будут инструменты планирования. Давай подумаем, что из них потом ты попробуешь в работе». Тогда сотруднику понятнее, зачем ему обучение: найти способы планировать работу так, чтобы укладываться в сроки.

Чтобы отслеживать эту работу, можно смотреть долю участников, обсудивших обучение с руководителем. А ответы самих сотрудников помогут понять, видят ли они пользу программы для своих задач и знают ли, чего руководитель ждёт после обучения. Если ожидания остались неясными, есть повод вернуться к разговору. Если многие считают, что программа «не для них», стоит выяснить почему. Возможно, непонятно объяснили содержание. Возможно, пригласили не тех сотрудников. А возможно, программу действительно нужно скорректировать.

Следующий вопрос: готов ли сотрудник изучать материал? Допустим, на занятии предстоит работать со сводными таблицами, а часть группы пока неуверенно пользуется даже фильтрами. Понимать пользу программы важно, но нужных знаний это не добавит. Входное тестирование поможет увидеть, кому нужна подготовка, а предварительные материалы и практика дадут возможность восполнить пробелы. Иначе тренера на занятии ждёт сюрприз: одной части группы будет слишком сложно, а другой слишком просто.

Как проконтролировать подготовку? Посмотреть, кто выполнил предварительные задания и как с ними справился. Если задание не выполнено, выяснить причину: одному достаточно напоминания, другому нужна помощь, третьему нужно согласовать с руководителем время на подготовку. Если многие допускают одинаковые ошибки, стоит разобрать трудную тему до начала основной программы.

Здесь многое нам знакомо. Смотрим посещаемость, завершение, результаты заданий и тестов, собираем обратную связь. Участники довольны? Считают материал полезным? С чем не справились? Если есть сопоставимые входные и итоговые задания, то можно посмотреть прирост знаний.

Но уже во время обучения можно подготовить участника к первому шагу в применении новых знаний. Для этого желательно выделить время, чтобы он сам сформулировал, что из изученного будет применять, для какой рабочей задачи и с каких действий начнёт. Чем конкретнее участник сформулирует, что и когда он сделает в работе, тем выше вероятность, что его намерение перейдёт в действие.

Не нужно вспоминать изученный материал и выбирать среди новых инструментов: можно сразу открыть нужный шаблон и начать работу по-новому.

Такой план пригодится и в разговоре с руководителем. С ним можно обсудить, подходит ли выбранная задача для первой попытки, хватит ли времени и какая помощь потребуется.

Если такая работа включена в учебную программу, то можно измерять долю участников, сформулировавших цели применения и первые шаги, а также долю тех, кто передал их руководителю. Отдельно стоит оценить содержание записей: понятно ли, какую рабочую задачу человек хочет решить, что собирается сделать, когда и как можно проверить выполнение. Лучше заранее договориться, по каким признакам оценивать записи: так будет проще сравнивать их между собой и давать участникам конкретную обратную связь.

Участнику такой план помогает перейти от обучения к первым действиям в работе. А нам, как функции обучения, его содержание показывает, какие инструменты сотрудники собираются применять и для каких задач. На этой основе можно подготовить поддержку после программы и позже выяснить, что удалось сделать, а где возникли трудности.

Перенос знаний на практику занимает время и может потребовать нескольких попыток. На занятии всё понятно: вот задача, вот инструмент, вот результат.

Сотруднику приходится приспосабливать изученное к своим условиям, ошибаться, разбираться и пробовать снова.На этом пути ему может понадобиться поддержка.

Варианты поддержки после обучения:

Состав поддержки зависит от программы и возможностей компании. Важно, чтобы участник знал, где найти нужный материал и к кому обратиться, если не получается.
Как понять, пользуются ли этой поддержкой? Можно смотреть долю участников, обращавшихся к материалам, посещавших консультации, взаимодействовавших с наставником или участвовавших в беседах сообщества. Содержание вопросов подскажет, с чем возникают трудности. Например, если участники понимают алгоритм, но не могут применить его к нестандартным задачам, полезнее собрать их ситуации и организовать встречу, чем отправлять ещё одну общую памятку.

Отдельно стоит выяснять, какую поддержку оказывает руководитель. Обсуждал ли он с сотрудником первые результаты? Помог ли найти подходящую задачу, выделить время, дал ли обратную связь? Можно смотреть долю участников, получивших такую помощь, и уточнять, чего им не хватает. Если сотрудник не может попробовать новый способ работы из-за текущей нагрузки, дополнительные материалы вряд ли решат проблему. Здесь функции обучения полезнее подключить руководителя и обсудить условия для применения.

По мере применения запросы участников могут меняться. Поэтому полезно периодически спрашивать: «Что уже попробовали? С какими трудностями столкнулись? Какая поддержка помогла, а чего пока не хватает?» Ответы подскажут, что изменить или добавить в постподдержке, а может и в самой программе.
Если участники составляли планы применения, к ним тоже можно вернуться: что удалось выполнить, что изменилось и почему?

Причин затруднений может быть много, и одинаковая поддержка всем не подойдёт. Как разобраться, что именно мешает применению, подробнее рассмотрим в статье о барьерах переноса знаний.

После обучения нам важно понимать, как участники применяют изученное, с какими трудностями сталкиваются и получают ли нужную помощь. Данные об этом помогают функции обучения корректировать постподдержку по мере появления новых задач и затруднений. Участникам это даёт возможность получить помощь в работе, а нам позволяет увидеть и отдельные запросы, и общие проблемы, которые стоит учесть в следующих запусках программ.

Сбор такой информации потребует дополнительных усилий и изменений привычных процессов. Стоит ли оно того? Решайте сами. Вот два простых примера дашбордов: один с привычными метриками, второй с дополнительными данными, которые позволяют ответить на более широкий круг вопросов.

Попробуйте найти на каждом ответы на вопросы:

• Все ли участники дошли до конца программы?
• Какая доля участников успешно сдала итоговый тест?
• Насколько участники готовы рекомендовать программу коллегам?
• Тренер готовится к первому занятию. Насколько легко ему будет вести эту группу в одном темпе?
• Первое упражнение опирается на предварительное задание. Сможет ли тренер начать с него занятие?
• Кому из участников сейчас нужна помощь руководителя?
• Потребуется ли руководителю освободить сотруднику время для применения изученного в работе?
• На каком дашборде нашлось больше ответов? У вас наверняка есть и свои вопросы к обучению. Попробуйте найти ответы на них в этих примерах.