?

Log in

Оценка эффективности обучения - Михаил Протасов [entries|archive|friends|userinfo]
Михаил Протасов

[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Оценка эффективности обучения [Sep. 8th, 2010|11:35 pm]
Михаил Протасов

Многие стандартные модели оценки эффективности обучения имеют существенные ограничения. Здесь я описываю свой взгляд на некоторые общие принципы оценки эффективности обучения, понимание которых, по моему мнению, позволяет обойти эти ограничения. Понимание этих принципов позволяет более успешно применять стандартные модели, а также разрабатывать свои собственные приемы оценки эффективности обучения, актуальные именно для конкретной организации.

 

Популярность темы оценки эффективности обучения

В последнее время наблюдается рост популярности этой темы в корпоративном секторе. Я думаю, что это связано с тем, что из-за кризисных ожиданий у руководства компаний резко возросло желание видеть отдачу от расходов и инвестиций.

Зачем оценивать эффективность обучения

  1. Чтобы обосновать его необходимость
  2. Чтобы определить приоритетные направления развития

Расстановка акцентов между этими двумя целями, на мой взгляд, должна влиять на процесс оценки эффективности.

Объекты оценки

Можно оценивать эффективность следующего:

  1. Конкретная система обучения в целом
  2. Ее подсистема
  3. Конкретный курс
  4. Элемент курса
  5. Набор курсов
  6. Конкретная учебная технология
  7. Конкретная реализация этой технологии
  8. И т.д.

Отсутствие явного указания, что именно оценивается, может привести к недоразумениям.

Учет целей обучения

При оценке эффективности обучения разумно исходить из его целей. Для этого нужно иметь эти цели прописанными на бумаге. На практике же их часто нет, либо они являются исключительно декларативными, никак не влияя на работу.

Я воспринимаю оценку эффективности именно как оценку степени достижения целей. Разработка системы оценки эффективности предполагает работу с целями: их анализ, детализацию, переосмысление и т.д.

Поэтому отсутствие целей или их «декларативность» делает и оценку эффективности тоже «декларативной». Если оценка проводится для обоснования необходимости обучения, то отсутствие хороших целей может быть компенсировано хорошими личными отношениями с начальством (или с тем, для кого делается обоснование). Если же при оценке эффективности акцент ставится на определении приоритетных направлений развития, то хорошо проработанные цели необходимы.

Сложность постановки целей

Иногда наличие хороших целей подразумевается как нечто само собой разумеющееся. Я же считаю, что постановка целей – самая трудная часть оценки эффективности.

При разработке учебных курсов под целью обучения я обычно понимаю применение обучившимися изученного на практике. Но, так как объектом оценки может быть не только учебный курс, но и система обучения в целом, элемент курса, учебная технология и т.д., помимо этой цели могут быть выделены и другие. Например, у отдела обучения в числе целей может быть достижение определенного процента охвата целевой аудитории обучением, концентрация на лучших сотрудниках, сокращение издержек на обучение и т.д.

Качество постановки целей

При оценке эффективности обучения первым делом следует оценить само качество постановки целей.

На практике о целях, поставленных по SMART, часто и речи не идет. Цели могут быть очень размытыми, неконкретными и т.д. Причина этого в том, что формализовать какую-либо предметную область, а особенно такую сложную, как обучение, очень трудно. Полную формализацию провести вообще невозможно.

Но это не означает, что не нужно пытаться осуществить формализацию. Хорошо осуществленная формализация в любом случае полезна, т.к. повышает осознанность работы. Нужно пытаться приблизить цели к SMART настолько, насколько это возможно.

Одно из условий хорошей формализации – понимание, что она не идеальна. Понимание, что в практике могут встречаться ситуации, которые не удалось формализовать. Такие ситуации нужно суметь выявить и, вместо того чтобы подгонять ситуацию под стандартную схему, изменить саму схему. Отсюда следует, что процесс формализации, как и процесс постановки целей, является непрерывным, бесконечным. И это нормально. Регулярный пересмотр целей обучения пойдет обучению на пользу.

Цели, спускаемые сверху

Часто цели спускаются сверху. Это вызывает желание ответственных за достижение целей сотрудников переложить всю ответственность за постановку целей на руководство. Я не думаю, что это правильно. Руководство сталкивается с теми же самыми проблемами при формализации. При этом самостоятельно, без подчиненного, вряд ли сможет с этими проблемами справиться, так как не знает всех тонкостей. Разработка целей должна осуществляться итеративно и совместно. Если в таком формате работать не удается, то причина, скорее всего, в низком уровне развития навыков межличностного взаимодействия у обеих сторон.

Ценности и миссия

Правильное целеполагание через какое-то время приводит к вопросам о ценностях и миссии. Думаю, наличие таких вопросов можно рассматривать как проверку, верным ли путем мы движемся. Если такие вопросы возникли и появилось осознание их актуальности – значит, все правильно. Если не возникли, либо кажутся не особо актуальными, значит, либо идем неверным путем, либо пока не слишком далеко ушли.

Работа над ценностями и миссией – отдельный и весьма непростой вопрос. Здесь не буду описывать свое мнение по этому поводу. Возможно, позже напишу отдельный пост.

Оценка достижения целей

Итак, мы поставили цели и осознали, что эти цели не идеальны, тем не менее, нужно работать с ними. Что дальше? Дальше нужно понять, как оценить степень достижения этих целей. Для примера рассмотрим цель «обучившиеся применяют изученное на практике». Как определить, применяют ли они или нет? Можно спросить у них. Можно спросить у руководителя. Можно понаблюдать за их работой, скрыто или явно. Можно попытаться проанализировать результаты работы. Можно использовать другие способы. Гарантируют ли все эти меры достижение цели? Нет. Нужно ли осуществлять эти меры? Да.

На этом этапе сложность возникает с тем, что проверить, достигнута ли цель, часто очень сложно либо вообще невозможно. Обучившийся может сказать, что применяет изученное, а на самом деле не применять. Руководитель может не знать наверняка, и дать ответ только исходя из случайных сведений. Обучившийся может применить изученное во время наблюдения за ним, а в другое время не применять. Положительные результаты работы могут быть связаны не с применением изученного, а с какими-либо другими факторами. В некоторых ситуациях можно гарантированно отследить, достигнута ли цель или нет, в других – нельзя.

Однако даже при отсутствии гарантии пытаться отслеживать нужно. Высокая, но не 100%-ная степень уверенности – это лучше, чем низкая степень уверенности.

Анализ условий достижения цели

Помимо непосредственной оценки достижения цели, полезно также задуматься, есть ли какие-либо условия, которые обеспечат ее достижение. Также стоит проанализировать, есть ли какие-либо условия, при которых ее достижение будет невозможно. Рассмотрим еще раз цель «обучившиеся применяют изученное на практике». Можно предположить, что ее достижение будет гарантировано при выполнении следующих условий:

  1. Обучившиеся мотивированы на применение изученного
  2. Обучившиеся владеют знаниями, умениями, навыками, необходимыми для применения изученного
  3. Отсутствуют организационные и технические препятствия, мешающие обучившимся применять изученное, либо обучившиеся успешно преодолевают эти препятствия

Можно пытаться проверять выполнение этих условий. Это полезно не только как дополнительное подтверждение (или не подтверждение) достижения цели, но и как способ найти приоритетное направление развития, слабое место, мешающее достижению цели.

Ориентация на результат или процесс

Модели оценки эффективности обучения иногда разделяют на результатоориентированные и процессоориентированные. Я думаю, что через детальный анализ целей как раз осуществляется переход от результатов к процессам. Кроме того, я думаю, что при начале работы над ценностями и миссией параллельно запускается и обратное: движение от процессов к результатам. Думаю, что такое «двухстороннее» движение является наиболее эффективным способом работы.
 

Интересные статьи об оценке эффективности

Вот несколько интересных статей с сайта trainings.ru, одного из лучших мне известных российских источников теоретической информации о корпоративном обучении:

  1. http://www.trainings.ru/library/articles/?id=6349 – статья про модель Киркпатрика
  2. http://www.trainings.ru/library/articles/?id=6328 – обзор популярных стандартных моделей оценки эффективности обучения
  3. http://www.trainings.ru/library/reviews/?id=10540 – о KPI и ROI

Буду благодарен за информацию о других полезных источниках, рассказывающих об эффективности обучения.

Также приглашаю к обсуждению этого поста. Думаю, что некоторые моменты из него являются спорными, и буду рад услышать альтернативную точку зрения.

Если что-то из поста является трудным для понимания, буду признателен за указание, что именно.

 

LinkReply

Comments:
[User Picture]From: animintervent
2010-09-10 08:44 am (UTC)
Привет, Михаил.
Я тоже много думал над подобными вопросами, но пришел к несколько иным вариантам ответа.
Про смарт-цели Вы хорошо написали. У меня тоже ничего с ними не получается - сотрудники про обучение понимают что-то свое, у них свои ожидания от обучения и переубедить их оказывается зачастую невозможно + они не хотят особо тратить время на четкое определение целей. Для себя я определил 2 подхода к обучению - целевой и функциональный, в которых я работаю. Вообще подробно об этом я напишу как-нибудь позднее. Но вкратце все выглядит следующим образом. На самом деле под обучением мы понимаем как минимум 4 вещи, которые обычно никто не различают:
1. подготовку (подготовка к профессиональной деятельности, освоение основных рабочих процессов)
2. обучение (освоение общих готовых приемов и способов деятельности, например в рамках технологии продаж)
3. повышение грамотности (например, умение читать, писать, говорить на иностранном языке, пользоваться word, excel и т.д. и т.п.)
4. образование (это когда мы учим человека самому строить свою деятельность, развиваем мышление вообще).
По каждому из этих видов обучения свои критерии оценки эффективности.
Целевое обучение - это очень просто, оно работает в схеме: 1) "результат" (четко измеримый) - 2) "компетенция, необходимая для достижения конкретного результата" (конкретно измеримый показатель) - 3) мероприятия по повышению уровня компетенций. Соответственно, если достигнута целевая результативность деятельности и мы уложились в отведенные для этого ресурсы - наша работа результативна.
Как Вам такой подход?
(Reply) (Thread)
From: protasovelearn
2010-09-10 08:40 pm (UTC)
Привет, Андрей!

Уточните, правильно ли я Вас понял.

Вы считаете, что в обучении стоит различать целевой и функциональный подход. В рамках целевого подхода Вы в целом согласны с написанным мной, существенных возражений не имеете. В рамках же функционального подхода, на Ваш взгляд, сама логика мышления о понятии "эффективность обучения" должна быть иной. Ценность выделения целей в рамках функционального подхода, на Ваш взгляд, довольно низка, в отличие от целевого подхода. К целевому подходу Вы относите "подготовку" и "обучение", а к функциональному "повышение грамотности" и "образование". При этом эти 4 вида обучения образуют иерархию, от 1 к 4.

Если я в чем-то неправильно Вас понял, то поправьте меня, пожалуйста.

Если в целом правильно, то вот мой ответ. Описанные Вами 4 вида обучения, на мой взгляд, отличаются прежде всего сложностью формализации. Других существенных отличий между "подготовкой" и "образованием" (в Вашей терминологии) я сейчас не вижу (кстати, сами выбранные Вами термины мне не очень нравятся).

Постановку целей я воспринимаю как часть формализации. Я думаю, что даже в трудно формализуемых областях (обучение системному мышлению) полезно пытаться ставить цели. В этих случаях особенно важно осознавать и постоянно держать в голове, что цели не идеальны, даже, возможно, очень далеки от соответствия реальной ситуации. Тем не менее, даже цель, удовлетворяющая нас на 10%, лучше, чем отсутствие цели вообще. Цель повышает уровень осознанности.

Описанные Вами виды обучения полезны с точки зрения анализа сложности формализации ситуации. Но я не вижу, какую альтернативу целевому подходу они могут предлагать. Вполне допускаю, что такая альтернатива все же существует. Если у Вас она есть, было бы очень интересно познакомиться с ней.

Еще важно понимать 2 вещи:
1. Я не требую, чтобы цели были четкими. Если четкую цель не получается сформулировать, то допустима нечеткая. Эту нечеткость нужно хорошо осознавать и не забывать о ней.
2. При анализе самых сложных форм обучения очень важными станут вопросы ценностей и миссии. Через погружение в эти вопросы могут появиться радикально новые цели, сильно отличающиеся от всего, что было раньше.

Я не согласен, что целевое обучение - это "очень просто". Иногда это просто, а иногда очень сложно, и в этих случаях предложенная Вами схема перестает работать.

Любое обучение является "целевым" и любое является "функциональным".

Вот мое мнение по этому вопросу. Не исключаю, что в будущем оно может поменяться. Хотелось бы услышать Ваши мысли по поводу этого.
(Reply) (Parent) (Thread)