1

1 «Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина»

Выполнен анализ применяемых в настоящее время методик текущего контроля уровня обученности и оценки качества усвоения материала. Обозначена и обоснована необходимость совершенствования методики оценки и контроля качества подготовки специалистов. На основе данных, полученных в результате исследования, разработана перспективная методика оценки качества подготовки в условиях заданного множества оцениваемых элементов с учётом ранжирования оцениваемых элементов и присвоения весовых коэффициентов значениям традиционной балльной системы. Применение предложенной методики позволит повысить эффективность профессиональной подготовки за счёт получения и использования в процессе планировании учебного процесса и управления качеством подготовки объективных данных о качестве подготовки специалистов. Кроме того, полученные результаты целесообразно использовать в балльно-рейтинговых системах оценки профессиональной подготовленности выпускников.

качество подготовки

методика оценки

контроль качества

учебный процесс

1. Болотов В. А. О построении общероссийской системы оценки качества // Вопросы образования. – 2005. – № 1. – С. 5-10.

2. Бордовский Г.А. Управление качеством образовательного процесса / Г. А. Бордовский, А. А. Нестеров, С. Ю. Трапицын. – СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. – 359 с.

3. Далингер В. А. Измерение качества профессиональной подготовки специалиста с помощью математической модели Раша // Современные наукоемкие технологии. – 2007. – № 11 – С. 47-48.

4. Дрешер Ю. Н. Как оценить качество подготовки специалиста // Образовательные технологии. Теория и практика обучения. – 2014. – № 2. – С. 80-91.

5. Поташник М. М. Качество образования: Проблемы и технологии управления. (В вопросах и ответах). – М.: Педагогическое общество России, 2002. – 352 с.

6. Сидоров П. И. Системный мониторинг образовательной среды /П. И. Сидоров, Е. Ю. Васильева. – Архангельск, 2007. – 360 с.

7. Симонов В. П. Диагностика степени обученности учащихся: учеб¬но-справочное пособие. – М.: MRA, 1999. – 48 с.

В практике высшего профессионального образования зачастую возникают расхождения между качеством подготовки выпускника, как результатом образовательного процесса, и требованиями производства и общества. Эти расхождения обуславливаются различиями в подходах к оценке качества профессиональной подготовки специалиста в вузе и на предприятии-заказчике. Помимо этого, в ряде случаев различия в системе оценки определяются несовершенством существующих методик оценки качества подготовки.

Переход системы высшего профессионального образования на качественно новую ступень требует адекватной технологии оценивания результатов образования, обеспечивающей единство подходов к оценке качества подготовки. В настоящее время возрастает значение систематической оценки качества подготовки специалистов непосредственно в период их обучения. Осуществляется это с целью мониторинга текущих показателей качества подготовки специалистов, определения соответствия фактических показателей качества подготовки промежуточным контрольным значениям и внесения своевременных корректив в систему планирования и управления качеством подготовки применимо к каждому обучаемому. При этом реализуются самые разнообразные подходы к оцениванию результатов обучения: тестирование остаточных знаний по дисциплинам различных циклов учебного плана подготовки специалистов; стандартные формы проверки уровня сформированности знаний, умений, навыков и т.д. .

Подготовка компетентного, конкурентоспособного специалиста требует разрешения противоречия между потребностью в системе эффективных диагностических методик при оценке качества подготовки специалиста и недостаточностью научно-методического обеспечения текущего и итогового контроля оценки качества подготовки .

В последнее время в педагогике наметилась тенденция к активному применению категории «качество» для анализа и интерпретации различных явлений, аспектов педагогической действительности. Одним из направлений такого анализа является системное рассмотрение качества подготовки во всех педагогических системах, в том числе и высшего профессионального образования . Под качеством подготовки принято понимать соответствие уровня подготовки специалиста требованиям профессиональной среды, в которой ему предстоит работать. В соответствии с современными взглядами понятие качества однозначно соотносится с процессом оценивания, что отражается и в понятийной структуре образования. Однако существующая система оценки подготовки специалистов не в полной мере соответствует формируемым рынком услуг потребностям. И этому явлению есть вполне логичное объяснение, имеющее исторические корни.

С введением в России в 1944 году так называемой «пятибалльной» системы оценки понятие оценка качества образования (уровень подготовки), как характеристика степени усвоения учебного материала в процессе формирования необходимых знаний, умений и навыков, было подменено понятием «успеваемость», то есть подсчётом количества положительных оценок, которые преподаватель ставил достаточно субъективно .

В 1981 году Министерство высшего и среднего специаль-ного образования СССР своим письмом № 31 от 26.10.81 г. «О контроле учебной работы и оценке знаний студентов на экзаменах» установило критерии четырехбалльной шка-лы итоговых оценок обученности студентов. Этот документ фактически повторил, исключив балл «единица», инструк-цию 1944 года с сохранением всех ее недостатков.

Сформулированные критерии очень да-леки от того, что характеризуют знания, умения и навыки, а повторяют все те же общие положения 1944 года.

В современной пятибалльной шкале, а реально - в трёхбалльной, оценка «два» скорее указывает на полное несоответствие требованиям, а не на степень усвоения учебного материала. Это сократило пятибалльную шкалу оценки фактически до трёх баллов. Хотя изначально пятибалльная система предполагала именно оценку степени обученности личности (усвоения и воспроизведения знаний). Оценить же степень обученности, используя в качестве положительных только три балла, было практически невозможно. Именно поэтому педагоги зачастую применяли в совокупности с оценочными баллами знаки « + » и « - », которые позволяли более корректно обозначить степени обученности, а для качественной оценки уровня усвоения учебного материала использовались понятия «твёрдая четвёрка», «слабая тройка» и т.д. Такие показатели свидетельствовали о стремлении фактических показателей к граничным значениям и подразумевали необходимость приведения этих показателей к более «уверенным» значениям.

Представленная графическая модель проверки и оценки степени обученности личности (рисунок) обеспечивает упрощённый переход к условной количественной интерпретации балльных оценок.

На этой основе проблема получения объективной характеристики обученности (подготовленности, уровня квалификации, уровня подготовки личности) решается более успешно в любой системе обучения. Общая идея заключается в уходе от традиционной системы оценки при определении уровня и качества профессиональной подготовки специалиста.

Практика показывает, что одной из причин, способной значительно снизить эффективность подготовки специалистов, может стать необъективность оценки уровня их подготовки, обусловленная несовершенством системы оценки или отсутствием необходимой методики оценки по выбранным критериям. Некорректные значения оценки качества подготовки формируют ложное представление о возможности и готовности специалиста реализовать свой потенциал, требуют внесения корректив в содержание и направленность дальнейшей профессиональной подготовки, снижая в целом эффективность системы подготовки.

Неточные, а порой и откровенно ошибочные значения фактического уровня подготовки специалистов зачастую обусловлены тем, что возникает необходимость оценки какого-либо показателя или параметра подготовки по нескольким элементам, имеющим к тому же различные по значению степени важности (влияния на конечный результат).

Модель оценки соответствия степеней и уровней обученности личности

Положение о необходимости оценки качества подготовки специалистов по нескольким элементам с учётом их значимости в целях получения корректных значений легло в основу разработки специальной методики, учитывающей указанные условия.

Предлагаемая методика оценки качества подготовки (степени усвоения учебного материала) специалистов основывается на определении степени значимости каждого оцениваемого элемента методом экспертных оценок и присвоении стандартным оценкам по каждому оцениваемому элементу весовых коэффициентов, соответствующих их значению.

Порядок оценки качества практической подготовки по каждому i -тому параметру (i -тому упражнению, заданию) следующий:

1. Определяется перечень оцениваемых элементов (чем больше элементов, тем, соответственно, выше точность конечного значения) и производится их ранжирование по степени важности, то есть каждому из них присваивается абсолютный ранг (как указывалось выше, ранжирование проводится методом экспертных оценок).

2. По закону нормального распределения определяется относительный ранг каждого элемента по соотношению:

где Ni - порядковый номер (абсолютный ранг) критерия в упорядоченном перечне;

n - общее количество учитываемых элементов.

3. Определяется нормированный ранг R н i каждого элемента (весовое соотношение между элементами) в общей сумме рангов, равной единице:

4. Далее присваиваются весовые коэффициенты оценкам. Для получения корректных значений показателей качества из всех значений пятибалльной системы нас устраивают только оценки «удовлетворительно», «хорошо» и «отлично». Оценка «неудовлетворительно» нас не устраивает, так как не характеризует качество подготовки, а только лишь указывает на несоответствие предъявляемым требованиям, следовательно, её удельный вес будет равен нулю (табл. 1).

Таблица 1

Соответствие стандартных оценок значениям их удельного веса

Нередки случаи, когда возникает необходимость оценить тот или иной элемент на предмет соответствия требованиям по двухбалльной шкале: соответствует или не соответствует (выполнено - не выполнено; обеспечивает - не обеспечивает). В этом случае приемлемо условие, что удельный вес оценки, соответствующей законам данной системы, будет следующим (табл.2).

Причём, в расчётах предлагается в случае правильного ответа (как единственного, соответствующего предъявляемым требованиям) использовать оценку «отлично», удельный вес которой равен единице. В случае неверного ответа предлагается использовать оценку «неудовлетворительно». Её удельный вес будет равен нулю, так как условие соответствия предъявляемым требованиям не будет выполнено.

Таблица 2

Соответствие оценок двухбалльной системы значениям их удельного веса

6. Завершающим этапом является вычисление итогового показателя качества подготовки (К итог), который определяется как сумма показателей по i -тому оцениваемому элементу:

7. В целях получения качественной характеристики показателей подготовки, соответствующей полученной оценке и расчётному значению показателя качества, можно воспользоваться шкалой соответствия Харрингтона (табл.3).

При необходимости, для проведения сравнительного анализа или мониторинга изменения показателей качества подготовки, полученные значения показателя качества можно представить в процентах. Например:

Китог* 100 % = 0,87 *100 = 87 % (степень освоения в процентах по отношению к максимально возможному значению).

Таблица 3

Соответствие стандартным оценкам значений показателя качества

Качественная характеристика показателей подготовки (соответствие стандартной оценке)		Значение показателя качества
Очень высокая	(отлично)
	(удовлетворительно)
	(неудовлетворительно)
Очень низкая

В этом случае (при значении итогового показателя качества Китог = 0,87) качественная характеристика подготовки специалиста будет соответствовать значению «очень высокая».

Численные значения качества подготовки (в десятичном и процентном выражении), ввиду удобства обработки показателей в таком виде, рекомендуется применять в балльно-рейтинговых системах оценки профессиональной подготовленности специалистов.

В то же время качественные характеристики показателей качества подготовки помогут сформировать так называемые «группы риска» с показателями качества подготовки ниже средней.

К вышесказанному следует добавить, что в зависимости от получаемых при помощи предлагаемой методики результатов рекомендуется осуществлять контроль качества подготовки с различной интенсивностью (табл.4).

Таблица 4

Интенсивность контроля качества подготовки с учётом текущих показателей

Качественная характеристика показателей подготовки	Количественное значение показателей качества	контроля
Очень высокая		Периодически, до снижения текущих показателей
		Систематически, до достижения более высоких показателей
		Непрерывно, до достижения более высоких показателей
Очень низкая

В заключении необходимо отметить, что предлагаемая методика оценки качества подготовки специалиста была разработана с учётом недостатков действующих методик. При этом реализована возможность оценки конечных результатов по заданному количеству оцениваемых элементов в соответствии с их абсолютным рангом, определяющим степень важности или влияния на конечный результат.

Применение разработанной методики оценки качества подготовки в учебном процессе обеспечивает получение корректных количественных значений и качественных характеристик показателей подготовки специалистов, что позволяет использовать полученные значения в балльно-рейтинговых системах учебных заведений и своевременно корректировать содержание и объём профессиональной подготовки. В целом полученные результаты обеспечивают повышение эффективности системы профессиональной подготовки специалистов.

Библиографическая ссылка

Гетман А.В. МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ В УСЛОВИЯХ ЗАДАННОГО МНОЖЕСТВА ОЦЕНИВАЕМЫХ ЭЛЕМЕНТОВ С УЧЁТОМ ИХ РАНЖИРОВАНИЯ ПО СТЕПЕНИ ВАЖНОСТИ // Современные проблемы науки и образования. – 2016. – № 2.;
URL: http://science-education.ru/ru/article/view?id=24179 (дата обращения: 25.11.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

ISSN 1992-6502 (P ri nt)_

2014. Т. 18, № 3 (64). С. 203-209

Ъыьмт QjrAQnQj

ISSN 2225-2789 (Online) http://journal.ugatu.ac.ru

Метод комплексной диагностики уровня профессиональной подготовки

и личностных качеств технических специалистов

при отборе и аттестации персонала

н. с. Минасова 1, с. в. тархов2, ю. р. Шагиева 3

1 [email protected], 1 [email protected], 2 [email protected]

1,2 ФГБОУ ВПО «Уфимский государственный авиационный технический университет» (УГАТУ) 3 ФГБОУ ВПО «Башкирский государственный аграрный университет» (БГАУ)

Аннотация. Предложен метод комплексной диагностики, предусматривающий использование при управлении процессом отбора и аттестации персонала вариативного комплекса диагностических средств, основанных на совместном применении экспертных (качественных) и квалиметрических (количественных) методов, позволяющих определять значения интегрального показателя, характеризующего уровень профессиональных (квалификация) и личностных качеств специалистов как в процессе отбора претендентов на вакантные должности, так и в процессе аттестации сотрудников.

Ключевые слова: управление персоналом; оценка подготовки специалистов; отбор персонала; квали-метрические методы; экспертные методы.

ВВЕДЕНИЕ

В современных условиях любая успешно действующая организация использует информационные технологии в системе управления персоналом. Одной из важных и сложных с научно-практической точки зрения задач, решаемых в настоящее время в системах управления персоналом, является задача диагностики профессиональных и личностных качеств технических специалистов, принимаемых на вакантные должности, а также сотрудников организации в процессе их аттестации. Сложность и трудоемкость решения задачи диагностики особенно велика в тех случаях, когда к техническому специалисту предъявляются высокие требования как в области конкретных знаний, умений, навыков и компетенций, так и его личностных качеств. В данной области исследований существует ряд нерешенных научно-технических задач, связанных в частности с разработкой методов и алгоритмов комплексной диагностики уровня профессиональной подготовки и личностных качеств технических специалистов, которые являлись бы универсальными и одинаково эффективными при их использовании как в процессе отбора персонала на вакантные рабочие места, так и в процессе аттестации сотруд-

ников организации. Универсальный метод комплексной диагностики уровня профессиональной подготовки и личностных качеств технических специалистов является ключевой основой для создания информационной системы поддержки принятия решений (ИС1II1Р) при управлении персоналом организации.

Применяемые в настоящее время методы диагностики персонала базируются, как правило, либо на использовании экспертных оценок уровня профессиональной подготовки и личностных качеств специалистов (Д. А. Аширов , И. Н. Герчикова, Э. Гроув), либо на применении технологий тестирования. (Г. Десслер , В. А. Дятлов, В. Р. Веснин, В. В. Травин и др.). В то же время всесторонняя и объективная оценка профессиональной подготовки и личностных качеств технических специалистов возможна лишь при применении метода комплексной диагностики. Необходимость и, как следствие, актуальность дальнейших научных исследований в этой области вызвана следующими основными причинами:

Высокой сложностью информационных процессов, связанных со всесторонней комплексной диагностикой уровня профессиональной подготовки и личностных качеств технических специалистов как претендующих на ва-

кантные должности, так и проходящих аттестацию сотрудников организации;

Недостаточной глубиной научной проработки и практических исследований информационных процессов поддержки принятия решений при управлении персоналом организации.

Данная статья является логическим продолжением ряда работ , в которых были разработаны модели, методы и алгоритмы диагностики обучающихся, а также технических специалистов, претендующих на вакантные места в организации.

Разработка метода комплексной диагностики уровня профессиональной подготовки и личностных качеств технических специалистов позволит создать ИСППР, в которой будут использованы единые информационные ресурсы базы данных и интеллектуальные алгоритмы базы знаний, используемые при управлении персоналом на всех этапах жизненного цикла специалиста, начиная от приема сотрудника на работу и завершая его увольнением.

Метод комплексной диагностики уровня подготовки и личностных качеств специалистов

На рис. 1 иллюстрируется принцип комплексной диагностики, предусматривающий интеграцию данных экспертных оценок (качественные методы) и результатов квалиметриче-ской диагностики (количественные методы) уровня профессиональной подготовки и личностных качеств технических специалистов (испытуемых).

Рис. 1. Методы комплексной диагностики

Для практической реализации метода комплексной диагностики уровня профессиональной подготовки и личностных качеств технических специалистов при отборе и аттестации персонала разрабатывается эталонная модель профессиональной деятельности специалиста (ЭМПДС). В теоретико-множественном описании:

ЭМПДС = <ЦД, ЗД, РМ, ДО, ПЗК>, (1)

где ЦД - цель деятельности; ЗД - множество задач деятельности; РМ - множество требований к рабочему месту (среде); ДО - множество должностных обязанностей; ПЗК - множество требуемых профессионально-значимых качеств специалиста, определяемых по формуле

ПЗК = <УО, ОР, К, ЗУН, ПД, ЛК>, (2)

где УО - уровень образования; ОР - опыт работы; К - компетенции; ЗУН - знания, умения, навыки; ПД - профессиональные достижения; ЛК - личностные качества.

В свою очередь личностные качества ЛК определяются совокупностью характеристик специалиста

ЛК = <УИ, УЭ, УМ, УВ>, (3)

где УИ - уровень интеллекта (понимание задач и обязанностей, знание средств достижения цели, прогноз деятельности и др.); УЭ - уровень эмоциональности (уверенность в успехе, чувство ответственности и т. д.); УМ - уровень мотивации (интерес, стремление к успеху, потребность качественного выполнения поставленных задач и т. п.). УВ - уровень воли (сосредоточенность на задаче, мобилизация сил, отвлечение от помех, преодоление сомнений).

При задании значений показателей ЭМПДС устанавливают требуемые максимальные, а также пороговые (минимально допустимые для данной должности) значения показателей.

Для каждого специалиста в информационной системе формируется, хранится и обрабатывается модель профессиональной деятельности МПД. В теоретико-множественном описании она представляется в виде

МПД = <УО" ОР, К, ЗУН", ПД ", ЛК" >, (4)

где символ апостроф («" ») показывает, что принятые в формуле обозначения, соответствующие множеству профессионально-значимых качеств специалиста (см. формулу (2)), характеризуют конкретного претендента.

В случае проведения диагностики в процессе аттестации персонала в организации, некоторые характеристики, такие как личностные ка-

Анализ, Собеседование, Анкетирование,

документов ин 1ервью опросы

Эксперт Испьиу емые | ИСсопиысткуаетмелыие

Оценка деятельности Эксперт

Испытуемые

Испытание квалификации Эксперт

Испытуемые

Качественные методы

ИСППР, основанная на комплексной диагностике

Коли чественные методы

Деловая игра Эксперт

Испытуемые

Адаптивная диагностика

Испытуемые

чества, могут не использоваться в зависимости от должности, занимаемой специалистом.

Для реализации информационной поддержки принятия решений по результатам диагностики применяется продукционная система, которая предоставляет лицу, принимающему решения, рекомендации Р, полученные как на основе комплексной диагностики специалиста, так и с учетом ретроспективных данных о его деятельности в организации, которые хранятся в базе данных системы. В теоретико-множественном описании:

Р = <БД, БП, Ф>,

где БД - база данных, содержащая информацию об испытуемых, представленную в виде моделей претендентов (МП) на должность; БП - база продукционных правил; Ф - функции выбора на основе БП из БД испытуемых, параметры которых не соответствуют параметрам ЭМ.

Для измерения значений показателей (параметров и индикаторов), характеризующих уровень профессиональной подготовки и личностных качеств технических специалистов (испытуемых) используем квалиметрические средства диагностики, основанные на применении средств и методов тестового контроля, позволяющие выполнить оценку состояний испытуемых. Диагностический тест состоит из взаимосвязанного комплекса тестовых заданий, каждое из которых может быть реализовано в виде одной из шести форм. Схема классификации тестовых заданий была рассмотрена в работе . Указанная классификация с условными обозначениями типов тестовых заданий представлена на рис. 2.

В зависимости от типа тестового задания балл, набранный испытуемым при выполнении тестового задания, может быть либо бинарной оценкой (для тестовых заданий типа А и Е), либо находиться в пределах между 0 и 1 (для тестовых заданий типа В, С, D, F и G).

При выполнении испытуемым тестового задания могут иметь место четыре ситуации:

Вариант ответа верный, испытуемым выбран;

Вариант ответа неверный, испытуемым не выбран;

Вариант ответа верный, испытуемым не выбран;

Вариант ответа неверный, испытуемым выбран.

Балл Я7 (0 < Я < 1), полученный испытуемым после выполнения тестового задания типа А или Е, может быть определен по формуле

1, при (Т, й для А) V (Т, = ОТ для Е), (6) 0, при (Т, е О™" для А) V (Т, * ОГ для Е),

где Т, - множество ответов, данных испытуемым при выполнении 7-го тестового задания (в общей структуре теста); - множество ди-

стракторов (неверных ответов) 7-го тестового задания; ОТгие - множество верных ответов 7-го тестового задания.

Балл, полученный испытуемым после выполнения тестового задания типа В, С, или Б, может быть определен по формуле

I № - N - п°ш + 2 ■ пГ

при Т е ОТ при т й ег

где №тв - общее число вариантов ответа на тестовое задание; №Тгие - число верных вариантов ответов на тестовое задание; пОтв" - общее число вариантов ответов, выбранных испытуемым; пТгие - число верных вариантов ответов, выбранных испытуемым.

Балл, полученный испытуемым после выполнения тестового задания типа Б, может быть определен по формуле

Рис. 2. Классификация тестовых заданий

На этапе проектирования теста в зависимости от его назначения (тест профессиональных достижений, тест на мотивацию, тест на внимание и т. д.) может быть установлена категория

сложности тестовых заданий, которая экспертным путем определяется тестологом. С учетом уровней сложности тестового задания определяется вес ответа испытуемого V7 на 7-е задание теста, вычисляемый по формуле

где С7 - уровень сложности 7-го тестового задания; N - количество тестовых заданий в общей структуре теста.

Уровень сложности 7-го тестового задания С7, определяемый как С, = ф(Кт), где Кт - текущая категория (уровень) сложности группы тестовых заданий, Ке Ж; Ж - нечеткая переменная, область определения которой зависит от выбранной шкалы; нечеткая переменная Ж может принимать значения в соответствии с ранговой шкалой (например, шкалой предпочтений Харрингтона) при дефазификации лингвистической переменной. Значения Ж вычисляются как среднее геометрическое значений функции принадлежности для соответствующей категории сложности тестовых заданий. При этом для создания теста проектирование заданий с категорией сложности «Минимальный» не имеет смысла. Значения переменной Ж для различных категорий сложности тестовых заданий приведены в табл. 1.

Таблица 1

Ранговая шкала

тестовых заданий принадлежности переменной Ж

Высокий 0,80 - 1,00 0,89

Хороший 0,64 - 0,80 0,72

Средний 0,37 - 0,64 0,49

Низкий 0,20 - 0,37 0,27

Минимальный 0,00 - 0,20 -

Помимо сложности тестовых заданий в тесте возможен учет временных ограничений на его прохождение, и, кроме того, времени ответа испытуемого на конкретное тестовое задание. Коэффициент учета времени ответа на 7-е задание Т = 1 при Тфакг < ТНОрМ и Г, =0 при

Тфакг > Тнорм. При Тнорм < Тфакт < Т™* коэффициент учета времени ответа на 7-е задание теста вычисляется по формуле

^гфакт ^норм Т ах _ ^гиорм

где Тфакт - фактическое время ответа на 7-е задание теста; т™рм - нормативное время ответа

Максимально допустимое время ответа на 7-е задание теста.

Нормативное время ответа на 7-е задание теста т,норм устанавливается с учетом того, чтобы испытуемый имел возможность ознакомиться с содержанием тестового задания и вариантами ответов, осмыслить их и выбрать правильный (правильные), по его мнению, ответ (ответы). Максимально допустимое время ответа на 7-е задание теста может задаваться как константа для всех заданий теста или назначаться для каждого отдельно взятого задания в зависимости от категории его сложности, т. е.

Ттах = / (С,),

поскольку логично предположить, что для ответа на сложное задание требуется больше времени, чем на простое задание.

Итоговый балл Я, набранный испытуемым в процессе тестирования, являющийся показателем, характеризующим уровень его профессиональных и/или личностных качеств (в зависимости от вида выполненного им теста), с учетом сложности тестовых заданий и ограничения времени на их выполнение определяется по формуле

Nс т К = Т сN-T К К е.

Таким образом, итоговый результат квали-метрической диагностики позволяет получить как значение показателя в виде общей оценки за выполнение испытуемым теста в целом, так и информацию об ответах испытуемого на каждое тестовое задание, о времени прохождения теста в целом и времени ответа на каждое тестовое задание.

Для оценки уровня профессиональных (квалификация) и личностных качеств претендентов с использованием качественных (экспертных) методов применим функцию принадлежности и ранговую шкалу Харрингтона (рис. 3), в которой фактическим значениям соответствующих показателей и индикаторов придается конкретный смысл, связанный выполняемой оценкой испытуемых в рамках комплексной диагностики

где Е - значения шкалы предпочтений, Я -значения лингвистической шкалы Ь = [-4; 4], с соответствующими значениями уровней лингвистической шкалы .

0 I I I I I I I I I I л I I I I I I I I I I I I I I I I I I I I I I

4-3-2-10 1 2 3 4

Рис. 3. Функция Харрингтона для шкалы Ь = [-4; 4]

Значение функции принадлежности Харрингтона Е = 0 соответствует неприемлемому уровню параметра. Значение функции принадлежности Е =1 (при выбранной лингвистической шкале Ь = [-4; 4], Е= 0,981851073), соответствует полностью приемлемому уровню показателя.

При практической реализации процесса диагностики испытуемых для измерения различных показателей и индикаторов с использованием методов экспертных оценок могут быть использованы:

Пятиуровневая лингвистическая ранговая шкала с набором основных термов: «Высокий», «Хороший», «Средний», «Низкий», «Минимальный» (см. табл. 1);

Расширенная лингвистическая ранговая шкала (табл. 2) с набором основных и дополнительных термов: «Высокий», «Не достаточно высокий», «Хороший», «Не достаточно хороший», «Средний», «Выше чем средний», «Низкий», «Выше чем низкий», «Минимальный», «Выше чем низкий минимальный».

Для реализации метода многокритериального ранжирования претендентов составим расширенную ранговую шкалу, характеристики которой приведены в табл. 2.

Рассмотрим постановку и решение задачи диагностики состояния испытуемых с использованием экспертных методов.

Для решения задачи зададим функцию принадлежности цг (х) и для каждого Л рассчитаем значение (х). В частном случае для всех па-

раметров (х) может быть одинаковой. Выбор вида функций принадлежности во многом определяется субъективными факторами, поскольку он зависит от проектировщика, разрабатывающего систему диагностики и поддержки принятия решений.

Таблица 2 Расширенная ранговая шкала

Уровни лингвистиче- Значения функции Характеристика показателей испытуемого

ской шкалы принадлежности

9 0,80 - 1,00 Высокий

7 0,64 - 0,80 Хороший

5 0,37 - 0,64 Средний

3 0,20 - 0,37 Низкий

1 0,00 - 0,20 Минимальный

2, 4 6, 8 Промежуточные значения Дополнительные термы: «Выше чем»; «Не достаточно»

Значения агрегирующей функции принадлежности для множества параметров и индикаторов, характеризующих состояние испытуемого (значения профессиональных и личностных показателей), выраженных в качественной форме ^кач., вычислим как сумму значений функции принадлежности цг (х) по отдельным значениям параметров и индикаторов, характеризующих состояние испытуемых

В случае использования для диагностики количественных методов функция (х) будет тождественна фактическому измеренному значению конкретного параметра по выбранной измерительной шкале. Для вычисления итогового показателя р по всему множеству параметров и индикаторов, характеризующих состояние испытуемого (значения профессиональных и личностных показателей), выраженных в количественной форме З^, вычислим сумму

Р= £рг. (15)

Комплексный (интегральный) показатель, характеризующий уровень профессиональных

(квалификация) цпроф.и личностных цличн качеств испытуемого, выраженный в качественной и количественной форме, определим как сумму и выполним нормирование его к единице, используя соответствующие качественные цэтал" и количественные показатели рэтал. ЭМПДС

""кач. ""кач.

Sкач. Sкол.

Е..Этал. , Х- „Этал.

Метод квалиметрической диагностики, а также метод экспертных оценок уровня подготовки испытуемых был опробован авторами в различных экспериментальных группах:

Оценка результатов обучения студентов на основе тестирования ;

Отбор персонала на вакантные рабочие места с использованием экспертных методов оценки уровня профессиональной подготовки специалистов .

ЗАКЛЮЧЕНИЕ

В данной статье представлен разработанный метод комплексной диагностики уровня профессиональной подготовки и личностных качеств технических специалистов. Диагностика испытуемых может выполняться как с использованием неформальных качественных методов (методы экспертной оценки, с представлением значений показателей функции по выбранной измерительной шкале), так и формальных количественных методов (измерение показателей с представлением их в числовом выражении). В процессе анализа результатов диагностики и принятия решений лицо, принимающее решение, может изменять весовые коэффициенты значимости отдельных параметров и индикаторов.

Рассмотренный метод комплексной диагностики испытуемых и последующее упорядочение значений по убыванию комплексного показателя для группы испытуемых, характеризующий уровень профессиональных (квалификация) и личностных качеств позволит лицу, принимающему решения (руководителю), выбрать из специалистов, прошедших диагностику, наиболее полно удовлетворяющего занимаемой должности.

СПИСОК ЛИТЕРАТУРЫ

1. Аширов Д. А. Управление персоналом. М.: Проспект, 2008. 432 с. [ D. A. Ashirov, Personnel management, (in Russian). Мoscow: Prospekt. 2004. ]

2. Десслер Г. Управление персоналом / Пер. с 9-го англ. издания. М.: БИНОМ. 2004. 432 с. [ G. Dessler, Personnel management, (in Russian). Мoscow: BINOM, 2004. ]

3. Тархов С. В., Минасова Н. С., Шагиева Ю. Р. Моделирование бизнес-процессов подбора сотрудников в системе управления персоналом // Научный вестник Московского государственного технического университета гражданской авиации. 2012. № 181 (7). С. 114-118. [ S. V. Tarkhov, N. S. Minasova, Yu. R. Shagieva, "Modeling of business processes of selection of employees in the personnel management system," (in Russian), Nauchnyi vestnik MGTU GA, no. 181 (7), pp. 114-118, 2012. ]

4. Кабальнов Ю. С., Минасов Ш. М., Тархов С. В. Применение мультиагентных систем электронного обучения в гетерогенных информационно-образовательных средах. М.: Изд-во МАИ, 2007. 271 с. [ Yu. S. Kabalnov, Sh. M. Minasov, S. V. Tarkhov, Application of agent-based e-learning systems in heterogeneous information-educational environments, (in Russian). Мoscow: MAI, 2007. ]

5. Кабальнов Ю. С., Тархов С. В. Минасова Н. С., Алгоритм генерации электронных учебных модулей для самостоятельной работы студентов // Информационные технологии моделирования и управления. 2006. № 2 (27). С. 155-159. [ Yu. S. Kabalnov, N. S. Minasovа, S. V. Tarkhov, "The Algorithm of generation of e-learning modules for independent work of students," (in Russian), Informatsionnye tekhnologii modelirovaniya I upravleniya, no. 2, pp. 155-159, 2006. ]

6. Тархов С. В. Адаптивное электронное обучение и оценка его эффективности // Открытое образование. 2005. № 5. С. 37-47. [ S. V. Tarkhov, "Adaptive e-learning and the assessment of its effectiveness," (in Russian), Otkrytoe obrazovanie, no. 5, pp. 37-47, 2005. ]

7. Tarkhov S. V., Minasova N. S., Shagieva Yu. R. Modeling the process of selection of experts in personnel management system // CSIT"2012: Proc. 14th Workshop on Computer Science and Information Technologies (Ufa - Hamburg - Norwegian Fjords, 2012). Уфа: У^У, 2012. T. 1. С. 266-270. [ S. V. Tarkhov, N. S. Minasova, Yu. R. Shagieva, "Modeling the process of selection of experts in personnel management system," CSIT"2012: Proc. 14th Workshop on Computer Science and Information Technologies, vol. 1, pp. 266-270, 2012. ]

8. Tarkhov S. V., Tarkhova L. M., Shagiyeva Yu. R. Information support of decision-taking in staff recruitment management process based on complex diagnostics // CSIT"2013: Proc. 15th Workshop on Computer Science and Information Technologies (Vienna-Budapest-Bratislava, 2013). Уфа: У^У, 2012. T. 2. С. 138-142. [ S. V. Tarkhov, L. M. Tarkhova, Yu. R. Shagieva, "Information support of decision-taking in staff recruitment management process based on complex diagnostics," CSIT"2013: Proc. 15th Workshop on Computer Science and Information Technologies, vol. 2, pp. 138-142, 2013. ]

МИНАСОВА Наталья Сергеевна, доц. каф. информатики. Дипл. инж.-с/техн. (УГАТУ, 2003). Канд. техн. наук по мат. и прогр. обеспечению выч. машин, комплексов и комп. сетей (УГАТУ, 2006), доц. Иссл. в обл. управления в соц. и экон. системах.

ТАРХОВ Сергей Владимирович, проф. каф. информатики УГАТУ. Дипл. инж.-мех. (УАИ, 1980). Д-р техн. наук по упр. в соц. и эконом. системах (УГАТУ, 2010), проф. Иссл. в обл. управления в соц. и экон. системах.

ШАГИЕВА Юлия Раисовна, асс. каф. начертательной геометрии и графики. Дипл. учитель информатики (Уфа, 2010). Канд. техн. наук по упр. соц. и эконом. системах (УГАТУ, 2013). Иссл. в обл. управления в социальных и экономических системах.

Title: Method of complex diagnostics of level of professional training and personal qualities of technical specialists in the selection and certification of personnel. Authors: N. S. Minasova 1, S. V. Tarkhov 1, Yu. R. Shagiyeva2 Affiliation:

1 Ufa State Aviation Technical University (UGATU), Russia.

2 Ufa Bashkir State Agrarian University (BSAU), Russia. Email: 1 [email protected].

Language: Russian.

Source: Vestnik UGATU (scientific journal of Ufa State Aviation Technical University), vol. 18, no. 3 (64), pp. 203-209, 2014. ISSN 2225-2789 (Online), ISSN 1992-6502 (Print). Abstract: Proposed method of complex diagnostics, providing for the use in the management of the process of selection and certification of personnel variant of complex diagnostics, based on the joint application of the expert (qualitative) and qualitative (numerical) methods to determine the value of the integral indicator of the level of professional qualifications and personal qualities of specialists in the process of selection of candidates for vacant positions, and in the process of appraisal. Key words: personnel management; evaluation of training; personnel selection; qualitative methods; expert methods.

MINASOVA, Natalia Sergeyevna, lecturer of Department. Informatics USATU. Dipl. systems engineer (Ufa, USATU, 2003). Ph.D., associated professor. Science: mathematical and software of computers, complexes and computer networks (USATU, 2006). Research in the field of management in social and economic systems. TARKHOV, Sergey Vladimirovich, Professor of Department. Informatics USATU. Dipl. engineer-mechanic (Ufa. Aim, 1980). Doctor of Tech. Sciences: management in the social and economic system (USATU, 2010). Research in the field of management in social and economic systems. SHAGIEVA, Yulia Raisovna, assistant of the Department of Lacerta on geometry and graphics BSAU. Dipl. teacher information mathematics (Ufa, BSPU. 2010). Ph.D., Sciences: management in the social and economic systems (USATU, 2013). Research in the field of management in social and economic systems.

Важным элементом разработки и реализации программы подготовки специалистов-кинологов в отрядах специального назначения являлась проблема обоснования критериев и показателей оценки уровня их профессиональной подготовки. Для разрешения данной проблемы автором был рассмотрен подход к определению критериев.

В научной литературе достаточно широко толкуется понятие "критерий". Для этого есть ряд оснований. Этими основаниями, прежде всего, являются: во-первых, позиции авторов; во-вторых, неоднозначное понимание понятия "критерий" в различных словарях и справочной литературе.

Так в словаре русского языка С.И. Ожегова под критерием понимается "мерило оценки суждения". Ожегов С.И. Словарь русского языка. М, 1981.С. 217. В Большой советской энциклопедии критерий рассматривается как "признак, на основании которого производится оценка определение или классификация чего-либо, мерило суждения оценки" 2 Большая советская энциклопедия 3-е издание. М, 1974. Т. 13, С. 450. . Представляет интерес философское понимание критерия. В философском словаре дается следующее определение: "Критерий истины - средство проверки истинности или ложности того или иного утверждения, гипотезы, теоретического построения и т.п. " 3 Философский словарь М., 1975. С. 193. .

Н.В. Кузьмина в качестве критериев оценки деятельности педагогических систем выделяет внутренние и внешние критерии. К внутренним относятся: показатель конкурса в учебное заведение; уровень успеваемости; сохранность контингента учащихся на протяжении всех лет обучения. Внешние критерии: куда идут выпускники учебного заведения; как они там адаптируются (каким по времени и качеству является процесс вхождения в новую систему); какое число выпускников и в какой срок достигает высокого уровня деятельности в новой системе; какой процент выпускников и в какой мере занят самообразованием; в какой мере выпускник и его руководители удовлетворены полученной подготовкой. Кузмина Н.В., Реан А.А. Профессионализм педагогической деятельности. Рыбинск Г.Б. Скок для оценки педагогической деятельности предлагает следующие критерии: конечный результат (обученность учащихся при объективном определении); умение провести занятие; мнение обучаемых; методическое обеспечение курса; адекватность самооценки педагога; знание иностранного языка и умение преподавать на нем; умение использовать ЭВМ как средство; некоторые дополнительные умения. Скок Г.Б. Аттестация преподавателей: подготовка и проведение. Новосибирск. 1993.

3 Беспалько В.П., Татур ЮГ. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М, 1989. В.П. Беспалько в качестве показателей деятельности преподавателей выделяет: среднюю успеваемость учащихся по приведенному среднему баллу, научность изучаемого учебного предмета; полноту учебного предмета; среднюю эффективность проводимых учебных занятий; публикации учебно-методического характера; 4 Хозяинов Г.И. Педагогическое мастерство преподавателя. М, 1998. отзывы студентов об учебно-воспитательной деятельности преподавателей.

Г.И. Хозяинов называет следующие критерии: стимулирование и мотивация деятельности обучаемого; организация учебной деятельности обучаемого; владение содержанием предмета и его дидактическая организация; структурно-композиционное построение учебного занятия.

При рассмотрении критериев и показателей оценки уровня подготовки специалистов-кинологов и служебных собак принципиальным, по нашему мнению, является понимание того, что оценивается, прежде всего, результативность деятельности, проведенной в соответствии с разработанной педагогической программой. В связи с этим правомерным является рассмотрение критериев оценки уровня подготовки специалистов-кинологов в качестве критериев оценки эффективности предлагаемой программы подготовки.

При формулировании системы критериев оценки и показателей автор исходил из того, что она, с одной стороны, должна давать объективную оценку уровня подготовки специалистов-кинологов и служебных собак, с другой, быть практичной, легко реализуемой в образовательном процессе.

Как уже говорилось выше, об эффективности и качестве обучения мы судим, прежде всего, по тем психическим изменениям и новообразованиям, которые формируются в процессе управляемой учебно-познавательной деятельности обучающихся (В.А. Якунин) .

Исходя из того, что успешность предстоящей деятельности специалиста-кинолога обусловливается доминирующей у него знаниями, навыками и умениями в данной области, уровнем развития профессионально важных качеств, для оценки уровня подготовки специалистов-кинологов, а соответственно и эффективности разработанной программы, автором были определёны критерии и показатели оценки уровня подготовленности специалистов-кинологов и служебных собак; когнитивный, операциональный.

Первый критерий характеризуется успеваемостью специалистов-кинологов по дисциплинам "Методика и техника дрессировки собак" и "Служебная кинология".

Второй критерий характеризуется сформированность у специалистов-кинологов навыков по дрессировке и надрессированностью служебных собак.

Критерии и показатели оценки уровня подготовки специалистов-кинологов представлены в таблице 1.

Таблица 1

Критерии и показатели оценки уровня подготовки специалистов-кинологов

• 2. Когнитивный критерий (К). В качестве нижнего уровня значения успешности специалистами-кинологами по дисциплинам кинологии был определен процент равный 30 Успешность учебной деятельности оценивалась:
  • - средний процент 40% - 60%. (низкий уровень успешности учебной деятельности).
  • - средний прпоцент 60% - 80%; (средний уровень успешности учебной деятельности;
  • - средний процент 80% - 100%; (высокий уровень успешности учебной деятельности).

Общее значение критерия определялось по формуле:

К = СК+МТДС . (формула 1).

Операциональный критерий (О). Включает сформированность навыков по практике дрессировки собак (ПДС).

Надрессированностью служебных собак (Н).

Критерий и показатель оценки уровня профессиональной подготовки специалистов-кинологов:

высокий уровень - 80% - 100%;

средний уровень - 60% - 80%;

низкий уровень - 40% - 60%.

Общее значение критерия определялось по формуле

О = Н+ПДС (формула 2).

Для определения уровня подготовки специалистов-кинологов автором был введен обобщенный критерий - ОУпп, значение которого определялось по формуле:

ОУпп =К+О (формула 3)

Предложенные критерии и математический аппарат определения их значений, по нашему мнению, позволяют оперативно и в достаточной степени объективно оценить уровень подготовки специалиста-кинолога в отряде специального назначения.

Уровень профессиональной подготовки специалиста-кинолога не является статичной характеристикой. Ему присущ динамический характер. В связи с этим оценка подготовки кинолога должна рассматриваться как динамическая, изменяющаяся по мере прохождения им этапов подготовки, описанных в предыдущем параграфе. Исходя из этого, оценка проводилась в четыре этапа: начальный уровень подготовки в первые 2 недели подготовки, промежуточные уровни (базовый и основной) после второй и до шестой недели, завершающий уровень седьмой и восьмой недели подготовки. Это позволило: во-первых, повысить объективность осуществляемой оценки; во-вторых, иметь ясное представление о динамике развития специалиста-кинолога как профессионала; в-третьих, оперативно оценивать качество мероприятий, проводимых в соответствии с разработанной программой и вносить, при необходимости, коррективы в ее ход и содержание. Динамику изменений целесообразно отражать в "Журнале оценки уровня профессиональной подготовки специалиста-кинолога" и учитывать ее при рейтинговых оценках.

Эффективность программы подготовки специалистов-кинологов в отрядах специального назначения определяется исходя из прироста значений критерия в процессе ее реализации и, в целом, уровня профессиональной подготовки специалистов-кинологов.

Анализ изменений в уровне подготовки специалистов-кинологов позволил констатировать наличие позитивной динамики, свидетельствующей об эффективности мероприятий, проведенных в соответствии с разработанной программой.

Выводы по главе II

• 1. Программа подготовки специалистов-кинологов в отрядах специального назначения ВВ МВД России, представляет собой систему взаимосвязанных целей, задач, методов, форм и средств, подготовки специалистов как профессионалов в области кинологической деятельности, совокупности условий, влияющих на их подготовку, направленных на достижение целей подготовки специалиста-кинолога.
• 2. Подготовка специалистов-кинологов достигается необходимой разработкой специальных педагогических средств, к которым в первую очередь относится программа "Программа подготовки специалистов-кинологов в отрядах специального назначения ВВ МВД России. "

Программа состоит из трёх взаимосвязанных дисциплин:

Методика и техника дрессировки собак:

Практика дрессировки собак: формирование навыков в дрессировке собак по общему и специальному курсам;

Служебная кинология: тактика применения собак, кинология, управление кинологической службой внутренних войск МВД России.

3. Исходя из анализа литературных источников, практики учебно-профессиональной деятельности, автором были выделены и обоснованы следующие критерии и показатели оценки подготовки специалистов-кинологов в отрядах специального назначения: Когнитивный, операциональный.

Предложенный критерий и математический аппарат определения его значения позволяют оперативно и в достаточной степени объективно оценить уровень подготовки специалистов-кинологов в период их обучения.

Организация подготовки специалистов-кинологов в соответствии с разработанной программой способствует улучшению процесса подготовки специалистов-кинологов в отрядах специального назначения ВВ МВД России с учетом особенностей при выполнении СБЗ. Ее реализация в учебном процессе обеспечивает уже к окончанию второго месяца обучения, достижение специалистами-кинологами высокого уровня подготовки в области специфики деятельности отрядов специального назначения, что обусловливает успешность их профессиональной деятельности в ходе выполнения поставленных задач.

В современных реалиях стремительных темпов развития технологий, высокой конкуренции и динамичного развития подходов к управлению, компания, которая не вкладывается в развитие, обучение и оценку персонала, по меньшей мере, поступает недальновидно. Тем более, принимая во внимание некую архаичность систем образования: как профессионального, так и высшего, которые беспроглядно отстали от постоянно меняющихся требований рынка. Поэтому любая организация, стремящаяся завоевать или удержать лидирующие позиции, уделяет повышенное внимание обучению и развитию персонала.

Однако неизменно возникает вопрос о необходимости оценки эффективности обучения персонала. Затраты на обучение всегда значительны, и в связи с этим разумно требовать оценку экономической эффективности вложений.

На сегодняшний день многие компании ограничиваются заполнением оценочных анкет по итогам тренинга: «Понравился ли тренинг/ тренер?», «Оцените организацию тренинга?», «Был ли тренинг полезным?», «Будете ли Вы использовать полученные навыки в повседневной работе?» и т.п. Подобный метод является только небольшой частью методики оценки эффективности обучения персонала, и применим только для начального подведения итогов конкретного мероприятия, на обучение, внутренней удовлетворённости, а также работы конкретных людей из кадрового отдела, но никак не эффективности программы обучения в целом.

В международной практике с успехом используются несколько методов оценки эффективности обучения персонала.

Наиболее известная из них – четырехуровневая модель Дональда Киркпатрика, которая на сегодняшний день считается классической. Модель была предложена в 1959 году и опубликована в книге «Четыре ступеньки к успешному тренингу» (Four Levels Evaluation Program).

Модель оценки эффективности обучения персонала Д. Киркпатрика

Ступень 1 Реакция . Измеряется первичная реакция на программу обучения, так называемый «фидбэк» или обратная связь: интерес, полезность и качество материала, оценивается тренер и его навыки, сложность или доступность подачи материала, организация обучающего мероприятия.

Применяемые инструменты : , Интервью, Фокус-группы.

Ступень 2 Усвоение . Измеряется степень усвоения новых знаний/навыков участниками, а также, каким образом они планируют применять приобретенные навыки на рабочем месте.

Применяемые инструменты: Экзамен, Тесты на усвоение материала, Тесты на проверку практических навыков, Составление плана, Обучение других сотрудников.

Ступень 3 Поведение . Измеряется, каким образом изменилось общее поведение участников, и в какой мере участники тренинга используют новые знания и навыки на рабочих местах.

Применяемые инструменты: Контрольный чек-лист оценки изменения рабочего поведения (обзор работы, проверка планов действия – разрабатывается по принципу оценки 360 0), KPI, Сбалансированная счетная карта.

Ступень 4 Результаты. Измеряется, в какой степени были достигнуты поставленные цели, а также каким образом изменение в поведении влияет на организацию в целом, то есть определяются и анализируются изменения в бизнес-показателях организации. Результаты должны оцениваться на протяжении хотя бы трех месяцев после окончания тренинга для того, чтобы можно было увидеть отложенные эффекты.

Применяемые инструменты : KPI (показатели должны быть выбраны до начала обучающей программы)

Стоит отметить, что при использовании всех уровней модели, процесс оценки эффекта обучения становится очень трудоемким и затратным, и не всегда целесообразным с точки зрения стоимости. Четвертый уровень наиболее сложен для анализа, поскольку требуется отследить динамику бизнес-показателей организации (увеличение производительности, увеличение продаж, улучшение качества и т.п.). В 1975году Киркпатрик издал книгу « » (Evaluating Training Programs), где он описал применение модели в новых реалиях и не только для оценки результатов обучения персонала, но и для процесса управления изменениями в организации. Кроме того, было предложено использовать модель в обратном порядке, начиная с четвертого уровня к первому, то есть сначала должны быть определены ожидаемые результаты, выбраны методы и ключевые показатели — в таком случае конечная оценка будет менее субъективна.

Процесс экономической оценки обучения персонала

В 1991 году Джек Филипс, американский эксперт по работе с персоналом и директор института ROI, дополнил модель Киркпатрика пятым уровнем – ROI (Return on Investments – Возврат на инвестиции). Фактически он ввел конкретный количественный показатель в систему оценки обучения персонала, как расчет процентного соотношения прибыли от обучающего мероприятия к затратам на него:

Кроме того, он отметил, что оценка эффективности – это не отдельная программа, а интегральная часть системы. Оценку необходимо выполнять на всех этапах процесса обучения, начиная с оценки потребностей в обучении и развитии персонала, затем во время и после проведения программы, а также спустя определенное время, когда результаты будут более очевидны. Благодаря такому подходу стало возможным сделать обучение экономически эффективным: провести оценку программы обучения как бизнес-инструмента, а также показать прямую зависимость между увеличением продуктивности организации и системой обучения персонала.

V-модель Дж.Филипса

Еще одна довольно известная модель «Таксономия Блума». Бенджамин Блум предложил эту модель в 1956 году. Основная идея модели состоит в развитии потребности в анализе, саморазвитии, ответственности и самодостаточности самих учащихся, другими словами «научить сотрудников учиться» и применять полученные знание в ежедневной жизни. От работодателя в этом случае требуется создание необходимой для обучения базы, благоприятной для обучения атмосферы и мотивации.

В своей системе все этапы он разделил на три домена: когнитивный (знания), эмоциональный (установки) и психомоторный (навыки).

Таксономия Б. Блума

Когнитивный домен

Уровни высокого мышления	6.Оценка	Умеет рассуждать и оценивать идеи, может представить и защитить свое мнение, основываясь на логике и фактах
	5. Синтез	Умеет интегрировать части в единую структуру, составляет планы, генерирует новые идеи, делает выводы, креативно решает проблемные вопросы Ключ: интегрируйте, модифицируйте, заместите, составьте, сформулируйте, обобщите, организуйте, спланируйте
	4. Анализ	Умеет выделять части целого, взаимосвязи между элементами внутри организации, находит ошибки, видит движущие мотивы, анализирует причинно-следственные связи Ключ: дифференцируйте, разделите, объясните, соедините, классифицируйте
	3. Применение	Применяет приобретенные знания на практике, находит взаимосвязи, решает проблемные ситуации Ключ: примените, продемонстрируйте, решите, протестируйте, усовершенствуйте, измените
Уровни низкого мышления	2. Понимание	Интерпретирует факты, правила, сравнивает, выделяет группы, предвидит и объясняет следствия Ключ: обобщите, сделайте вывод, сравните, рассчитайте, обсудите, продолжите, обоснуйте, объясните
	1. Знание	Знание специфики, умение оперировать терминологией, фактами, знание тенденций, классификации, процедур, методологий, теории, структуры Ключ: перечислите, определите, опишите, изобразите, назовите, выберете,процитируйте, кто, где, когда и т.п.

Эмоциональный домен

5. Усвоение системы ценностей	Лояльность, выбор путей решения проблем Ключ: докажите, выслушайте, выполните, вверифицируйте
4. Организация личной системы ценностей	Соотнесение ценности предметов и явлений Ключ: предложите, рассудите, доложите, продемонстрируйте
3. Оценка ценности – понимание и действие	Понимание и принятие ценностей Ключ: инициируйте, сформируйте, разделите, отследите
2. Реакция, ответ	Внимание, активное участие Ключ: обсудите, помогите, исполните, презентуйте, опишите
1. Восприятие и осознание	Пассивное восприятие и приятие информации Ключ: опишите, ответьте на вопросы

Психомоторный домен

Оценка эффективности обучения является важным этапом процесса обучения персонала. Ее смысл состоит в том, чтобы установить, какую пользу от обучения работников получает организация, или выяснить, является ли одна форма обучения более эффективной, чем другая. Раз на учебу затрачены деньги, то следует точно знать, что же взамен сможет получить организация.

Информацию, полученную в результате оценки эффективности конкретных учебных программ, необходимо анализировать и использовать при подготовке и проведении аналогичных программ в будущем. Оценка эффективности обучения работников организации позволяет постоянно работать над повышением качества обучения, избавляясь от таких учебных программ и форм обучения, которые не оправдали возложенных на них надежд.

В идеале оценку эффективности обучения следует производить постоянно, в качественной либо количественной форме оценивая влияние обучения на такие показатели работы организации, как продажи, качество продукции и услуг, производительность труда, установки работников и др.

Основная причина, по которой организация должна оценивать эффективность учебных программ, - это выяснение того, в какой степени в итоге были достигнуты цели обучения. Учебная программа, которая не позволяет достичь требуемого уровня рабочих показателей, сформировать необходимые навыки или установки, должна быть изменена или заменена другой программой. Не всегда организация после обучения своих работников добивается желаемого результата. В этом случае возникает необходимость выявления причин неуспеха. Даже хорошие программы могут потерпеть неудачу по многих причинам: могут быть поставлены нереалистичные или слишком общие цели обучения, может быть плохо организован сам процесс обучения, возможны срывы по причинам, находящимся вне контроля тех специалистов, которые занимаются организацией обучения (например, болезнь преподавателя, поломки оборудования или ошибки людей) и др. Выявление причин, по которым данная программа обучения потерпела неудачу, и их анализ, позволяют предпринять в будущем необходимые корректирующие меры.

Оценка эффективности обучения может проводиться с помощью тестов, опросников, заполняемых обучающимися, экзаменов и т.п. Оценивать эффективность обучения могут как сами обучающиеся, так и руководители, специалисты отделов обучения, преподаватели, эксперты или специально созданные целевые группы.

Можно выделить пять критериев, обычно используемых при оценке эффективности обучения. Данные представлены на рисунке 1.5.

Рассмотрим эти критерии.

Мнение обучающихся. Выяснение мнения обучающихся о той учебной программе, по которой они только что прошли обучение, о ее полезности, интересности является принятой практикой во многих организациях.

Рисунок-Критерии, используемые при оценке эффективности обучения

Это предполагает выяснение их мнения по следующим вопросам:

Качество преподавания (квалификация преподавателя, стиль преподавания, используемые методы обучения);

Общие условия и обстановка во время обучения (физические условия, отсутствие отвлечений и т.д.);

Степень достижения целей обучения (соответствие ожиданиям слушателей, готовность слушателей использовать результаты обучения в практике своей работы).

При оценке мнений исходят из того, что если программа обучения понравилось участникам, значит, она является достаточно хорошей. Мнение обучающихся рассматривается как оценка экспертов, способных объективно оценить учебную программу по предлагаемым критериям (показателям). Обучающимся обычно предлагают по завершении обучения заполнить специально разработанные анкеты, где могут содержаться, например, следующие вопросы:

Насколько полезной для вас была эта программа?

Насколько интересным было обучение?

Насколько актуальной была тематика обучения? и т.п.

Ответы слушателей могут дать важную информацию об их отношении к обучению, к тому, как был преподнесен материал преподавателем, и выявить их готовность к использованию полученных знаний и навыков в своей работе.

Усвоение учебного материала.

Чтобы оценить степень усвоения слушателями учебного материала, преподаватель или организатор учебы должен ответить на два главных вопроса:

Что должен уметь делать ученик, чтобы продемонстрировать, что он усвоил предмет?

Что должен знать обучающийся? На какие вопросы он должен быть способен дать ответы?

Именно полнота усвоения знаний и прочность приобретенных навыков является теми показателями, на основе которых оценивается успех обучения. Оценить полноту усвоения учебного материала можно при помощи устных опросов, контрольных работ, тестирования, устных или письменных зачетов и экзаменов. Как письменная, так и устная форма проверки знаний предполагает, что обучающимся задают разнообразные вопросы.

К сожалению, большинство российских компаний не делает практически никаких попыток выяснить, в какой степени был усвоен учебный материал работниками, прошедшими обучение. Часто приходиться сталкиваться с тем, что процедура "зачета" или "тестирования", которыми пугают слушателей, на деле оказывается чистой формальностью - зачет получают все, а заполненные бланки с результатами тестирования прямым ходом, без проверки отправляются в корзину. Конечно же, и такая форма "контроля усвоения" имеет право на существования - в этом случае она выполняет функцию повышения мотивации слушателей к обучению. Но если можно взять от этой процедуры гораздо больше, то не следует от этого отказываться.

Поведенческие изменения. В соответствии с этим критерием определяется, как изменяется поведение работников после прохождения курса обучения, когда они возвращаются к своей работе. К примеру, обучение технике безопасности должно иметь итогом более высокий уровень соблюдения правил обращения с горючими или ядовитыми веществами; обучение вождению - овладение навыками вождения, безопасная езда; тренинг делового общения - уменьшение числа конфликтов в организации, более высокий уровень сотрудничества между работниками организации.

Рабочие результаты.

Эффективность программы обучения можно оценить также и по результатам производственной деятельности тех, кто прошел обучение. Если результаты работы организации, подразделения или отдельного работника улучшаются, то это и есть та реальная выгода, которую получает организация в результате обучения. Стимулом для того, чтобы начать обучение персонала, может быть слишком высокий уровень отходов или брака. При этом целью обучения работников будет сокращение отходов, например, с 10 до 3 процентов. Если такой результат достигнут, можно считать, что обучение было успешным. Успех курса по маркетингу можно оценить через определение объема продаж или через оценку степени удовлетворенности покупателей, выявленную в результате их опроса. Можно предложить непосредственным руководителям работников, прошедших обучение, оценить, насколько хорошо они применяют те знания, которые они получили за время обучения. Такую процедуру оценки можно повторить через какое-то время (через 1 месяц, 3 месяца, 6 месяцев или больше).

Эффективность затрат.

Программы обучения следует также оценивать на предмет эффективности затрат. Обучение должно быть выгодным для организации, то есть надо стремиться к тому, чтобы выгоды, которые будут получены по завершении обучения, превосходили затраты на проведение обучения.

Например, в компании "Хониуэлл" эффект воздействия программы обучения на повышение производительности труда и качества продукции определяется по формуле:

Э=П х N х V х K - N х З, (1.1)

где П - продолжительность программы (в годах); N - количество обученных работников; V - стоимостная оценка различий в результативности труда лучших и средних работников (долл.); К - коэффициент прироста результативности в результате обучения: З - затраты на обучение одного работника (долл.).

Обучение должно быть составной частью работы организации, неотделимой от ее основных целей. Обучение стоит денег, но эти вложения окупаются через повышение производительности, качества, удовлетворенности потребителей. Кроме того, и сотрудники высоко ценят те возможности, которые им открывает обучение.

Можно выделить следующие показатели эффективности обучения и методы их расчета (таблица 1.5):

Таблица 1.5 - Показатели эффективности обучения и методы их расчета

Направление оценки	Показатель	Метод расчета
Расходы на обучение	Доля расходов на обучение	Отношение расходов на обучение к общим расходам
Расходы на одного работника	Расходы на обучение, поделенные на число обученных сотрудников
Расходы на обучение в расчете на час занятий	Общие расходы на обучение, поделенные на общее время обучения
Отдача на вложения в обучение	Достигнутая экономия по отношению к затратам на обучение	Общая экономия за счет использования неиспользованных ранее ресурсов или предотвращения потерь, поделенная на сумму расходов на обучение
Процент улучшения производственных показателей после обучения в расчете на один курс	Процент работников, улучшивших производственные показатели (разница в показателях до и после обучения
Доход в расчете на одного работника за год	Общий доход или объем продаж, поделенный на общее число работников
Прибыль в расчете на одного сотрудника за год	Общая годовая прибыль до выплаты налогов, поделенная на общее число работников
Обеспеченность квалифицированными специалистами	Число сотрудников отдела обучения на 1000 работников компании	Численность отдела обучения, поделенная на общее число работников х 1000
Оценка работы отдела обучения	Удовлетворенность со стороны потребителей услуг отдела обучения и развития персонала	Отношение числа потребителей услуг отдела обучения, давших оценку «хорошая работа» или «эффективная работа», к общему числу потребителей, заполнивших оценочные листы

Понятно, что для разных видов оценки критерии будут несколько различаться. Например, для оценки первичного обучения критерии могут быть следующими: знание продуктов и услуг, профиль личности, коммуникативные навыки взаимодействия с клиентами; активность в учебном процессе. А для оценки практики, мониторинга и плановой оценки могут также добавиться такие критерии как стремление к развитию, соблюдение корпоративной культуры и т.д.

Процедура оценки эффективности обучения обычно состоит из четырех этапов, которые представлены на рисунке 1.5.

Рисунок - Этапы процедуры оценки эффективности обучения

1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определения его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.