В статье поговорим о разработке тестов оценки знаний — заданий по проверке предметных знаний и навыков. Но, в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.
Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. В русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.
Любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить[1]. Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт.
Составляем тест: основные этапы
1.Определите цели и задачи тестирования
Прежде чем начать создавать тест, определите его цель, что вы хотите измерить: знание фактов, способность решать задачи или уровень понимания материала?
Это может быть входной отбор кандидатов, оценка сотрудников в ходе аттестации, оценка эффективности обучения, формирование кадрового резерва
Например, в рамках проведения комплексной аттестации в компании по продаже и обслуживанию СПС К+ это звучало как «Оценка уровня знаний продукта в соответствии с требованиями к должности». В этом случае, было важно, чтобы создаваемый тест четко соотносился с теми требованиями, которые предъявляет должность, как по содержанию, так и по глубине знаний.
Определитесь, обучающее это тестирование или контрольное, от этого будут зависеть требования к составлению заданий.
Так, обучающие задания должны быть яркими, модельными и запоминающимися, тогда как контрольные – валидными, дискриминативными и распределенными по трудности
2.Постройте структуру шкал теста
Задайте тему теста и поймите, из каких частей может состоять знание по этой теме, какие темы можно объединить, а какие обязательно разделять. Важно, чтобы выделенные разделы были равнозначны по значимости, имели одинаковый «вес» в структуре знаний.
Четкое структурирование теста по тематическим блокам даст вам возможность при обработке результатов выделить «западающую» тему для индивидуальной или групповой проработки.
Для того, чтобы результаты были статистически верными, в каждой теме должно быть не менее 20, но не более 30 вопросов. Балл по шкале с количеством вопросов менее 20 может иметь смысл сам по себе, но не рамках анализа всего теста.
Разумеется, количество вопросов по темам должно быть одинаковое.
Учитывая, что при проведении апробации теста какая-то часть вопросов может быть отклонена, оптимально создавать избыточный банк вопросов
3.Создайте банк заданий/тестовых вопросов
По своей форме задания можно разделить на типы:
Как появляется тестовое задание?
На каждом из этапов/шагов создания банка заданий, от идеи к тексту задания и верному варианту ответа, заканчивая неверными вариантами, работают свои правила. Поэтому, высокое качество вопроса зависит от успешного прохождения каждого этапа его создания.
Итак, есть идея вопроса, понятно, о чем он будет, выделено ключевое слово, вопросительное слово… Начинаем формулировать текст вопроса/задания или инструкцию:
а) Задания должны быть посвящены теме внутри раздела и общей теме теста
б) Задание не должно содержать двусмысленности или неясности формулировок. Лучше расшифровывать аббревиатуры, не использовать сленг
Неудачные варианты тестового задания:
· Для чего и как часто надо проводить День 5S?
· Что такое SOP, SWI, OPL?
в) Задание не должно содержать усложнений, требующей особой внимательности респондента или знаний, не относящимся к проверяемой теме. В идеале, тестовый вопрос должен быть ясным, чтобы на него можно было ответить, даже не видя вариантов ответа
Например:
Техническое обслуживание – это:
г) Задание должно проверять именно знание, а не мнение или поведение.
Неудачный вариант тестового задания:
Из-за ошибки в финансовых документах Вам дали слишком большую зарплату. Вы обрадовались, но, в следующем месяце из Вашей заработной платы удержали 52% в качестве компенсации:
1. Вы смиритесь с этим
2. Вы потребуете, чтобы компенсация вычиталась из нескольких Ваших зарплат по частям (правильный ответ)
3. Вы будете уверять начальство в том, что Вы не должны страдать из-за чужой ошибки
В данном случае, задание проверяет «поведение»,а задание необходимо переформулировать в разрезе требований к Ограничениям по максимальным размерам удержаний,установленных статьёй 138 ТК РФ
д) Задание должно быть умеренно трудным (в идеале на него должны правильно ответить не менее 50% респондентов из группы тестирования)
И по своей форме:
е) Чем компактней задание, тем лучше
ж) Большой текст задания следует включать в текст самого вопроса, оставляя для ответа только наиболее важные, ключевые моменты.
Коллективный договор заключается:
1. На срок не более 3 лет (правильный ответ)
2. На срок не более 2 лет
3. На срок не более 5 лет
В данном случае задание необходимо переформулировать на «Коллективный договор заключается на срок не более:»
з) При создании заданий с частицей «НЕ» - акцентируйте на ней внимание респондента, выделив ее графически.
Чек-лист для самопроверки текста задания:
□ Задание посвящено важной теме, проблеме
□ Текст задания длиннее вариантов ответа
□ Задание средней трудности, ~50% выборки ответить верно
□ Текст не содержит орфографических, лексических и грамматических ошибок
□ Нет двусмысленности и неясности формулировок (аббревиатуры понятны или расшифрованы)
□ Задание проверяет знание, а не мнение или поведение («как вы поступите», «обычно», «часто»)
□ Задание НЕ требует особой внимательности. Частица «НЕ» при наличии выделена в тексте
□ В тексте нет подсказок к другим вопросам теста
□ Задание компактное, без усложнений
Как правильно разработать варианты ответа?
Наиболее популярным тестовым заданием является закрытый вопрос с выбором нескольких ответов – множественный выбор.
Этот тип вопроса идеален для измерения знаний фактов и основных понятий, ответ на который можно выбрать из перечня предложенных вариантов, один из которых – правильный ответ, а остальные являются дистракторами.
Дистрактор – неверный, отвлекающий вариант ответа(от англ. Distract – отвлекать, сбивать с толку, не путать с деструктором – от destruction - разрушение)
Эксперты, авторы заданий, знают правильные ответы, но… часто создают неправдоподобные дистрактроры. Хорошие дистракторы эффективнее создавать на базе частотных ошибок сотрудников.
Дистракторы должны быть провокационными, должны «заманивать респондента», ловить его на тактике угадывания. С учетом правильного, количество ответов в задании должно быть 3-4. Статистически при количестве вариантов ответа 4 вероятность угадать ответ случайно составляет 25%,при количестве вариантов ответа 3 возрастает до 33,3%.
Что важно учитывать при создании дистракторов:
Дистрактор выбран/сформулирован неудачно, когда:
· Содержит термины, встречающиеся в самом вопросе
· Является нечто средним между явными абсурдными крайностями
Небольшой чек-лист для самопроверки закрытого типа вопроса с одним вариантом ответа:
□ Только один вариант ответа правильный
□ Отсутствуют типичные подсказки: верный ответ нельзя угадать по признакам:
· Самый длинный
· Самый полный, «умный», научный
· Отличается по стилю
· Содержит термин из текста вопроса
□ Все варианты ответа грамматически согласуются с текстом вопроса
□ Варианты ответа разные, не содержат повторяющихся формулировок
Неудачные варианты тестовых ответов/дистракторов:
а)
1. Комплекс операций по поддержанию работоспособности или исправности производственного оборудования (изделий, деталей) в процессе технической эксплуатации, хранения, транспортировки (правильный ответ)
2. Ремонт оборудования, не требующий приостановки его эксплуатации
3. Плановая замена деталей по состоянию, наработке
В данном случае правильный ответ очевиден, он длиннее и отличается по стилистике
б)
Известно, что ТК РФ регламентирует форму и тарификацию оплаты труда работника, согласно нормативам, определяет понятие переработок, труда в дневное и ночное время. Как оплачивается каждый час работы в ночное время, согласно ТК РФ?:
1. В повышенном размере по сравнению с работой в нормальных условиях, но не ниже размеров, установленных законами и иными нормативными правовыми актами (правильный ответ)2
2. Оплата в ночное время равна оплате этого вида деятельности в дневное время.
3. Плата за каждый час работы в ночное время удваивается по сравнению с оплатой каждого часа работы в дневное время.
Вариант правильного ответа «читается» легко, так как содержит те самые «умные» слова
Какие еще есть варианты тестовых заданий и в каком случае они уместны?
· Задача на классификацию или вопрос на соответствие
Суть его заключается в сопоставлении элементов из двух списков. Респонденту предлагают соединить пары–«пазлы», сформулировав таким образом правильное определение, понятие и т.д. (например, соотнести объект и его функции).
Такая форма совмещения может использоваться и для построения логических цепочек, например «объект–действия–результат».
Задание выполнено, если правильно установлены все пары соответствия. Если часть соответствий установлена правильно, а другая – нет, то задание считается решенным «частично правильно» и за него выставляется оценка пропорционально количеству правильных соответствий.
· Тестовые вопросы по типу «верно-неверно»: требует определить, является ли утверждение верным или неверным.
Этот тип вопроса/ответа используется для проверки понимания основных принципов или идей. Респонденту предлагаются утверждения, с которыми он может согласиться или не согласиться.
Экология как комплекс наук тесно связана с такими науками, как биология, химия, математика, география, физика, эпидемиология, биогеохимия:
1.Верно (правильный ответ)
2.Неверно
· Ранжирование или расположение в порядке:может быть использовано в случае закрепления некоторого алгоритма действий или логической связи.
Респонденту предлагается «пронумеровать» последовательность шагов или проранжировать логику связи объектов
Пронумеруйте последовательность этапов проведения самооценки в соответствии с международным стандартом ISO 26000:2010 «Руководство по социальной ответственности»: 1. Проведение самооценки. 2. Определение в необходимости повторной самооценки. 3. Планирование и подготовка. 4. Подготовка и публикация заявления (декларации). 5. Определение потребности в независимом подтверждении адекватности подтверждающей информации задачам самооценки в соответствующих границах.
Правильная последовательность: 3-1-4-5-2.
Тип задания, который хорошо зарекомендовал себя в «настройке» сквозного тестирования в системах дистанционного обучения (СДО). Важно, чтобы «пропущены» были именно ключевые понятия, знание которых является определяющим для успешного усвоения материала и продвижения дальше.
Экология (от греч. ______ (дом, природа, связь) и _________ (логика, учение, наука) – совокупность понятий и явлений, связанных со взаимоотношениями между _______(природой и обществом, человеком и окружающей средой, живыми и неживыми организмами), а также наука, занимающаяся этой сферой. Термин предложил в _____(1934, 1866, 1956) г. _______ (английский, немецкий, американский) биолог Эрнст Геккель.
«Щелкая» по одному из трех предложенных вариантов пропущенного слова, обучающийся должен правильно сформулировать определение.
Интересный, можно даже сказать творческий тип задания, который также прекрасно работает в системе проверки знаний в СДО. Его необычный формат «взбадривает» обучающегося, усиливает мотивацию и повышает внимание.
Сиквейн оптимально использовать для проверки сложных определений и понятий.
Суть его заключается в построении текста из пяти строк. Само слово «синквейн» в переводе с французского означает «пятистрочье». Эта форма, возникшая в США в начале XX века под влиянием японской поэзии, может быть стихотворной или нестихотворной. Сейчас ряд методистов полагает, что этот инструмент очень полезен для синтезирования сложной информации, является способом оценки понятийного и словарного багажа обучающихся.
Обучающемуся предлагается «описать», например, определение, следуя схеме и выбирая слова из предложенного списка:
Первая строка: одно слово – понятие или тема (существительное). Вторая строка: два слова – описание этого понятия (прилагательные). Третья строка: три слова – действия (глаголы). Четвертая строка: слово, фраза или предложение, показывающее отношение к теме. Пятая строка: одно слово – синоним, который повторяет суть темы.
Экология____________(биологическая, международная, загрязненная, географическая)______________(изучает, исследует, рассматривает, реорганизует, управляет)_______________ (сумма знаний об экономике природы, системное понятие, перечень правил)________________(чистота, отрасль, взаимосвязь в природе)
Следуя логике построения сиквейна, обучающемуся предлагается выбрать из списка слова (прилагательные, глаголы и т.д.), которые будут «рассказывать» о каком-то понятии или термине, максимально точно описывая его и учитывая полученную ранее информацию о предмете вопроса.
В нашем случае правильное определение звучит следующим образом:
Экология. Биологическая, географическая. Изучает, исследует, рассматривает. Системное понятие. Взаимосвязь в природе
4.Проведите апробационное (пилотажное) исследование первой версиитеста
После создания банка вопросов происходит экспертиза составленных пунктов будущего теста (во время которой отсеиваются вопросы, не относящиеся к заявленной тематике, или имеющие неточности, неоднозначности в формулировке, или не имеющие правильного ответа). Экспертиза производится силами экспертов в данной области или потенциальными респондентами, для которых разрабатывался тест.
В идеале важно провести статистическую оценку качества заданий, пилотажное исследование, позволяющее оставить только те из них, которые показали высокую диагностическую способность.
5.Скорректируйте параметры банка заданий и вариантов (после этого этапа возможно возвращение к предыдущим этапам).
6.Сформируйте окончательную версию теста.
Тест готов. Успешного тестирования!
[1] Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам
Отправляя данные вы подтверждаете пользовательское соглашение