Теория и методика педагогических измерений

17. ЗАДАНИЯ В ТЕСТОВОЙ ФОРМЕ С ТРЕМЯ ОТВЕТАМИ

В 6, 8 и 10 номерах “УШ” 2000 года были детально рассмотрены задания с двумя ответами. Многим учителям они казались простыми, если не примитивными. Вероятно поэтому они применялись у нас редко, и о них трудно было услышать что-либо хорошее. Одновременно, это были те задания, где нужно четко различать верный ответ от неверного, или, говоря языком логики, отличить истину от лжи. Одним из немногих, кто заметил важность умения отличать, в окружающих нас вещах, словах и делах правильное от неправильного был Спиноза. По его мнению, это указывает на наличие у человека понимания того, что есть истина, а что - ложь.

Такого рода понимание приходит не само по себе, а является следствием опыта решения разного рода проблем, заданий, задач, примеров и упражнений. Отсутствие достаточного опыта решения учебных заданий отрицательно сказывается на возможностях правильно решать и жизненные задачи. В рассматриваемом смысле жизнь человека рассматривается некоторыми авторами как необходимость решения бесконечного числа задач - учебных, бытовых, нравственных, производственных и т.п. Этим и объясняется фундаментальная роль задачного подхода в обучении, а также значимость издания нового поколения учебной литературы, основанной на данном подходе. Главными при этом становятся не тексты и многословные разъяснения учителя, а тщательно подобранные задания и базовая система знаний, необходимая для их решения. Таким образом, основным фактором современно организованного образовательного процесса становятся две системы. Одна - это задания возрастающей трудности и вторая - система строго подчиненных им кратких учебных текстов. Лучше, когда часть системы заданий формулируется в тестовой форме.

Теперь пришла очередь рассмотреть задания в тестовой форме с тремя ответами. В практике тестирования они распространены намного больше, чем задания с двумя ответами, но заметно меньше, чем задания с четырьмя и пятью ответами. Одна из причин такого положения - исследование, проведенное в 1925 г., где с точки зрения надежности теста было показано преимущество заданий с четырьмя и пятью ответами, по сравнению с тремя. И хотя данный вывод неоднократно подвергался сомнению, традиция, установившаяся в мировой литературе с той поры, оказалась достаточно консервативной. Хотя в обшем случае, чем больше даётся ответов к каждому заданию, тем меньше вероятность угадывания, тем качественнее педагогическое измерение.

В настоящее время (2 редакция 2007года) идея увеличения числа ответов к каждому заданию реализуется в форме заданий с выбором нескольких правильных ответов. Они позволяют проверить знания полнее, глубже и точнее. примеры таких заданий читатели могут найти на этом сайте. например, посмотрите статьи "Применение тестовых форм в Rasch Measurement" и "Применение тестовых форм в учебном процессе". Эти и другие статьи опубликованы также в журнале "Педагогические Измерения". Пользуясь случаем, считаю полезным обратить внимание читателей на возможность подписаться на этот ежеквартальный журнал. Подписной индекс 84271.

Задания с тремя ответами сопровождаются инструкциями. Если используется ЭВМ, то инструкция такая: “ОТВЕЧАЯ НА ЗАДАНИЯ, НАЖИМАЙТЕ КЛАВИШУ С ЦИФРОЙ ПРАВИЛЬНОГО ОТВЕТА”. При контроле с помощью бланков инструкция другая: ”ОБВЕСТИ КРУЖКОМ НОМЕР ПРАВИЛЬНОГО ОТВЕТА!”

1. СТИХОТВОРЕНИЕ, ПРОНИЗАННОЕ ПЕЧАЛЬЮ
                1) элегия
                2) эпитафия
                3) эпиталама

2. КОНЯ АЛЕКСАНДРА МАКЕДОНСКОГО ЗВАЛИ
                1) Буцефал
                2) Росинант
                3) Ганимед

3. ПРЕДЛОЖЕНИЕ "THE EXPERIMENT MUST HAVE BEEN CARRIED" ПЕРЕВОДИТСЯ, ЧТО ЭКСПЕРИМЕНТ
                1) надо провести
                2) должен быть провед
                3) вероятно, уже проведен

4. ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ СИММЕТРИЧЕН ОТНОСИТЕЛЬНО
                1) начала координат
                2) оси абсцисс
                3) оси ординат

5. ОБРАЗ ЛИРИЧЕСКОГО ГЕРОЯ ВПЕРВЫЕ ПОЯВЛЯЕТСЯ В ПОЭЗИИ
                1) Сумарокова А.
                2) Ломоносова М.
                3) Прокоповича Ф

6. ЯДРО АТОМА СОСТОИТ ИЗ
                1) протонов и электронов
                2) электронов и нейтронов
                3) нейтронов и протонов

7. ЖАНР ПРОИЗВЕДЕНИЯ “МЕРТВЫЕ ДУШИ” ГОГОЛЬ ОПРЕДЕЛИЛ КАК
                1) роман
                2) поэму
                3) повесть

В развитом тестовом процессе задания только с тремя ответами создаются не намеренно. Они возникают как следствие сокращения неработающих дистракторов в заданиях с большим числом ответов в процессе эмпирической проверки первых вариантов теста. И наоборот, нередко появляется возможность добавить один ответ к заданию с двумя ответами и тогда опять получается задание с тремя ответами. Сейчас мало кто создает задания точно с тремя ответами, не больше и не меньше. В обычной тестовой практике большинство заданий с тремя ответами выглядят так, как будто эти ответы подобраны для них временно, до тех пор, пока не удастся найти другие эффективные дистракторы. Рассмотрим пример, иллюстрирующий это наблюдение:

8. "КТО ЖИВЕТ БЕЗ ПЕЧАЛИ И ГНЕВА, ТОТ НЕ ЛЮБИТ ОТЧИЗНЫ СВОЕЙ" - ПИСАЛ
                1) Пушкин
                2) Некрасов
                3) Лермонтов

Здесь можно дать еще одну-две фамилии поэтов - патриотов XIX века, не писавших эти строки. В случае удачи (если такие дистракторы выберут неподготовленные испытуемые) задание станет с четырьмя или с пятью ответами. Неправильные ответы, которые испытуемые не выбирают при тестировании, в предыдущих статьях уже назывались неработающими дистракторами (неудачными “отвлекателями” испытуемых от правильного ответа). Появление таких дистракторов - следствие недостаточного опыта разработчика и недооценки знаний испытуемых. Вопреки ожиданиям, испытуемые разобрались, какой ответ правильный, а какой неправильный. Если какой-то ответ в задании испытуемые не выбирают, то такой ответ снижает качество задания в целом, лишая, таким образом, задание в тестовой форме шансов на превращение последнего в тестовое задание. После апробации неудачные дистракторы удаляются из заданий. Такая работа сильно развивает рефлексию преподавателей и делает их реалистами в оценке уровня знаний своих учащихся. Вот почему разработку заданий в тестовой форме можно рассматривать как важную часть повышения педагогической квалификации преподавателей. Оптимальным для задания может быть и два, и три, и большее число ответов; все зависит от меры привлекательности каждого.

Принципы композиции

При разработке заданий с тремя ответами используются те же принципы, как и в заданиях с двумя ответами, плюс один новый - принцип градуирования. Кроме того, дополнительно появляются возможности применения сразу двух принципов в одном задании.

В числе первых назовем принцип противоположности. По своим логическим свойствам он предполагает возможность промежуточных состояний, что и используется здесь для увеличения числа ответов до трех. В заданиях с тремя ответами этот принцип проявляется, по меньшей мере, в трех вариантах.

Первый вариант представляет пример, когда имеется всего только три возможных состояния:

9. ПЯТОЕ СКЛОНЕНИЕ ВКЛЮЧАЕТ СУЩЕСТВИТЕЛЬНЫЕ РОДА

10. ОТНОШЕНИЕ ДЕЛИМОСТИ ЯВЛЯЕТСЯ
                1) симметричным
                2) антисимметричным
                3) несимметричным

Во втором варианте противоположные понятия разделяются по правилам трехзначной логики, как это сделано в следующих примерах:

11. ФУНКЦИЯ, ИМЕЮЩАЯ В ИНТЕРВАЛЕ ПОЛОЖИТЕЛЬНУЮ ПРОИЗВОДНУЮ, В ЭТОМ ИНТЕРВАЛЕ
                1) возрастает
                2) сохраняет постоянное значение
                3) убывает

12. НАПРАВЛЕНИЕ СИЛЫ ЛОРЕНЦА ОПРЕДЕЛЯЕТСЯ ПО ПРАВИЛУ
                1) правой руки
                2) буравчика
                3) левой руки

В третьем варианте одним из ответов вводится еще одна противоположность, которая усиливает содержание задания:

13. УДЕЛЬНАЯ ЭЛЕКТРОПРОВОДНОСТЬ ЭЛЕКТРОЛИТА С УВЕЛИЧЕНИЕМ КОНЦЕНТРАЦИИ
                1) увеличивается
                2) уменьшается
                3) сначала увеличивается, затем уменьшается

14. ФУНКЦИЯ{y = x2+sin x}
                1) четная
                2) нечетная
                3) ни четная, ни нечетная

Для композиции заданий с тремя ответами часто используется и другой принцип - однородности.

15. ЭЛЕКТРОННОЕ УСТРОЙСТВО, ОБЛАДАЮЩЕЕ ДВУМЯ УСТОЙЧИВЫМИ СОСТОЯНИЯМИ
                1) диод
                2) триггер
                3) транзистор

16. ВРЕМЕНА ГРУППЫ CONTINUOUS ОБОЗНАЧАЮТ
                1) процесс
                2) результат
                3) завершенность

17. "А СУДЬИ КТО?" - ВОСКЛИКНУЛ
                1) Чацкий
                2) Чичиков
                3) Хлестаков

18. ЕСЛИ В МАЖОРНОМ ЛАДУ ПОНИЗИТЬ ВТОРУЮ СТУПЕНЬ, ТО ПОЛУЧИТСЯ ЛАД
                1) дорийский
                2) фригийский
                3) лидийский

19. СЛОВА, БЛИЗКИЕ ПО ЛЕКСИЧЕСКОМУ ЗНАЧЕНИЮ
                1) омонимы
                2) антонимы
                3) синонимы

Третий принцип разработки заданий в тестовой форме с тремя ответами - сочетание. Здесь тоже можно выделить несколько вариантов сочетания. Первый - когда ответы сочетаются по два:

20. МОЩНОСТЬ, КАК РЕЗУЛЬТАТ СОВЕРШЕННОЙ МЕХАНИЧЕСКОЙ РАБОТЫ, ОПРЕДЕЛЯЕТСЯ
                1) силой и временем
                2) силой и скоростью
                3) работой и силой

21. МЕХАНИЧЕСКАЯ РАБОТА, СОВЕРШЕННАЯ ТЕЛОМ, ЗАВИСИТ ОТ
                1) силы и времени
                2) перемещения и силы
                3) пройденного пути и силы

Нередко используются сочетание по три слова:

22. Ф. ШОПЕН ПИСАЛ
                1) этюды, ноктюрны, полонезы
                2) полонезы, оперы, симфонии
                3) симфонии, баллады, вальсы

23. СЛУЖЕБНЫМИ ЧАСТЯМИ РЕЧИ ЯВЛЯЮТСЯ
                1) предлоги, союзы, частицы
                2) частицы, союзы, местоимения
                3) местоимения, частицы, предлоги

Казалось бы, можно еще увеличить число слов в ответах. Однако здесь важно чувствовать меру и не допускать, чтобы это число превышало четыре-пять в одной строке. Хороший вариант, когда в ответах три слова сочетаются по два:

24. В ИЗОТЕРМИЧЕСКОМ ПРОЦЕССЕ С ИДЕАЛЬНЫМ ГАЗОМ ОСТАЮТСЯ ПОСТОЯННЫМИ
                1) энтальпия и энтропия
                2) внутренняя энергия и энтальпия
                3) энтропия и внутренняя энергия

Во избежание намеков на правильный ответ сочетание элементов лучше производить по уже упоминавшемуся во второй главе правилу цепочки, когда конец первого ответа служит началом второго, а конец второго - началом третьего.

Поэтому для последнего примера лучше принять такую последовательность ответов:
                1) энтальпия и энтропия
                2) энтропия и внутренняя энергия
                3) внутренняя энергия и энтальпия

Точно так же:

25. ИМЯ СУЩЕСТВИТЕЛЬНОЕ В ПРЕДЛОЖЕНИИ МОЖЕТ БЫТЬ
                1) дополнением, определением
                2) определением, обстоятельством
                3) обстоятельством, дополнением

26. ВЕРГИЛИЙ ПИСАЛ
                1) драмы и стихи
                2) стихи и поэмы
                3) поэмы и драмы

27. СПОСОБНОСТЬ К ГОРЕНИЮ РЯДА ПОЛЕЗНЫХ ИСКОПАЕМЫХ ОБЪЯСНЯЕТСЯ НАЛИЧИЕМ В ИХ СОСТАВЕ
                1) углерода и кислорода
                2) кислорода и водорода
                3) водорода и углерода

К моменту второй редакции этой статьи (март 2007 года) автор этой статьи стал больше склоняться к разработке заданий с выбором нескольких правильных ответов. И тогда принцип сочетания становится не нужным. Все мыслимые ответы - правильные и неправильные - пишутся в одном задании. Вместо выбора одного сочетания испытуемому приходится теперь выбирать все правильные ответы.

Рассмотрим теперь задания с тремя ответами, построенные по принципу кумуляции. Это задания с постепенно расширяющимся числом символов и с расширяющимся смыслом (содержанием) ответов. Это довольно интересный принцип, который ассоциируется с идеей кумуляции (накапливания, наращивания) в широком смысле слова, что позволяет сформировать такую систему знаний, в которой нет пробелов.

28. ВО ФРАНЦУЗСКОМ ЯЗЫКЕ ПРИЛАГАТЕЛЬНЫЕ СОГЛАСУЮТСЯ В
                1) роде
                2) роде, числе
                3) роде, числе, падеже

29. ТОЛЕРАНТНЫМ НАЗЫВАЕТСЯ ОТНОШЕНИЕ
                1) рефлексивное
                2) рефлексивное и симметричное
                3) рефлексивное, симметричное и транзитивное

30. ИНФОРМАЦИЯ - ЭТО
                1) процесс отражения
                2) результат процесса отражения
                3) результат процесса отражения одного объекта другим

31. ГЕРУНДИЙ ОБЛАДАЕТ СВОЙСТВАМИ
                1) глагола
                2) глагола и существительного
                3) глагола, существительного и наречия

32. ВРЕМЕНА ГРУППЫ CONTINUOUS ОБРАЗУЮТСЯ С ПОМОЩЬЮ
                1) глагола to be
                2) глагола to be и Present Participle
                3) глагола to be, Present Participle и наречия времени

Иногда слова в последующих ответах добавляются не к концу первого ответа, а к началу, как в следующем примере:

33. СТЕПЕНЬ ПЛОДОРОДИЯ ПОЧВ ОБУСЛОВЛИВАЕТ
                1) совокупность элементов
                2) структура и совокупность элементов
                3) микроорганизмы, структура и совокупность элементов

Литература

1. См., напр. Башмаков М.И. Уроки математики. Вып.1. Вокруг числа. Учеб. Для учащихся старших классов с гуманитарным профилем обучения. - СПб.: "Свет", 1995.- 64с.
2. Балл Г.А. Теория учебных задач: психолого-педагогический аспект. - Педагогика, 1990. - 184 с.
3. Ruch, G.M., Stoddard, G.D. Comparative reliabilities of five types of objective exams. J. of Educational Psychology. 16: 89-103, 1925.
4. Owen, S.W., Froman, R.D. What's wrong with three-option multiple choice items? Educational & Psychological Measurement. 47: 513-522, 1987.
5. См. например Гончарук К. Тесты по истории древнего мира. М. Гном-пресс, 1966.-96с.;

Абб В.П. и др. (Под ред. Тер-Минасовой С.Г.). Test Your English. М. ВЗПИ, 1992г. - 48с.; Миньяр-Белоручева А.П. 300 тестовых заданий по английской грамматике. Изд.2, испр. М.: Моск. лицей. -59с.; English for Beginners. Английский для начинающих. Под ред. И.И. Пановой. Изд. 2. Минск, Вышейшая школа, 1994. -511с. и др.

6. Автор заданий № 22 и № 26 Г.Е.Гетманенко

Задания, присланные В.М. Кадневским (г. Омск).
1.ИКОНЫ В КИЕВСКОЙ РУСИ ПИСАЛИ НА

1) тонко выделанной коже

2) холсте

3) деревянных досках

2. РУССКАЯ ПРАВОСЛАВНАЯ ЦЕРКОВЬ В ПЕРИОД ВВЕДЕНИЯ ХРИСТИАНСТВА ПОДЧИНЯЛАСЬ
1) киевскому князю

2) местному церковному собору

3) константинопольскому патриарху

3. РОДОВЫМ УДЕЛОМ КНЯЗЯ АЛЕКСАНДРА НЕВСКОГО БЫЛ ГОРОД 1) Изборск

2) Муром

3) Переяславль-Залесский.

4. ГОСУДАРСТВЕННЫМ ЯЗЫКОМ В ВЕЛИКОМ КНЯЖЕСТВЕ ЛИТОВСКОМ В XIV ВЕКЕ СТАНОВИТСЯ

1) польский

2) литовский

3) русский.

5. ПЕРВУЮ РЕФОРМУ ИВАН ГРОЗНЫЙ ПРОВЕЛ В СФЕРЕ

1) финансовой

2) административной

3) военной.

6. ГЕРОИЧЕСКУЮ ОБОРОНУ ПСКОВА ОТ ВОЙСК ПОЛЬСКОГО КОРОЛЯ СТЕФАНА БАТОРИЯ В 1581Г. ОРГАНИЗОВАЛ

1)князь Курбский

2) опричник М.Скуратов

3)князь И.Шуйский

7. ПЛАКАТ "РОДИНА-МАТЬ ЗОВЁТ" СОЗДАЛ ХУДОЖНИК

1) А.Дейнека

2) М.Куприянов

3) И.Тоидзе.

8. НАЗВАНИЕ "ОТТЕПЕЛЬ" ПО ОТНОШЕНИЮ К ПЕРИОДУ ПРЕБЫВАНИЯ У ВЛАСТИ Н.С.ХРУЩЕВА ВВЁЛ

1) сам Н.С.Хрущев

2) Г.М.Маленков

3) И.Г.Эренбург.

9. СТАТЬЮ В.М.ПОМЕРАНЦЕВА "ОБ ИСКРЕННОСТИ В ЛИТЕРАТУРЕ" В 1953 г. ОПУБЛИКОВАЛ ЖУРНАЛ

1)"Знамя"

2) "Октябрь"

3)"Новый мир".