Теория и методика педагогических измерений

18. ЗАДАНИЯ В ТЕСТОВОЙ ФОРМЕ С ТРЕМЯ ОТВЕТАМИ

Некоторые авторы заданий в тестовой форме придерживаются своего "излюбленного", если можно так сказать, числа ответов. Но содержание разных заданий допускает неодинаковые возможности подбора правдоподобных ответов. А потому подбор, например, трех и только трех ответов, становится искусственным шаблоном, снижающим, в свою очередь, эффективность задания (1) и общую надежность тестовых результатов (2). Вот почему, в отличие от сложившейся практики, лучше отходить от шаблона и иметь в заданиях своего теста различающееся число ответов.

Вопрос о том, сколько надо иметь ответов в задании - это не вопрос формы или привычки, а вопрос содержания задания и мастерства разработчика. Чиновники любят, чтобы во всех заданиях было одинаковое число ответов. Такое однообразие им кажется признаком настоящего теста. К сожалению, отмеченный шаблон одинакового числа ответов в каждом задании встречается не только в заданиях отдельных учителей, но и в централизованном тестировании. И это только одна из причин, почему при приеме в вузы не следует, полагаться только на тесты или (что бывает чаще) тестоподобные материалы, называемыми тестами либо по недоразумению, либо по давно сложившейся привычке называть вещи не своими настоящими именами. Вспоминается Н. Бердяев: "в словоупотреблении у нас торжествует номинализм, а не реализм". Сейчас страну захлестнули т.н. КИМы, которые никак нельзя ассоциировать с тестами. Тест - средство педагогическтого измерения. КИМы - это материалы неизвестного качества. Слишком узок содержательный диапазон проверяемых ими знаний и слишком велика при этом погрешность измерений. Нельзя безответственно решать судьбы молодых людей, загоняя их хитроумными министерскими приказами в капкан такого ЕГЭ, проводимого посредством "материалов". Сейчас эти доводы ЕГЭведы слушать не хотят. Но сколько верёвочке не виться, а отвечать всё-равно придётся.

При разработке научно обоснованного теста главное внимание уделяется определению меры работоспособности каждого ответа. При этом вводится общий формальный критерий, определяющий число ответов в каждом задании - это частота реального выбора каждого дистрактора. Если в задании имеется k число ответов, то идеальным назовем тот дистрактор, доля выбора которого близка к значению 1/k. В профессионально разработанном задании нет места ответам, которые никем не выбираются. Дистрактор со значением доли выбора меньше 1/k назовем недостаточно работоспособным, а со значением выше 1/k - доминирующим. При работе с тестом желательно иметь задания с идеальными подобранными ответами.

Принципы композиции

В предыдущих статьях рассматривались четыре принципа композиции заданий с двумя и тремя ответами. Напомним, это были принципы противоположности, однородности, сочетания и кумуляции ответов. Задания с тремя ответами дают возможность использовать новые принципы.

Пятый принцип подбора ответов - градуирование. Например:

1. С УВЕЛИЧЕНИЕМ ДОЛИ СВЯЗАННОЙ ВОДЫ УСТОЙЧИВОСТЬ РАСТЕНИЙ К НЕБЛАГОПРИЯТНЫМ УСЛОВИЯМ
                1) повышается
                2) остается без изменения
                3) понижается

2. РАСТВОРИМОСТЬ ГАЗОВ ПРИ ПОВЫШЕНИИ ТЕМПЕРАТУРЫ
                1) увеличивается
                2) остается без изменений
                3) уменьшается

Особенность подобных заданий состоит в том, что в них неправильные ответы часто оказываются неправильными в разной степени. Если в последнем задании второй ответ просто неправильный, то первый - совсем неправильный, и потому что он противоположен правильному. Если баллы за правильный, неправильный и совсем неправильный ответы давать, соответственно, 1, 0 и -1, то очень слабые испытуемые могут закончить тест с отрицательной суммой баллов, что, скорее всего, указывает на существование у таких учащихся вместо знаний своего рода "антизнаний".

Шестой принцип - импликация. Это название предложено в связи с формой утверждения "Если….то", называемой в логике импликацией. С помощью таких заданий особенно полезно проверять знание причинно-следственных отношений. Например:

3. ЕСЛИ ДЛИНУ И ПЛОЩАДЬ ПОПЕРЕЧНОГО СЕЧЕНИЯ УВЕЛИЧИТЬ В ДВА РАЗА, ТО СОПРОТИВЛЕНИЕ ПРОВОДА
                1) увеличивается
                2) останется без изменений
                3) уменьшается

Здесь так же возможны оценки 1, 0 и -1. По мере возрастания суммы отрицательных баллов возникает необходимость педагогической интерпретации этого явления: кто эти учащиеся и почему их тестовые баллы оказались отрицательными? Если тест хороший, то это либо те, кто неправильные ответы приняли за правильные, либо это испытуемые, готовые на риск набрать баллы посредством угадывания. Вторая возможная интерпретация отрицательной суммы баллов походит на каламбур - испытуемый не только не знает, но и не знает, что не знает. Причины могут скрываться в личностных особенностях тех, кто психологически настроен на постоянное отторжение знаний. Нередко такие "знания" опасны для окружающих.

Седьмой принцип - формулирование заданий с ответами, правильными в различной мере. Применение этого принципа требует изменения инструкции, содержания задания и логики подбора ответов. Инструкция пишется так: Обвести кружком номер наиболее правильного ответа. Содержание задания обычно нацеливается на проверку сопоставительных знаний, а ответы формируются так, чтобы был реальный выбор между ответами, правильными в разной степени.

4. МОМЕНТ ИНЕРЦИИ МОЖНО ОПРЕДЕЛИТЬ ОТНОСИТЕЛЬНО
                1) оси
                2) оси и плоскости
                3) оси, плоскости и точки

Здесь правильным считают третий ответ, затем второй, и на последнем месте - первый ответ.

Восьмой принцип - краткости ответов и заданий. Читатель, вероятно, уже обратил внимание на общую ориентацию автора этой статьи на короткие ответы. Короткие ответы особенно хорошо смотрятся вместе с короткими заданиями, часто встречающиеся, например, в химии. Их можно, для экономии места, располагать даже в три столбца:

5. МЕТАЛЛ           1). Hg 2). As 3). Se

6. ФОРМУЛА ОЗОНА      1). 3O 2). O3 3). 3O2

7. ОКСИД КАЛИЯ 1). K2O 2). KO2 3). KO3

Хотя с увеличением числа ответов вероятность угадывания действительно снижается, но вместе с тем растет и громоздкость самого задания, особенно в случаях, когда число ответов больше пяти. А это означает, что громоздким станет и весь тест, что противоречит его сущности, как компактной системы заданий, позволяющей за короткое время качественно и объективно оценить знания большого числа испытуемых. Вот почему при разработке теста общей тенденцией становится стремление к улучшению качества ответов и оптимизации их числа.

Если оценивать качество ответов статистически, то идеальным можно назвать такое задание, в котором все ответы - правильный и неправильные - выбираются в нормативной группе испытуемых с примерно равной частотой. Если такое случается, то вслед за этим делается предположение о выборе неправильных ответов незнающими испытуемыми, а правильных - знающими, что проверяется корреляционным анализом. Другие возможные гипотезы не менее привлекательны для исследования. В самом деле - почему одни выбирают один неправильный ответ, а другие - другой, связан ли выбор со структурой знаний или с психологическими свойствами личности и т. п. Вообще же причин незнания больше, чем причин знания.

Девятый принцип - фасетности содержания задания. Фасет - это форма записи несколько вариантов одного и того же задания (3). Применение фасета позволяет в процессе контроля исключить списывание и другие искажения, известные из опыта проведения экзаменов, зачетов и других традиционных форм проверки знаний. Идея фасета ассоциируется с известной педагогической практикой создания нескольких вариантов одинаково трудных заданий для проведения контрольных работ. Принцип фасетности содержания задания является главным при композиции профессионально разрабатываемых тестовых заданий; он позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, и вариантов теста. Примеры фасета даются ниже:

9. {ВЕРГИЛИЙ} ПИСАЛ
                1) драмы и стихи
                2) стихи и поэмы
                3) поэмы и драмы

Менять можно не только фамилии авторов, но также функции, названия и многое другое:

10. ФУНКЦИЯ {..........) является
                1) четной
                2) нечетной
                3) ни четной, ни нечетной

Хотелось бы подчеркнуть, что данный принцип относится не к подбору ответов, а к подбору содержания заданий. Во время тестирования, проводимого с помощью ЭВМ и записанной в ней инструментальной программы, испытуемый получает из фасета только один вариант содержания задания. Например, если нужно проверить знание фонетики русского языка в итоговом контроле, то испытуемому, скорее всего, достанется только одна буква из фасета:

11. БУКВА { б, в, г, д, ж, к, л, м, н, п, р, с, т, ф, ц, ч, ш, щ} ОБОЗНАЧАЕТ ЗВУК
                1) мягкий
                2) твердый
                3) мягкий и твердый

В текущем же контроле, испытуемые могут потренировать себя на всех буквах представленного фасета. Эта форма особенно хороша для организации самоконтроля - самой гуманной формы контроля знаний.

12. {Сила, ускорение}, КАК ВЕКТОР, ХАРАКТЕРИЗУЕТСЯ
                1) величиной
                2) величиной и направлением
                3) величиной, направлением и точкой приложения.

Задания, образованные заменой элементов из фасета во многих случаях можно называть параллельными по содержанию. Параллельность заданий по содержанию является очень важным, но не единственным критерием для разработки так называемых параллельных тестов, самых главных, кстати, в настоящем тестировании. Идея разработки и существования параллельных тестов является основополагающей для разработчиков тестов.

Сочетание принципов. В заданиях с тремя ответами есть возможность использовать сразу несколько принципов. Например, однородности и сочетания:

13. КИНЕТИЧЕСКАЯ ЭНЕРГИЯ ТЕЛА ЗАВИСИТ ОТ
                1) массы
                2) скорости
                3) массы и скорости

14. МОДАЛЬНАЯ КОНСТРУКЦИЯ "haben + zu + Infinitiv"
                1) возможности
                2) долженствования
                3) возможности и долженствования

15. РАХМАНИНОВ ПИСАЛ МУЗЫКУ
                1) духовную
                2) светскую
                3) духовную и светскую

В этих заданиях первый и второй ответы подобраны по принципу однородности, а третий их сочетает, улучшая и одновременно затрудняя задание. В другом примере можно видеть использование принципов противоположности и сочетания:

16. ТЕПЛОЕМКОСТЬ РЕАКЦИИ МОЖЕТ БЫТЬ
                1) положительной
                2) отрицательной
                3) положительной и отрицательной

Если к распространенным на Западе общим ответам ("верно /неверно"), добавить условие истинности, то может возникнуть, такое, например, задание:

17. В ТРЕУГОЛЬНИКЕ ВЫСОТА ЯВЛЯЕТСЯ МЕДИАНОЙ И БИССЕКТРИСОЙ
                1) верно
                2) только если треугольник равнобедренный
                3) неверно

Первый и третий ответ образуют, вместе с содержанием задания, общие, и потому не всегда верные утверждения, в то время как второй, условный ответ, порождает верное утверждение. Несмотря на некоторую привлекательность, в этом задании можно усмотреть логический недостаток. В нем представлено деление ответов по разным основаниям. Между тем логическое правило деления понятий гласит: деление должно производиться только по одному определенному основанию (4).

ОБЪЯВЛЕНИЕ

К сожалению, в редакции произошла смена главного редактора, вследствие чего изменилась и редакционная политика. Дальнейшая публикция статей по теории и методике педагогических измерений была признана не нужной.

Но работа всё-равно продолжилась. В наиболее полном виде идеи предыдущих статей удалось реализовать в книгах автора "Форма тестовых заданий" и "Композиция тестовых заданий".

Недавно было приятно прочитать такой вот отзыв, который мне особенно приятно получить от авторов нового, не знакомого мне поколения:

Клишина С . В ., Гулюкина Н . А . Педагогический тест: этапы и особенности конструирования и использования . 2 изд . , испр . и доп . Новосибирск : Изд 9 во НГТУ , 2006. 148 с . ;

О книге "Композиция тестовых заданий" там написано: "На сегодняшний день это редкая качественная и серьезная книга, посвященная вопросам разработки тестовых заданий и работе с ними". с 126. Жаль, что такие слова не слышат в Минобрнауки, пытающиеся утвердить в стране свой некачественный ЕГЭ.

Мне кажется, это так и есть, а потому спасибо авторам за высокую оценку моего скромного труда.

Спасибо читателям сайта за интерес к работам этой серии, впервые опубликованной в 1999 году.

Я с благодарностью отмечаю поддержку гл. ред. газеты (в то время) Нины Широковой и её команды.