Теория и методика педагогических измерений

13. ЗАДАНИЯ С ВЫБОРОМ ОДНОГО
ИЛИ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

Вряд ли будет ошибкой сказать, что самая невдохновенная часть педагогической работы - это ежедневная проверка знаний учащихся. Поэтому не случайно во всем мире сложилось стойкое стремление постепенно переложить эту проверку на компьютер, в той мере, в которой это возможно. В отличие от учителя компьютер не огорчается при слабых знаниях испытуемых, а спокойно советует им изучить еще раз то, что надо знать. Такого рода совет компьютерного помощника может повторяться до тех пор, пока весь требуемый материал не будет освоен каждым учащимся при заданном уровне качества знаний. К тому же компьютер умеет приятно общаться с учениками независимо от уровня их подготовленности, методичен, работает быстро и объективен при выставлении оценок. Высвобождаемое при таком контроле время учитель может использовать для разработки новых учебных и контрольных материалов, для культурного, интеллектуального и эмоционального развития учащихся, для формирования способностей и для выполнения другой работы, той, которую машина сделать не сможет. Это одна из возможностей постепенного превращения учителя из урокодателя в творца, технолога и организатора процесса самостоятельного учения и развития учащихся.

В сознании многих учителей понятие "тест" ассоциируется с возможностью выбора ответов. При этом выбор одного ответа из числа предложенных кажется чуть ли не единственной тестовой формой, хотя есть и другие формы заданий, где надо дополнять, устанавливать соответствие или правильную последовательность. Само слово "форма" по смыслу и по морфологическому составу переводится близко к смыслу греческого слова "морфе": прекрасный вид, красивая внешность, идея, суть, смысл, качество. Идеальный случай - когда освоенная форма заданий наполняется тщательно сформулированным содержанием. Но, как показывает опыт, достичь этого идеала непросто.

Задания отмеченной формы были удобнее других заданий в докомпьютерное время, когда делались попытки механизации контроля знаний. Это и есть главная причина их широкой распространенности в педагогической практике. Для компьютерного контроля знаний больше всего подходят задания с выбором одного правильного ответа. Такие задания удобно разделить на следующие Виды: задания с двумя, тремя, четырьмя пятью и большим числом ответов.

Основные элементы композиции заданий с выбором одного правильного ответа

Вначале посмотрим на пример задания в тестовой форме. Ему предшествует инструкция для испытуемого:
Нажимайте на клавишу с номером правильного ответа:
1. ДВУСЛОЖНЫЙ СТИХОТВОРНЫЙ РАЗМЕР НАЗЫВАЕТСЯ
                1) хорей
                2) дактиль
                3) амфибрахий

Для знающего школьника поиск ответа на такое задание требует нескольких секунд. После чего и нажимается соответствующая клавиша. Незнающему же приходится напрягаться, вспоминать учебный материал, сопоставлять варианты, проверять правдоподобность избираемого ответа. При этом начинаются потери времени - тем большие, чем слабее знания. При полном же отсутствии знаний не помогают ни попытки распознавания, ни избыточная затрата времени.

1. Инструкция для учащихся. Тестирование начинается с короткой и четкой инструкции: "0твечая на задания теста, нажимайте клавишу с номером правильного ответа". Инструкция является общей и стандартной для всех испытуемых. Понятно, что учащиеся, допущенные к автоматизированному контролю, должны иметь навыки обращения с ЭВМ.
2. Содержание задания. Оно набирается прописными буквами. Это делается для удобства восприятия. В условиях дефицита времени учащиеся с первого взгляда на задание сразу, по одному только шрифту, понимают, где располагается задание, а где - ответы, которые набираются строчными буквами. Содержание задания формулируется как можно яснее и как можно короче. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью исключаются повторы слов, малопонятные, редко употребляемые, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла. Хорошо, когда задание содержит не более одного придаточного предложения. Для достижения краткости в каждом задании лучше спросить о чем-нибудь одном. Утяжеление заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки.
3. Ответы к заданиям. Они набираются строчными буквами, должны быть короткими и содержательными. Еще лучше, когда короткими являются и задание и ответ. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор (от английского глагола tо distract - отвлекать). Интересно, что в Англии вместо этого используется другое слово - foil. В общем случае чем лучше подобраны дистракторы, тем лучше бывает и задание. Талант разработчика проявляется в первую очередь в: разработке эффективных дистракторов. Обычно считают, что чем выше доля выбора неправильного ответа, тем он лучше сформулирован. Но это верно только до известного предела; в погоне за привлекательностью дистракторов нередко теряется чувство меры. Привлекательность каждого ответа проверяется эмпирически.
4. Оценка. Одно из важных требований при тестировании - наличие заранее разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании принято давать один балл, за неправильный от-вет - ноль. Сумма всех баллов, полученных испытуемым, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием "тестовый балл испытуемого". Есть и другие схемы оценивания.

За что критикуют задания с выбором одного ответа

Задания с выбором одного или нескольких ответов являются самой критикуемой формой. Сторонники привычных подходов утверждают, что по-настоящему проверить знания можно только в процессе непосредственного общения с учеником, задавая ему уточняющие вопросы, что помогает лучше прояснить подлинную глубину, прочность и обоснованность знаний. С подобными утверждениями надо согласиться. Но есть еще вопросы экономии живого труда учителей и учащихся, экономии временных затрат и вообще проблемы повышения эффективности образовательного процесса. Там, где об этом задумываются, начинают понимать, что показатель эффективности учебного процесса - это обычно результат (эффект), деленный на затраты времени или денег. К сожалению, такого рода экономические понятия часто лежат за пределами педагогического мышления.

Нередко считается, что найти правильный ответ гораздо легче, чем формулировать его самому. Однако в хорошо сделанных заданиях незнающему ученику неправильные ответы часто кажутся более правдоподобными, чем правильные. Талант разработчика теста раскрывается в процессе создания именно неправильных, но очень правдоподобных ответов. Другое возражение - что тестовое задание с выбором одного или нескольких правильных ответов годится только для оценки знаний так называемого низшего уровня. Найти правильный ответ можно тогда, когда есть знания или хотя бы те туманные образования в сознании, о которых хорошо говорил в свое время К. Маркс.

К недостаткам этой формы относят также возможность запоминания неправильного ответа. По этому поводу много было написано, но ничего не доказано. Было бы интересно выяснить, что запоминается, как и с какой прочностью, тем более что это происходит, надо думать, во время итогового тестового контроля знаний, когда учебный процесс уже закончился.

Коррекция на возможное угадывание правильного ответа

При обычном ограничении времени тестирования у незнающих учеников остается возможность угадывания правильного ответа. Именно эта возможность является главным аргументом критиков формы заданий с выбором правильного ответа, Но здесь критиков ожидает сюрприз. Наиболее вероятное число ответов, которое можно угадать, ничего не зная, обычно вычитается из набираемой суммы баллов.

Например, если все задания теста имеют по четыре ответа, из кото-рых один правильный, а остальные три неправильные, то вероятность угадывания в каждом задании принимается равной одной четверти. Для баллов же всего теста используется коррекция, рассчитываемая по известной формуле

Xci = Xi - wi / k -1

где Xci - скорректированный на догадку тестовый балл испытуемого. Отсюда и смысл индекса: (с от англ. corrected, а i обозначает номер испытуемого).

Xi - тестовый балл испытуемого i , без коррекции;

Wi - число ошибочных ответов, у того же испытуемого.

k - число ответов задании.

Эта формула используется при предположении, что испытуемый не знает правильный ответ ни на одно задание и пытается отвечать наугад. Если взять, для примера, тест, состоящий из 30 заданий с четырьмя ответами, то в случае 20 правильных и 10 неправильных ответов получим

Xci = 20 -10/4-1= примерно 17.

Из структуры данной формулы видно, что с увеличением количества правильных ответов число вычитаемых на догадку баллов в заданиях с четырьмя ответами резко уменьшается. Из чего можно заключить, что хорошо подготовленного испытуемого коррекция баллов на догадку не должна беспокоить.

Возможность угадывания правильного ответа является источником нарушений. Если за правильный ответ на задание абитуриент получает один балл, а за неправильный - ноль, то у некоторых экзаменаторов каждый неправильный ответ наказывается штрафным баллом, вычитаемым из общей суммы баллов, набранной абитуриентом. Введение штрафных баллов оправдывается стремлением оградить абитуриентов от догадки, и тем самым повысить качество тестовой оценки.

При всей кажущейся логичности этого предложения, оно имело, как обнаружилось, изъян, тщательно скрываемый. Выяснилось, что к этому приему благожелательно относились экзаменаторы, которые совмещали работу в приемных комиссиях вузов с репетиторством абитуриентов. Получалось, что одни абитуриенты знали заранее точные ответы, и потому полностью освобождались от штрафных баллов, в то время как другие, не имевшие финансовых возможностей для подготовки у экзаменатора, ошибались чаще, после чего их ожидало наказание штрафными баллами. В результате искусственно увеличивался разрыв в баллах между теми, кто платил за репетиторство, и теми, кто не мог этого делать.

Первые описания заданий с вы-бором одного правильного ответа можно найти в трудах G.M.Whipple (1), G.M.Ruch, С.W.Odell, H.D.Risland, и многих других. В СССР исследованием тестовых форм успешно занимался Г.С.Костюк (2). К сожалению, его работа была прервана Постановлением ВКП(б) от 1936 года, имевшее название "О педологических извращениях в системе Наркомпроссов"..

Опубликовано в газете "Управление школой" № 6, февраль, 2000г.