Статья подготовлена для публикации в сборнике научных трудов. М.МГУ, 2005.

 

ПРОБЛЕМА ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

Форма определяется  как способ связи организации, упорядочения и существования содержания  в общей композиции тестовых заданий[1]. Сложность проблемы состоит в противоречии между теоретическим и практическим мышлением относительно формы. Большинству практиков тестового процесса форма заданий кажется знакомой и вполне понятной. А потому они не видят здесь никаких проблем. Соответственно, практики не считают нужным что-то менять в формах, учиться формотворчеству и методике разработки новых тестовых заданий. Из-за такой позиции практика тестирования начинает деградировать.

Если практики видят в форме привычное средство  создания теста, то теоретики обращают внимание на достоинства и недостатки существующих форм, на поиск дополнительных возможностей автоматизации тестового процесса, а также на поиск таких  форм, которые позволяют проверить знания полнее, глубже, точнее, быстрее и объективнее.  Вот почему исследование формы становится важной частью теории педагогических измерений.

Теоретическое мышление отношение практиков к форме находит ограниченным и вредным, тормозящим развитие тестовой культуры. Потому что от качества формы зависит понимание содержания заданий, технологичность тестового процесса, точность и эффективность измерений. Малейшее нарушение требования формы часто делает задание непонятным. Например, при нечетких инструкциях испытуемые не знают, как им надо отвечать на задания. Нарушение требований формы является также одним из самых распространенных источников погрешностей педагогического измерения. Можно выразиться ещё более определенно: пока преподаватели не овладеют методикой формообразования, нет надежд на появление качественных тестов. Например, результаты тестирования посредством самых распространенных заданий с выбором одного правильного ответа из 3-5 предлагаемых на выбор ответов,  подвержены известным искажениям – тем большим, чем меньше число ответов в каждом задании. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных. Последние называют дистракторами (от англ. to distract – отвлекать); число дистракторов обычно колеблется от одного до 4.

В заданиях с выбором одного правильного  ответа из трёх вероятность угадывания равна 1/3, что приводит к тому, что одна треть всех заданий может быть решена не за счет знаний учебного материала, а за счет ответов наугад. В тесте, состоящем, скажем, из тридцати заданий таких «правильных» ответов может оказаться около десяти, за что педагоги могут выставить привычные три балла. Но это ошибочная практика. Не случайно студентам и школьникам нравятся задания с тремя ответами, где всегда есть реальная возможность угадывания. Именно таких заданий с тремя и четырьмя ответами особенно много в пособиях по русскому и иностранным языкам, а также по русскому языку, как иностранному.

Феномен угадывания правильных ответов в теории педагогических измерений исследовался неоднократно; он рассматривается как источник погрешностей измерения – тем больший, чем больше доля угадываемых правильных ответов. Для коррекции тестовых баллов испытуемых используется формула

 

X_ci = X_i - W/k-1

            где X_ci - скорректированный на догадку тестовый  балл испытуемого. Отсюда и смысл индекса: с от англ. corrected,  символ  i обозначает номер испытуемого.

X_i   - тестовый балл испытуемого i , без коррекции;

W_i  - число ошибочных ответов, у того же испытуемого.

k - число оветов в заданиях теста.

Эта формула используется при предположении, что испытуемый не знает правильный ответ ни на одно задание, и по всему тесту пытается отвечать наугад. В ней наиболее вероятное число ответов, которое можно угадать, ничего не зная, вычитается из набираемой суммы баллов.

 Если взять, для примера, тест, состоящий из 30 заданий с четырьмя ответами, то в случае 20 правильных и 10 неправильных ответов получим X_ci = 20 - 10/4-1 = 16, 6, или округленно, 17 баллов. Из структуры данной формулы видно, что с увеличением количества правильных ответов число вычитаемых на догадку баллов в заданиях с четырьмя ответами заметно уменьшается. Из чего видно, что хорошо подготовленных испытуемых коррекция баллов на догадку не должна беспокоить.

Немногим лучше дела обстоят в заданиях с выбором одного правильного ответа из  пяти ответов. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов могут быть угаданы правильные ответы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслужили. Это и есть одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий.

Если задания с выбором одного из 4-5 ответов применяются в так называемом «едином государственном экзамене (далее ЕГЭ)», и при этом государство не проводит никакой коррекции результатов на догадку, то оно само становится инициатором и проводником методов, содержащих явные источники погрешностей измерения. Подобная ситуация возможна только в одном случае – если чиновники перестают бояться научной критики и при этом полагают, что в тестовом деле они знают больше, чем специалисты. Однако подобное положение дел долго продолжаться не будет, так как последствия же такой практики – отрицательны для личности и  государства.

Не случайно в западных странах государственные органы управления образованием не занимаются тестированием. Там это проблема не государственная, а общественно-профессиональная; это сфера деятельности общественных ассоциаций преподавателей по различным учебным дисциплинам и профессиональных тестовых служб, независимых от государства. Посредством тестов орган управления образованием не может проверять результаты собственной деятельности.

Специалистами по ЕГЭ с целью преодоления феномена угадывания принято решение использовать задания открытой формы, где угадывания почти нет. Ответы по таким заданиям в ЕГЭ оцениваются в два раза выше; в предположении, что задания открытой формы труднее для испытуемых, чем задания с выбором одного правильного ответа из 4-5 ответов. Надо ли убеждать авторов таких решений в простых истинах: трудность заданий зависит, главным образом, не от формы, а от содержания заданий! Не случайно даже в ЕГЭ ряд заданий с выбором оказывается труднее заданий открытой  формы. Из этого видно, что принятая в ЕГЭ система оценивания порождает ещё один, очередной источник погрешностей измерения.

Ошибки оценивания  в этих частях столь велики, что по некоторым дисциплинам результаты испытуемых не коррелируют,  положительно, с результатами испытуемых по первой части «А». А иногда связаны и отрицательно. Вопрос - можно ли складывать полученные по частям баллы в общую оценку за ЕГЭ, и если это делается, то каковы научные основания? Здесь скрывается третий источник ошибок измерения, вызванный неверным толкованием тестовых форм и их возможностей, ошибками сложения баллов, не обладающих свойством аддитивности. 

Задания открытой форме для проведения массовых исследований не годятся из-за  нетехнологичности. Ведь не случайно настоящие тестовые службы в массовых обследованиях используют только задания с выбором, используя далее автоматизированную считку результатов с бланков посредством оптических сканеров очень высокой производительности, от 5 до 50 тысяч бланков в час.  Хороший пример успешного применения такой техники даёт служба Единого Национального Тестирования абитуриентов Республики Казахстан.

Что же можно сделать для улучшения практики тестирования? На этот вопрос можно дать несколько ответов. Во-первых, надо скорее менять формы тестовых заданий. Вместо заданий с выбором одного правильного ответа из 3-5 ответов надо переходить (где это оправданно) к заданиям с выбором нескольких правильных ответов. Посмотрим на некоторые примеры:

1. IRREGULAR VERBS

1) start	6) read	11) wear
2) swim	7) think	12) print
3) speak	8) complete	13) obtain
4) look	9) begin	14) finish
5) run	10) jump	15) draw

 

2. «О» ПИШЕТСЯ В CЛОВОСОЧЕТАНИЯХ 

1) упл…тнить сроки
2) обн…жить пороки

3) р…птать на судьбу
3) прил…скать собаку 

4) отк…заться от услуг

5) опр…вдать поступок
6) угр…жать расправой

7) в…пиющий произвол
8) раск…лить сковороду       
9) усл…жнить обстановку

 

К таким заданиям даётся инструкция: Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов!

Преимущество таких заданий – в технологичности, что позволяет, при правильной организации тестового процесса, исключить элементы субъективизма в оценивания и минимизировать коррупцию. Кроме того, испытуемые не знают точное число правильных ответов, что делает такие задания труднее. Помимо повышения трудности и технологичности, задания данного варианта позволяют проверить знания полнее, глубже и точнее. В таких заданиях испытуемые могут получить от нуля до трёх баллов, что повышает вариацию данных и, как следствие, точность измерения.

Во-вторых, помимо заданий с выбором нескольких правильных ответов можно предложить  использовать сдвоенные задания:

3. ЧТО ВЫ ЧИТАЕТЕ… ? – СПРОСИЛ (А)

1) Офелия                        5) Лаэрт

2) Полоний                     6) Горацио

3) Клавдий                       7) Гертруда

4) Гамлет                          8) Фортинбрас        

 

 

«СЛОВА, СЛОВА, СЛОВА» - последовал  ответ

1) Офелии                                   5) Лаэрта

2) Полония                                  6) Гамлета

3) Клавдия                                  7) Гертруды

4) Горацио                                  8) Фортинбраса       

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, за такие задания оценки могут варьироваться от двух до нуля. Это обстоятельство так же благотворно отражается на повышении точности   измерения.

В-третьих, для создания параллельных вариантов теста полезно  применять  так называемые фасеты. Все элементы одного фасета считаются одинаково трудными по содержанию. Здесь они представлены в фигурных скобках. Каждому испытуемому компьютерная программа подбирает один вариант  из фасета: 

 

  {Краткость есть душа ума

   Порвалась дней связующая нить

   Весь мир – тюрьма!
  Какого обаянья ум погиб!
   Всех слушай, но беседуй редко с кем
   Я пал (а), чтоб встать!}
…………………………

СКАЗАЛ (А)

1)       Гамлет                         6) Лаэрт

2)  Офелия                         7) Актёр

3)  Полоний                      8) Горацио

 4) Клавдий                        9) Гертруда

      5) Фортинбрас                10) Розенкранц        

 

В-четвертых, надо внедрять в учебную практику тематические задания в тестовой форме и текстовые задания. Теория таких заданий рассмотрена в работах автора этой статьи[2]. Тематическим заданиям предшествует обычная инструкция: Вашему вниманию предлагаются задания, в которых может быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов:

Посмотрим пример из текста по русскому языку, как иностранному[3].

После рождения двух сыновей я решил больше не курить. И потом всю жизнь благодарил их за это. Я научился делать много разных хороших и нужных дел. Например, хорошо готовить, мыть посуду, петь детские песни и экономить деньги. Много играл с сыновьями, поэтому стал сильным, спортивным человеком. Мальчики росли и научились играть в хоккей и футбол. Я тоже стал играть в футбол и интересоваться футбольными командами и матчами. И теперь я знаю, какие самые лучшие команды в мире. Научился ремонтировать окна, мебель, одежду и обувь. Дети пошли в школу, и я вспомнил математику, рисование, английский язык, литературу, и русскую, и зарубежную. Потом мы купили детям компьютер. Я научился  работать на нём, чтобы помогать моим сыновьям. Стал хорошим программистом.

Когда мальчикам купили скрипку и пианино, я стал понимать классическую музыку и узнавать музыку разных композиторов. А недавно купил много учебников и словарей, чтобы отвечать на разные "почему?" уже моим внукам. Мне кажется, что я становлюсь умнее, потому что дети и внуки очень любят спрашивать: "'Почему?", "Когда?", "Где?".

ЗАДАНИЯ В ТЕСТОВОЙ ФОРМЕ К УЧЕБНОМУ ТЕКСТУ

Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов.

Обвести кружком номера всех правильных ответов:

1. АВТОР БЛАГОДАРИТ

1)      друзей

2)      свою жену

3) сыновей

4) родственников

5) жену и сыновей

6) жену и родственников

 

2. АВТОР БРОСИЛ КУРИТЬ, ПОТОМУ ЧТО

1) начал заниматься спортом

2) жена давно просила его об этом

3) у него родились сыновья

4) посоветовали друзья

5)      стал понимать, что курение вредно

6)      попросили сыновья

7)      ему надоело отравлять себя 

 

3. ОН СТАЛ СИЛЬНЫМ ЧЕЛОВЕКОМ, ПОТОМУ ЧТО

1) много тренировался

2) хорошо готовил пищу

3) больше не курил

4) много играл с детьми

5) проводил много времени на свежем воздухе

6) каждый день играл в баскетбол

7) много занимался волейболом

 

4. АВТОР НАЧАЛ ИГРАТЬ В

1)  футбол

2) хоккей

3) футбол и хоккей

 

4, ОН  ХОРОШО УЗНАЛ КОМПЬЮТЕР, ПОТОМУ ЧТО

1) изучал компьютер в школе

2) работает в компьютерной фирме

                   3) купил сыновьям компьютер

                   4) захотел стать программистом

                        5) имеет инженерное образование                                   

6)      ему нравится компьютер

7)      компьютер помогает зарабатывать ему на жизнь

5. АВТОР НАУЧИЛСЯ РЕМОНТИРОВАТЬ

1)      двери

2) окна

3) мебель

4) одежду

5)      обувь

6)      компьютер

7)      радиоприёмник

При изучении русского и других языков большую пользу приносят так называемые текстовые задания. Например, на занятиях даются фрагменты из учебников по различным дисциплинам. Затем из таких фрагментов опускают ключевые слова. Те, кто внимательно изучил текст,  смогут, восполнить пропущенные слова. Остальным придётся читать текст, и изучать его заново – до тех пор, пока текст не будет усвоен. Посмотрим пример:

ОЛИВЕР ХЕВИСАЙД[4]

«Оливер Хевисайд был выдающимся ученым. Он жил в период с 1850 по ­­­1920 годы. Современниками он не был признан.

Его можно назвать создателем формулы, известной сейчас как формула Эйнштейна_.  Операцию интегрирования О.Хевисайд сделал сводимой к делению на комплексное число.

Он подсчитал меру излучения движущегося электрона, предсказал наличие в верхних слоях атмосферы ионизированного слоя, отражающего радиоволны».

 

Из этого фрагмента делается текст с пропусками ключевых слов.  Эти слова  нумеруются, превращаясь, таким образом, в номера заданий.

ОЛИВЕР ХЕВИСАЙД

Оливер Хевисайд был _______₍₁₎  ученым. Он жил в период с 1850 по ­­­______₍₂₎ годы. Современниками он был ₍₃₎

1) признан

2)        не признан

Его можно назвать создателем формулы, известной сейчас как формула __________(4). Операцию интегрирования О.Хевисайд сделал сводимой к делению на _________₍₅₎ число. Он подсчитал меру излучения движущегося _________₍₆₎, предсказал наличие в верхних слоях атмосферы ионизированного слоя, отражающего ____________(7)….

За каждое правильно восстановленное слово испытуемый получает один балл. В каждом тексте можно требовать восполнения всех (100%) ключевых  слов. И только после этого разрешать  переход к компьютерной проработке других учебных текстов. Можно использовать и несколько смягчённые требования. Решения о критериях успешности принимает сам педагог или кафедра. Хотя данный текст переработан преимущественно в задания открытой формы, желательно использовать все четыре формы, особенно с выбором нескольких правильных ответов. 

Текстовые задания могут представляться в любой форме. Предпочтительна  первая форма, с выбором нескольких правильных ответов.  

 

Подведём итог. В данной статье форма тестовых заданий рассматривалась как ключевая проблема теории педагогических измерений. От правильного выбора тестовых форм зависит точность выражения содержания теста и качество тестовых оценок. Образовавшийся в практике застой с применением только формы с выбором одного правильного ответа из 3-4 дистракторов  подменяет педагогический принцип  контроля принципом угадывания. Что неизбежно приведет к росту критики и дискредитации тестового метода. Хотя тесты в этом случае не при чём; виноваты те, кто остановились в своём развитии и в развитии тестовой культуры.  Для предотвращения нежелательных последствий в данной статье предлагается быстрее перейти к применению в практике  заданий с выбором нескольких правильных ответов, сдвоенных заданий, тематических и текстовых заданий. Представленные формы позволяют проверять различные виды знаний, делать самоконтроль интереснее и качественным.