Теория и методика педагогических измерений

15. ОСНОВНЫЕ ЭЛЕМЕНТЫ ЗАДАНИЙ
В ТЕСТОВОЙ ФОРМЕ С ДВУМЯ ОТВЕТАМИ

Процесс тестирования состоит из множества различных элементов, одну часть которых можно отнести к более существенным, а другую - к менее существенным. Незначимых элементов в тестировании, можно сказать, нет. В зависимости от конкретной ситуации, каждый из них может оказать то или иное влияние на такие ключевые критерии оценки тестовых результатов, как надежность, валидность и эффективность. Сейчас практически все в России говорят и пишут об этих критериях, как критериях качества тестов. Однако наше исследование показывает, что при переводе смыслов английского слова "тест" на русский язык правильнее всё-таки говорить не о качестве теста, как метода исследования, а о качестве тестовых результатов (1). Отмеченное различие может показаться не таким уж важным, но заметьте, что этим меняется предмет рассмотрения, что в любой науке считается самым важным.

Сосредоточимся на рассмотрении самых существенных элементов, которые используются в композиции заданий в тестовой форме с двумя ответами.

Инструкция. Тестирование начинается с общей инструкции для испытуемых. Она является короткой и четкой. Как уже упоминалось в предыдущей статье, для заданий с выбором одного правильного ответа имеется два варианта такой инструкции: "Обведите кружком номер правильного ответа!" - если тестовый контроль проводится с помощью бланков, или: "Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа!" - если контроль проводится с помощью ЭВМ. Понятно, что учащиеся, допущенные к автоматизированному контролю, должны иметь навыки обращения с ЭВМ. И это тоже существенный элемент с точки зрения возможности появления, у некоторых испытуемых, ошибок или повышенных затрат времени тестирования из-за слабого владения техникой. Для минимизации влияния отмеченного фактора, полезно, до начала тестирования по учебной дисциплине, дать задания на выявление степени готовности каждого испытуемого к компьютерному тестированию. При слабой подготовленности такие испытуемые, до начала основного тестирования, проходят небольшой тренинги лишь затем допускаются к проверке знаний.

Если все задания представлены в одной форме, инструкция пишется один раз. Если же в тесте имеются задания и других форм, то инструкция меняется при каждом изменении формы.

Содержательная основа задания. Она пишется прописными буквами, что позволяет с первого взгляда отделить содержание задания от содержания ответов на него. При разработке содержания заданий используются принципы, отличные от ранее рассмотренных принципов подбора ответов.

Первый - это фасетность. Это главный принцип, позволяющий создавать, в одном задании, сразу несколько вариантов. Что помогает полностью исключить такую распространенную у нас форму искажения результатов, как списывание и даёт возможность объективного сопоставления тестовых баллов испытуемых. Но при этом выдерживается ещё одно существенное условие - все элементы из фасета должны принадлежать одной и той же укрупненной дидактической единице знаний (2). Важно отметить, что принцип фасетности, в полном объеме может быть использован только в современных компьютерных технологиях обучения; где есть возможность автоматически менять содержание того или иного задания для каждого испытуемого. Каждому учащемуся ЭВМ выдаёт только один элемент из фасета. Рассмотрим примеры заданий с одним фасетом и двумя вариантами:

{Зимний, летний} МУССОН ДУЕТ

1) с суши на море

2) с моря на сушу

2. ЗНАК { < , > } ОЗНАЧАЕТ, ЧТО СИЛА МУЗЫКАЛЬНОГО ЗВУКА
               1) увеличивается
               2) уменьшается

В этих заданиях один учащийся может получить один из двух вариантов. Например, в первом варианте задания № 2 одно будет со знаком >, а во втором варианте - со знаком <. В зависимости от полученного знака, правильный ответ испытуемого меняется. Полезно добавить, что обычно учащийся получает из фасета один вариант. Таким образом, фасетная запись задания предназначена не для тестируемого школьника, а для тестирующего учителя. Число элементов каждого фасета задания, практически не ограничивается. Их может быт больше тысячи, как, например, в задании, где можно подобрать и ввести в ЭВМ сколь угодное число глаголов:

3. ГЛАГОЛ {бежать, прыгать, делать ...,}
               1) переходный
               2) непереходный

В заданиях с таким элементами есть возможность вариации содержания: наряду с глаголом "писать", в ЭВМ можно ввести тысячу других, после чего задание становится фасетным, т.е. имеющим варианты. Эти варианты выдаются испытуемым в случайном порядке. Фасетные задания не боятся рассекречивания после одного-двух тестирований, ибо для правильного ответа надо знать общие правила, а, следовательно, быть готовым ответить на любой вариант. Все варианты замены предполагаются равно трудными. Это позволя-ет проверить знание темы "Переходные и непереходные глаголы" у всех учащихся, посредством одного задания с заменяющимися элементами. Точки в фасете означают, что число вариантов такого задания практически не ограничивается. Если подтверждается факт различающейся трудности отнесения отдельных глаголов в той или иной группе испытуемых, то такие элементы из фасета исключаются.

Рассмотрим другие примеры фасетных заданий:

4. К ГРУППЕ ТЯЖЕЛЫХ МЕТАЛЛОВ
               1) относится
               2) не относится

5. ВКЛЮЧАЕТСЯ В ЦЕПЬ
               1) параллельно
               2) последовательно

Число самих фасетов в заданиях может быть больше одного. Рассмотрим пример задания с двумя фасетами:

6.
               1) решается
               2) не решается

В этом задании имеется два фасета, по два элемента в каждом. Это означает, что здесь имеется возможность создания 4 заданий; две комбинации "Гаусс - линейных, Гаусс - нелинейных", и ещё две такие же - с Крамером. Сформулируем общее правило: если в одном фасете имеется m число элементов, а в другом n число, то общее число возможных вариантов задания равно mn.

Можно придумать задания с числом фасетов, больше двух. Например, учившаяся у автора преподаватель среднего профтехучилища строительного профиля С.Г. Мирошникова (г. Саяногорск, Хакассия) предложила пример многовариантного задания для автоматизированной проверки знаний основных свойств бетона и раствора - в зависимости от изменения доли в них различных компонентов:

7.
               1) возрастает
               2) убывает

Общее число различных вариантов этого задания равно произведению числа элементов в каждом фасете: 5 х 2 х 2 х 5 = 100.

Второй принцип композиции задания можно назвать импликацией. Потому что задание представляется испытуемым в логической форме условной связи, или иначе, импликации. Задания, созданные по принципу импликации, используются для проверки знаний причинно-следственных отношений. При этом используется логическая форма "Если…то".

8. ЕСЛИ НАПРЯЖЕННОСТЬ ПОЛЯ НАПРАВЛЕНА СЛЕВА НАПРАВО, ТО ПОТЕНЦИАЛ ПОЛЯ ВОЗРАСТАЕТ
               1) слева направо
               2) справа налево

9. ЕСЛИ КОНЦЕНТРАЦИЯ ИСХОДНЫХ ВЕЩЕСТВ ПОВЫШАЕТСЯ, ТО ХИМИЧЕСКОЕ РАВНОВЕСИЕ СМЕЩАЕТСЯ
               1) вправо
               2) влево

Третий принцип можно сформулировать одним словом - краткость. Содержание задания формулируется как можно короче, и, естественно, яснее. В нём не должно быть ни одного лишнего слова и даже знака. Краткость обеспечивается тщательным подбором слов, символов, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью исключаются повторы слов, малопонятные, редко употребляемые, а также неизвестные сту-дентам символы, иностранные слова, затрудняющие восприятие смысла. Примерное число слов в задании - пять-семь, но, в общем, чем меньше, тем лучше. Хорошо, когда в нём содержится не более одного придаточного предложения. Посмотрим на пример очень короткого задания, подготовленного преподавателем Московской Гос. Текстильной Академии:

15. ШЕРСТЬ
               1) гидрофобна
               2) гидрофильна

Оно состоит всего из одного короткого слова, имеет такие же короткие ответы, абсолютно понятно всем испытуемым с первого же чтения, ответы - однородные понятия с общим корнем ("гидро"), но с противоположным смыслом. Студенты плохо запоминают такие слова без специальной вербальной тренировки, поэтому часто путают. Введение таких заданий в систему автоматизированного самоконтроля заметно помогает усвоению требуемых понятий.

Для достижения краткости в каждом задании лучше спросить о чем-нибудь одном. Утяжеление заданий требованиями что-то найти, решить, а затем еще и объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки. Если студент что-то решает без преподавателя, потом объясняет, возникает сопряжение объективного метода с субъективным. В противоположность этому, одно из важных требований при тестировании - наличие заранее разработанных правил получения баллов без участия учителей.

Ответы к заданиям. Ответы лучше писать строчными буквами. В условиях дефицита времени студенты с первого взгляда на задание сразу, по од-ному только шрифту, видят - где располагается задание, где - ответы. Лучше, когда коротким является и задание, и ответ. Например:

10. СИЛА - ЭТО
               1) вектор
               2) скаляр

Подбору правдоподобного, но неправильного ответа при формулировании заданий с двумя ответами уделяется особое внимание. Ведь он здесь только один, и именно от него во многом зависит качество всего задания. Так, в примере:

11. АБСОЛЮТНУЮ ВЛАЖНОСТЬ ОПРЕДЕЛЯЮТ
               1) гигрометром
               2) психрометром

намек на правильный ответ для понятия "влажность" дает перевод на русский язык латинского слова "гигро" в первом ответе. Но правильным здесь является второй ответ. Здесь смысл перевода удачно использован для подбора эффективного дистрактора, смысл которого раскрывался в предыдущих статьях. Ответы, предлагаемые на выбор, обычно замыкают задание. Поэтому они пишутся в конце, отдельно от задания. Но нередки случаи, когда все ответы приходится ставить в середину задания. В этом случае предлагается такой вариант:

12. ОТНОСИТЕЛЬНО СОБСТВЕННОЙ ОСИ ЗЕМЛЯ ВРАЩАЕТСЯ

1) по

2) против

ЧАСОВОЙ СТРЕЛКЕ(И)

13. THE FAMILY 1) was 2) were SITTING ROUND THE ROOM

14. THE POLICE 1) is 2) are

LOOKING FOR THE CRIMINAL

Здесь меняется внешний вид заданий, из-за того, что ответы пишутся посреди текста задания. . Ответы на каждое задание лучше писать посредине. Так они легче воспринимаются.

Каждый ответ привлекателен для тех или иных испытуемых. При этом правильный ответ привлекает знающих учащихся, а неправильный ответ – незнающих. Интересно, что не только правильные, но и неправильные ответы выбираются в зависимости от уровня и структуры подготовленности. Мера привлекательности определяется долей испытуемых, выбравших данный ответ.

(Продолжение следует)

Литература

1. Аванесов В.С. Композиция тестовых заданий. 2 изд. М. Центр тестирования 2003. – 217с. В этой работе изложены подробности интерпретации понятия «тест».

2. Эрдниев П.М. Укрупнение дидактических единиц как технология обучения. Ч. 1-2., М., Просвещение, 1992.