Теория и методика педагогических измерений

21. Международная конференция
ЭТИКА В БИЗНЕСЕ И ЭКОНОМИКЕ:
ПРОБЛЕМЫ ВЫСШЕГО ОБРАЗОВАНИЯ

International Conference
ETHICS IN BUSINESS & ECONOMICS:
CHALLENGES FOR HIGHER EDUCATION

Вопросы разработки педагогических тестов
Доктор Вадим Аванесов

18 -19 марта 2002 г., Алматы, Казахстан
18 -19 March 2002, Almaty, Kazakhstan

Цель данного доклада - предоставить слушателям возможность ознакомиться с методическими вопросами разработки и применения тестов в образовательных системах. На Западе проблемой разработки тестов занимается наука, называемая "Educational Measurement". Основной предмет этой науки - разработка качественных тестов для измерения уровня подготовленности учащихся.

В наши дни такие тесты используются не только для измерения уровня подготовленности, но и для проведения рейтинга студентов, мониторинга учебного процесса, для организации адаптивного обучения и адаптивного тестового контроля, дистантного образования: в общем, тесты используются во всех современных образовательных технологиях.

Актуальность тестового метода объясняется его несомненными преимуществами перед другими педагогическими методами. Пять основных преимуществ:
1.Высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых;
2. Технологичность тестовых методов;
3. Точность измерений;
4. Наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов;
5. Сочетаемость тестовой технологии с другими современными образовательными технологиями.

Теоретическую и методическую основу тестовых методов составляют система понятий и терминов, вопросы формы и содержания тестов. Методы и критерии проверки качества тестов, а также математические модели педагогических измерений относятся к вопросам методологии; в этом докладе они не затрагиваются.

Выделяются пять основных, иерархически соподчиненных понятий: три первых из них - "задание в тестовой форме", "тестовое задание" и "педагогический тест", вместе с сопутствующей терминологией были исследованы автором этой работы (1), а затем строго определены в работе (2). Два других системообразующих понятия теории - это "содержание" и "форма"; они относятся и к заданиям, и к тесту в целом. Результаты исследований этих двух понятий подробно изложены в работах автора (2) и (3).

Определение теста

Педагогическим тестом называется система заданий специфической формы, определенного содержания, равномерно возрастающей трудности - система, создаваемая с целью объективно оценить структуру и измерить уровень подготовленности учащихся (студентов).

Для лучшего понимания этого определения полезно ознакомиться с кратким истолкованием основных терминов.

Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность. В тесте задания располагаются в порядке возрастающей трудности - от самого легкого, до самого трудного. Иначе говоря, среди ряда системообразующих признаков теста одним из важных является различие заданий по мере их трудности.

Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, в зависимости от ответов, истинных или ложных. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.

Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается, ни под каким предлогом. Например, проверка уровня интеллектуального развития является предметом психологического тестирования. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

Единственным теоретически оправданным в педагогической тестологии критерием упорядочения содержания так называемого гомогенного теста является критерий трудности заданий. Внеучебное содержание (например, проверка уровня интеллектуального развития) в педагогический тест не включается. Это предмет психологического измерения. Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.

Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, то можно заметить, что одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих. Ученик среднего уровня подготовленности могут ответить правильно только на половину заданий теста. И, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.

Трудность задания может определяться двояко: а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий, и б) после эмпирической апробации заданий, с подсчетом доли неправильных ответов. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах тестов стало уделяться больше внимания характеру умственной деятельности учащихся.

Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Для каждого задания ответы делятся на правильные и неправильные. Критерии правильности заранее определяются авторами теста. Оценка ответов по степени их правильности в тестологической практике проводится довольно редко, но при необходимости создаются задания с такими ответами, которые правильны в различной степени. Инструкция для испытуемых в таких случаях может быть такой: "Обведите кружком номер наиболее правильного ответа!"

Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания. При наличии сопоставимых шкал, эту вероятность выражают значениями от нуля до единицы.

Уровень и структура знаний выявляются при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения.

Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий ученик получил десять баллов. Эти баллы, скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем знаний ученика.

Если же обнаруживается противоположная картина, когда ученик правильно отвечает на трудные задания и неправильно - на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа).

Каждое учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы досадных пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки.

Эта логика заметно выражена в Японии и в быстро развивающихся странах Азиатско-Тихоокеанского региона странах. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно у нас не хватает.

ФОРМА ТЕСТОВЫХ ЗАДАНИЙ

В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы.

Первую группу образуют задания с выбором одного или нескольких правильных ответов. Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. Например:

1. ЕДИНИЦА СЧИТАЕТСЯ ЧИСЛОМ
1) простым
2) составным
3) простым и составным
4) ни простым, ни составным.

В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных. Последние называют дистракторами (от англ. to distract - отвлекать); Число дистракторов может колебаться, обычно, от одного до 5.

В наше время, наряду с выбором одного ответа, всё большее распространение начинают приобретать задания с выбором нескольких правильных ответов. По содержанию они труднее, чем задания с выбором одного ответа. Этим заданиям предшествует инструкция - Обвести кружком номера всех правильных ответов:

1. К ФИЛОСОФСКИМ ПОНЯТИЯМ ОТНОСЯТСЯ
1) атом 2) знание 3) бытие 4) свобода 5) развитие 6) качество 7) культура 8) революция 9) диалектика 10) количество

5. АКЦИЗНЫЕ ТОВАРЫ
1) табак 2) драгоценности 3) зерно 4) автомобили 5) бензин 6) колбасные изделия 7) хлеб 8) спиртные напитки

При ответах испытуемому приходится определять - какие ответы правильные, а какие - неправильные, а также решать вопрос полноты ответа.

Вторую группу образуют задания, в которых правильный ответ надо дописать; обычно это одно слово, или один знак.

Заданиям этой формы предшествует стандартная инструкция - Дополнить:

6. ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ ____________.

7. КАЖДАЯ ПЛАНЕТА ОБРАЩАЕТСЯ ПО ЭЛЛИПСУ, В ОДНОМ ИЗ ФОКУСОВ КОТОРОГО НАХОДИТСЯ ________.

Третью группу образуют задания, состоящие из элементов двух столбцов. Таким заданиям предшествует инструкция -

Установить соответствие:

8. ИМЯ 1. Фауна 2. Флора 3. Мегера 4. Эскулап 5. Пенелопа 6. Нарцисс 7. Прометей

Смысл имени А) Врач Б) Удача В) Борец Г) Верная жена Д) Злая женщина Е) Самовлюбленный Ж) Растительный мир З) Загадочный человек И) Мужчина выдающейся красоты

Ответы: 1_, 2_, 3_, 4_, 5_, 6_, 7_.

В пропущенных ячейках строки ответов испытуемые вписывают букву правильного ответа из правого столбца.

9. ВИД ДОХОДА 1) Торговая прибыль 2) Предпринимательская прибыль       3) Учредительская прибыль 4) Дивиденд

ФОРМА КАПИТАЛА А) Акция Б) Торговый капитал В) Ссудный капитал Г) Промышленный капитал Д) Контрольный пакет акций Е) Переменный капитал Ж) Постоянный капитал

Ответы: 1_, 2_, 3_,4_.

Четвертая группа - это задания процессуального или алгоритмического толка. Рассмотрим, для начала, задание для проверки исторических знаний о событиях февраля - октября 1917 г., которые существенно повлияли не только на судьбу России, но и на ход последовавших затем политических событий во всем мире. Естественно, что при изучении курса истории учащиеся запоминают факты. Но знание истории - это не только знание отдельных фактов, но в первую очередь, знание исторического процесса, в котором изучаемые факты упорядочены по времени. Каждому заданию предшествует инструкция:

"Установить правильную последовательность":

1. СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 г.

• VI съезд РСДРП (б)
• отречение царя Николая II
• приезд Ленина
• создание Петроградского совета
• взятие Зимнего дворца
• Корниловский мятеж
• ликвидация двоевластия
• II съезд Советов