Вариант доклада, опубликованного в сб. науч. трудов 6-ой научно-практ. конф. Славянского-на-Кубани госпединститута. Славянск-на-Кубани, июнь, 2004г.  

Аванесов В.С.

ВОПРОСЫ РАЗРАБОТКИ ПЕДАГОГИЧЕСКИХ ТЕСТОВ

Актуальность тестового метода объясняется его несомненными преимуществами перед другими педагогическими методами. Пять основных преимуществ:

1.Высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых;

2. Технологичность тестовых методов;

3. Точность измерений;

4. Наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов;

5. Сочетаемость тестовой технологии с другими современными образовательными технологиями.

На Западе проблемой разработки тестов занимается наука, называемая «Educational Measurement». Основной предмет этой науки – разработка качественных тестов для измерения уровня подготовленности учащихся. В наши дни тесты используются не только для этого, но и для проведения рейтинга студентов, мониторинга учебного процесса, для организации адаптивного обучения и адаптивного тестового контроля, дистанционного образования: в общем, тесты используются во всех современных образовательных технологиях.

Теоретическую и методическую основу тестовых методов составляют система понятий и терминов, вопросы формы и содержания тестов. Методы и критерии проверки качества тестов, а также математические модели педагогических измерений относятся к вопросам методологии; в этом докладе они не затрагиваются.

Выделяются шесть основных, иерархически соподчиненных понятий теории педагогических измерений: три первых понятия – задание в тестовой форме, тестовое задание и педагогический тест, вместе с сопутствующей терминологией были исследованы автором этой работы (1), а затем строго определены в работе (2). Два других – содержание и форма; они относятся к заданиям и к тесту в целом. Результаты исследований этих понятий изложены в работах автора (2, 3, 4). Новое понятие «тестовый процесс» ещё подлежит точному определению.

Определение теста

Педагогическим тестом называется репрезентативная система заданий специфической формы, определенного содержания, равномерно возрастающей трудности - система, создаваемая с целью объективно оценить структуру и измерить уровень подготовленности учащихся, студентов.

Для лучшего понимания этого определения полезно ознакомиться с кратким истолкованием основных терминов.

Репрезентативная система означает, что в тесте собраны такие задания, которые представляют банк заданий и обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность. В тесте задания располагаются в порядке возрастающей трудности - от самого легкого, до самого трудного. Иначе говоря, среди ряда системообразующих признаков теста одним из важных является различие заданий по мере их трудности.

Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, в зависимости от ответов, истинных или ложных. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.

Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается, ни под каким предлогом. Например, проверка уровня интеллектуального развития является предметом психологического тестирования.

Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

Теоретически оправданным критерием упорядочения содержания так называемого гомогенного теста является критерий трудности заданий. Внеучебное содержание (например, проверка уровня интеллектуального развития) в педагогический тест не включается. Это предмет психологического измерения. Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.

Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, то можно заметить, что одни испытуемые “заваливаются" уже на самом легком, первом задании, другие – на последующих. Учащиеся среднего уровня подготовленности могут ответить правильно только на половину заданий теста. И, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.

Трудность задания может определяться двояко: а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий, и б) после эмпирической апробации заданий, с подсчетом доли неправильных ответов. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах тестов стало уделяться больше внимания характеру умственной деятельности учащихся.

Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Критерии правильности ответа заранее определяются авторами теста. Оценка ответов по степени их правильности в проводится довольно редко, но при необходимости создаются задания с такими ответами, которые правильны в различной степени[1]. Инструкция для испытуемых в таких случаях может быть такой: “Обведите кружком номер наиболее правильного ответа!”

Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания. При наличии сопоставимых шкал, эту вероятность выражают значениями от нуля до единицы.

Уровень и структура знаний выявляются при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий ученик получил десять баллов. Эти баллы, скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем знаний ученика.

Если же обнаруживается противоположная картина, когда учащийся правильно отвечает на трудные задания и неправильно – на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Можно ввести сравнительно простой индекс структурированности знаний испытуемого i. Этот индекс можно представить как С_i = 1- p_i, где p_i что означает долю от числа инверсий в профиле испытуемого i.

Каждое учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы досадных пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки. Эта логика заметно выражена в Японии и в быстро развивающихся странах Азиатско-Тихоокеанского региона странах. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля – в общем, от всего того, чего обычно у нас не хватает.

Форма тестовых заданий

В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма – как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы.

Первую группу образуют задания с выбором одного или нескольких правильных ответов. Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. Например:

1. ЕДИНИЦА СЧИТАЕТСЯ ЧИСЛОМ

1)       простым

2)       составным

3)       простым и составным

4)       ни простым, ни составным.

В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных. Последние называют дистракторами (от англ. to distract – отвлекать); число дистракторов может колебаться от одного до 12.

В наше время, наряду с выбором одного ответа, всё большее распространение начинают приобретать задания с выбором нескольких правильных ответов. По содержанию они труднее, чем задания с выбором одного ответа. Этим заданиям предшествует инструкция – Обвести кружком номера всех правильных ответов:

2. АКЦИЗНЫЕ ТОВАРЫ

1) табак                     5) драгоценности

2) зерно                     6) автомобили

3) бензин                  7) колбасные изделия

4) хлеб                     8) спиртные напитки

Вторую группу образуют задания, в которых правильный ответ надо дописать; обычно это одно слово, или один знак. Заданиям этой формы предшествует стандартная инструкция – Дополнить:

3. ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ___________.

4. КАЖДАЯ ПЛАНЕТА ОБРАЩАЕТСЯ ПО ЭЛЛИПСУ, В ОДНОМ ИЗ ФОКУСОВ КОТОРОГО НАХОДИТСЯ________.

Третью группу образуют задания, состоящие из элементов двух столбцов. Таким заданиям предшествует инструкция –

Установить соответствие:

5. ИМЯ	Смысл имени
1. Флора	А) Врач
2. Мегера	Б) Удача
3. Эскулап	В) Борец
4. Пенелопа	Г) Верная жена
5. Нарцисс	Д) Злая женщина
6. Прометей	Е) Самовлюбленный
	Ж) Растительный мир
	З) Загадочный человек
	И) Мужчина выдающейся красоты

Ответы: 1_, 2_, 3_, 4_, 5_, 6_, 7_.

В пропущенных ячейках строки ответов испытуемые вписывают букву правильного ответа из правого столбца.

Четвертая группа – это задания процессуального или алгоритмического толка. Каждому заданию предшествует инструкция: «Установить правильную последовательность»:

6.РАСПОЛОЖЕНИЕ ГЛАВ РОМАНА "ГЕРОЙ НАШЕГО ВРЕМЕНИ".

□ – Бэла

□ – Тамань

□ – Фаталист

□ – Княжна Мэри

□ – Максим Максимович

□ – Предисловие к роману

□ – Предисловие к журналу Печорина

Испытуемый ставит цифры рангов в прямоугольниках, стоящих слева перед каждым элементом задания. При компьютерном тестировании испытуемый работает с помощью специальной инструментальной программы, сделанной с учетом этой формы заданий; там после проставления каждого ранга курсор автоматически передвигается от одного квадрата к другому.

Содержание теста

Содержание теста – оптимальное отображение содержания образования в системе тестовых заданий. Слова "оптимальное отображение" предполагают необходимость отбора такого контрольного материала, ответы на который с высокой вероятностью (больше 95 %) свидетельствовали бы об уровне подготовленности каждого учащегося.

Требование оптимальности отображения подводит к необходимости периодического пересмотра цели и смысла педагогической деятельности. До недавнего времени практика общего среднего образования сводилась к овладению известным перечнем знаний, умений и навыков. К этому добавили вредную идею так называемого "образовательного минимума", что создало противоречие с целями подлинного образования и развития личности, включающими в себя полноценное интеллектуальное, культурное, нравственное, эстетическое и физическое развитие. Ориентация на работу по минимуму и проверку только минимума является следствием бюрократизации управления образованием и ошибочности минималистской образовательной политики. Оптимизация содержания является ведущей идеей традиционного теста, а в еще большей степени – адаптивного теста: минимумом числа заданий, за короткое время, быстро, качественно и с наименьшими затратами измерить знания как можно большего числа учащихся. Эта идея близка по смыслу задаче повышения эффективности педагогической деятельности при использовании массовых форм контроля знаний. Здесь уместно сделать некоторое обобщение идейного толка: культура тестирования в первую очередь интересна тем руководителям, кто стремится к повышению отмеченной эффективности.

Критерии отбора содержания теста:

1.       Соответствие содержания теста целям тестирования.

2.       Значимость проверяемых знаний в общей системе знаний.

3.       Взаимосвязь содержания и формы.

4.       Содержательная правильность тестовых заданий.

5.       Репрезентативность содержания учебной дисциплины в содержании теста.

6.       Соответствие содержания теста уровню современного состояния науки.

7.       Комплексность и сбалансированность содержания теста.

8.       Системность содержания.

9.       Вариативность содержания.

10.       Соответствие уровня трудности содержанию цели тестирования.

Недостаток научного обеспечения тестирования имеет следствием подмену подлинных тестов ненаучными формами и методами. Например, в России   вместо разработки тестов занимаются созданием контрольно-измерительных материалов (КИМов), которые и используются при проведении т.н. единого государственного экзамена (ЕГЭ). Негативные стороны российского ЕГЭ – это недостижимость (нереалистичность) сформулированных целей. Например, обеспечение равного доступа к образованию невозможно в условиях продолжающегося материального обнищания основной массы населения; борьба с коррупцией неэффективна без Закона о борьбе с коррупцией; объективизация оценки знаний невозможна при использовании некачественных КИМов.

Не проработаны и самые существенные вопросы ЕГЭ:

юридические – этот ошибочный эксперимент проводят не ученые, а чиновники, и делают это на детях, что запрещает ст21. ч. 2 Конституции РФ;

социальные - вызывающие опасные последствия в расслоении общества;

методические и метрические – это вопросы неточности измерения, что тщательно скрывается. Антиобщественная направленность ЕГЭ усугубляется засекреченностью всех исходных матриц фактических данных.

В случае с ЕГЭ мы имеем дело с системным дефектом образовательной политики. Избавление от  такого дефекта может дать только переход к созданию настоящих педагогических тестов.

Литература

1.     Аванесов В.С. "Методологические и теоретические основы тестового контроля". Дисс. докт. пед. наук. СПб, Госуниверситет, 1994. – 339с.

2.     Аванесов В.С. "Композиция тестовых заданий". 3 изд. М.: Центр тестирования, 2002. – 240с.

3.     Аванесов В.С. Содержание теста. Принципы разработки содержания теста. Логические требования к содержанию теста. Знания как предмет тестового контроля. Виды знаний. // Управление школой. №№36,38, 42, 44, 46, 1999г. и №2, 2000г.

4.          Аванесов В.С. Форма тестовых заданий. 2 изд. М.: Центр тестирования, 2005. – 155с.