при Московском институте стали и сплавов
Комитета по высшей школе Российской Федерации
АВАНЕСОВ ВАДИМ СЕРГЕЕВИЧ
МЕТОДОЛОГИЧЕСКИЕ И ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ТЕСТОВОГО ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ
Диссертация на соискание ученой степени доктора педагогических наук
Специальность 13.00.01 - Теория и история педагогики
Москва
1994
ОГЛАВЛЕНИЕ Стр. ВВЕДЕНИЕ 4
ГЛАВА ПЕРВАЯ. ТЕСТОВЫЙ ПЕДАГОГИЧЕСКИЙ КОНТРОЛЬ КАК ПРЕДМЕТ МЕТОДОЛОГИЧЕСКОГО И ТЕОРЕТИЧЕСКОГО ИССЛЕДОВАНИЯ: ПРОБЛЕМНАЯ СИТУАЦИЯ, ПОСТАНОВКА ПРОБЛЕМЫ И ЗАДАЧ
1.1. Проблемная ситуация 18
1.2. Методолого-теоретические обоснование тестового контроля как проблема педагогической науки 32
1.3. Постановка исследовательских задач 48
1.4. Выводы по первой главе 71
ГЛАВА ВТОРАЯ. ВОЗНИКНОВЕНИЕ И РАЗВИТИЕ ТЕСТОВОГО КОНТРОЛЯ
2.1. Предыстория возникновения тестов 72
2.2. Классический период 84
2.3. Современные математические модели педаго-
гического контроля 101
2.4. Выводы по второй главе 122
ГЛАВА ТРЕТЬЯ. ОСНОВЫ ТЕОРИИ ПЕДАГОГИЧЕСКИХ ТЕСТОВ
3.1. Определение теста 124
3.2. Анализ содержания теста 140
3.3. Исследование формы тестовых заданий 160
3.4. Выводы по третьей главе 175
ГЛАВА ЧЕТВЕРТАЯ. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ТЕСТОВОГО ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ
4.1. Измерение и методы оценивания как основа
объективации педагогического контроля 177
4.2. Основные цели и функции 198
4.3. Принципы организации тестового контроля 215
4.4. Выводы по четвертой главе 227
ГЛАВА ПЯТАЯ. ИССЛЕДОВАНИЕ ОСНОВНЫХ КРИТЕРИЕВ КАЧЕСТВА И ЭФФЕКТИВНОСТИ ПЕДАГОГИЧЕСКИХ ТЕСТОВ
5.1. Надежность результатов тестового контроля 230
5.2. Обоснование валидности тестовых результатов 243
5.3. Эффективность теста и тестовых заданий 255
5.4. Выводы по пятой главе 270
ГЛАВА ШЕСТАЯ. ОБЪЕКТИВНОЕ СРАВНЕНИЕ ПРИРОСТА ТЕСТОВЫХ РЕЗУЛЬТАТОВ В ПРОЦЕССЕ ОБУЧЕНИЯ
6.1. Методы объективации прироста учебных достижений 272
6.2. Математическая модель 285
6.3. Экспериментальное обоснование метода объективного сравнения результатов педагогического контроля 292
6.4. Выводы по шестой главе 296
ЗАКЛЮЧЕНИЕ 297
ЛИТЕРАТУРА 308
ВВЕДЕНИЕ
Разработка государственных образовательных стандартов, внедрение новых технологий обучения и контроля знаний вновь привлекли интерес широкой педагогической общественности к тестам. Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным стандартам, выявить пробелы в подготовке студентов. В сочетании с персональными ЭВМ и программно - педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля - наиболее эффективных, и к сожалению, наименее применяемых у нас форм организации учебного процесса.
Столь значимые для образования возможности педагогических тестов могут проявиться только при условиях изменения общей организации учебного процесса: перехода от привычных групповых форм занятий к индивидуальным, автоматизированным, создания системы стимулов, повышающих персональную ответственность студентов и преподавателей за результаты своего труда. Еще одно условие - это преодоление распространенного мнения о кажущейся простоте педагогического теста и о простоте методов его создания. Заблуждения такого рода являются причиной появления множества псевдотестов, называемых тестами либо по недоразумению, либо из-за сложившейся у нас привычки называть вещи не своими настоящими именами.
Путь к созданию тестов лежит через овладение нетрадиционным для отечественной педагогики направлением, называемым педагогическое измерение (от англ. Educational measurement). Это научное направление возникло в начале нашего века, и с той поры усилиями многих ученых оно достигло заметных успехов. Среди зарубежных авторов, сделавших много полезного для развития Educational Measurement - A.Anastasi, K.Bereiter, A.Birnbaum, W.Brown, L.J.Cronbach, R.L.Ebel, R. Fisher, H. Gulliksen, R.Hambltone, G.F.Kuder, F.M.Lord, W. Masters, J. Nunnally, G.Rasch, M.W.Richardson, G.Sax, C.Spearman, M.Stone, E.L.Thorndike, R.L. Thorndike, D.Weiss и др. В западных странах, особенно в США, к настоящему времени удалось накопить обширный теоретический и фактический материал. В области педагогических измерений там ежегодно выпускаются монографии, специальные научные журналы, пособия; с помощью тестов проверяется подготовленность миллионов школьников и студентов, всех военнослужащих, большей части производственного и управленческого персонала.
Попытки развивать педагогические измерения и разрабатывать на этой основе тесты предпринимались неоднократно и в нашей стране. Первые попытки относятся к началу 20-х годов; они связаны с авторами первых тестологических работ. Это П. П.Блонский, А.А.Болтунов, М.С.Бернштейн, Н.А. Бухгольц, С.Г.Геллерштейн, Е.В.Гурьянов, А.Б.Залкинд, М.И. Зарецкий, С. М.Ривес, А.М.Мандрыка, А. А.Смирнов, М.В. Соколов, А.А.Толчинский, Н.К.Удовиченко, Б.А.Шевырев, А.М.Шуберт, Т.А.Эрн и др. Они сделали первые попытки определения теста, исследования формы тестовых заданий, критериев качества тестов.
Однако эта работа в начале тридцатых годов была свернута: вначале с помощью псевдонаучной, сильно идеологизированной критики, а затем, в 1936 году, официальным запретом Совета Народных Комиссаров. Вторая попытка возрождения культуры педагогических измерений отмечается с 60х годов. Она проходила на волне интереса к программированному обучению и программированному контролю. Среди авторов этого периода выделяются А.В.Левин, А.М.Михеев, В.И.Огарелков, М.А.Соколова, Г. А.Сатаров, В.С.Черенков. Публикации по педагогическим тестам появились у М.С.Бернштейна, В.П.Беспалько, Б.З. Гинзбурга, К.М.Гуревича, М.Н.Королева, Н.М.Розенберга, Э.С.Пороцкого, М.И.Ерецкого, С.И.Ловинского, И.А.Цатуровой и других, в том числе - у автора этой диссертации.
В последующие годы оживился интерес к общим вопросам научной организации контроля знаний студентов и школьников, к вопросам методологии и теории педагогики, управления учебным процессом. Среди авторов, успешно занимающихся этими вопросами - В.И. Андреев, Ш.А. Амонашвили, С.И.Архангельский, Г.М.Афонина, Г.А.Балл, В.С.Безрукова, Ю.К.Васильев, В.И.Гинецинский, Г.Г.Городничий, И.А.Данилов, В.И.Журавлев, В.И.Загвязинский, В.В.Карпов, М.Н.Катханов, В.В.Краевский, И.И.Кобыляцкий, А.В.Кочергин, И.И.Кувшинова, Н.В.Кузьмина, Ч.Куписевич, М.М. Левина, И.Я.Лернер, В.П. Мизинцев, А.Т. Молибог, Н.Д.Никандров, В.М. Полонский, В.М. Рогинский, Л.И. Рувинский, Н.А.Селезнева, М.Н.Скаткин, В.А. Сластенин, Я.С. Турбович, А. И.Уман, Т.И. Шамова, Н.М. Шахмаев, В. А.Якунин и мн. др. Сколь бы, однако ни были значимы исследования упомянутых авторов, в них, к сожалению, проблема методологических и теоретических основ тестового контроля, можно сказать, не затрагивалась.
Актуальность исследования вытекает из необходимости разработки научно-обоснованных тестов для проверки соответствия знаний образовательным стандартам. Введение последних в практику управления образовательными учреждениями предусмотрено Законом Российской Федерации об образовании. Разрыв, образовавшийся между запросами реформирующегося образования в качественных тестах объективного контроля подготовленности студентов и сложившейся традицией оперирования упрощенными схемами субъективного выставления пятибалльных отметок, отсутствие достаточного числа научных разработок по ключевым вопросам методологии и теории тестового контроля является еще одним указанием на актуальность исследования. Научный аспект актуальности исследования вытекает из различий в развитии тестовой науки: статистические аспекты теории тестов хорошо разработаны на Западе и слабо изучены у нас. Сравнительно меньше там изучены педагогические вопросы организации процесса тестового контроля и совсем мало оказались изученными вопросы методологии тестового контроля.
Объект исследования - процесс обучения и контроля подготовленности студентов высшей школы. В этом процессе текущие и итоговые оценки рассматриваются как эмпирически фиксируемые показатели результатов совместной учебной деятельности студентов и преподавателей по формированию знаний, необходимых в профессиональной подготовке.
Предмет исследования - обоснование ключевых сторон тестового контроля: возникновение и развитие тестов, форма и содержание тестовых заданий, предмет, цели, функции, принципы, критерии качества и эффективности тестового контроля.
Исследовательская установка заключается в стремлении определить систему взаимосвязанных понятий, дать эффективное определение теста, ввести в научный оборот новые принципы, провести философско-педагогический анализ вопросов формы и содержания тестовых заданий, проверить правдоподобность гипотез, выдвигаемых при разработке тестов.
Гипотезы, проверяемые в эмпирических разделах исследования:
1. Оценки экспертов-преподавателей, участвующих в эксперименте по валидизации тестовых результатов, конкордантны между собой и коррелируют с тестовыми баллами.
2. Предлагаемая модель оценки прироста тестовых результатов соответствует задаче объективной оценки прироста результатов обучения.
Цель исследования - провести периодизацию процесса возникновения и применения педагогических тестов, определить методологические основы научного исследования и эффективного преобразования практики тестирования, включающие вопросы статуса, сущности и цели педагогических измерений, сформулировать основные функции и принципы тестирования, положения теории организации процесса тестового педагогического контроля, определить систему критериев качества и эффективности тестов и тестовых заданий, создать метод объективной оценки прироста результатов обучения.
Задачи: 1.Определить и обосновать актуальные методологические и теоретические вопросы тестового контроля.
2. Провести исследование по истории возникновения и применения педагогических тестов, возникновения и развития современных моделей педагогического измерения;
3. Сформулировать эффективное определение педагогического теста, рассмотреть вопросы формы и содержания;
4. Провести методологический анализ основных целей и функций педагогического измерения, сформулировать систему принципов научной организации тестового контроля.
5. Систематизировать научный аппарат основных критериев качества тестов, обосновать критерий эффективности тестов и тестовых заданий.
6. Разработать метод объективного сравнения прироста результатов обучения.
Методологической основой исследования является материалистическая диалектика как учение о связи явлений, о преемственности в развитии общественных явлений. С диалектикой неразрывно связан диалектический метод познания. Диалектический метод рассматривается как основа исторического подхода к объяснению и оценке взаимосвязи формы и содержания, общего и частного в содержании тестов. На уровне общенаучных принципов и форм исследования в качестве методологической основы исследования выступают логика научного исследования, с ее формальным аппаратом, системный подход и философские принципы измерений. На уровне конкретно - научной методологии в качестве основы выступают методология педагогической науки и принципы проведения педагогических измерений.
Источники исследования - отечественная и иностранная литература по методологии и теории педагогики, по теории тестов и по методике тестирования, актуальные потребности в создании новых тестов, практика обучения профессорско - преподавательского состава вузов методам тестового контроля знаний и разработки тестов по вузовским дисциплинам.
Этапы исследования. Первый (1971-1978): ставились и решались задачи изучения истории и классической теории тестов, разработки тестов и учебных спецкурсов, подготовки публикаций по тестовой тематике.
Второй (1979-1988): проводилось дальнейшее изучение теории тестов, готовились спецкурсы, научные публикации, монография, разрабатывались тесты и тестовые задания.
Третий (1989-1993): проводилось изучение новой теории тестов, разрабатывались программы для ЭВМ, позволяющие моделировать педагогические тесты, вести статистическую обработку данных и объективно оценить прирост учебных результатов, велась работа над методологической литературой и проблемой, над написанием ряда учебных пособий, разрабатывались и читались спецкурсы по тестовой проблематике для руководящего состава высшей школы - проректоров по учебной работе, руководителей учебно- методических объединений вузов, спецкурсы для преподавателей вузов, техникумов, педагогических училищ, школ, военных, пограничных и других учебных заведений.
Методы исследования:
- Диалектический метод как всеобщий метод познания;
- Общенаучные методы теоретического исследования - классификация, сравнение, аналогия, описание и объяснение, индукция и дедукция, научное доказательство, анализ и синтез, обобщение, абстрагирование, формализация, математизация, исторический метод и другие.
- Общенаучные методы эмпирического исследования - наблюдение, измерение, эксперимент;
- Статистические методы - расчет средних арифметических, показателей вариации, проверка нормальности распределения тестовых результатов, корреляционный и дисперсионный анализ;
- Специально-педагогические методы - педагогическое измерение, математические модели контроля знаний.
Научные положения, выносимые на защиту:
1. История возникновения и функционирования тестового контроля разделяется на периоды: первый - предыстория - с древности до конца XIX века, когда были распространены донаучные формы контроля знаний и способностей; второй период, классический, продолжался с начала 20-х до конца 60-х годов, в течение которого создавалась классическая теория тестов; и третий период - технологический - начавшийся с 70-х годов - время разработки методов адаптивного тестирования и обучения на основе развития новой, Item Response Theory, представляющей, по сути, методологию эффективной разработки тестов и тестовых заданий для параметрической оценки испытуемых по измеряемому латентному качеству.
2. Основные понятия: 1. Педагогический тест: - это система фасетных заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине. Тестовое задание - это дидактически и технологически эффективная единица контрольного материала, часть теста, которая отвечает требованиям предметной чистоты содержания (или одномерности), содержательной и логической правильности, правильности формы, приемлемости геометрического образа задания, а также отвечает требованиям аксиомы локальной независимости, технологичности, эффективности, известной трудности и коррелируемости задания с критерием. Задание в тестовой форме - это задание, к которым, помимо содержания, предъявляются требования тестовой формы: одинаковой инструкции для всех испытуемых; адекватность инструкции форме и содержанию задания; краткость, формулирование заданий в логической форме высказывания - истинного или ложного, зависящего от ответа; правильность расположения элементов задания, краткость, фасетность (варьирование содержания в пределах укрупненной единицы знания), определенное место для ответов, одинаковость оценки в рамках принятой формы.
3. Основные формы тестовых заданий: это задания закрытой и открытой форм, задания на установление соответствия и правильной последовательности. Каждая форма позволяет отразить специфические для нее элементы содержания контрольного материала. Выбор и разнообразие используемых форм заданий зависит от цели тестирования, содержания, технических возможностей и от уровня обученности профессорско-преподавательского состава в вопросах тестового контроля.
4. Процесс тестового контроля может быть назван научно обоснованным, если он регламентируется группой специфических принципов научной организации: связи контроля с образованием, обучением и воспитанием; принципами объективности, справедливости и гласности; научности и эффективности; систематичности и всесторонности. Основные функции - диагностическая, обучающая, организующая и воспитывающая.
5. Применение модифицированного метода справедливой оценки учебных достижений на основе предложенной модели и учета индивидуальных параметров обучаемости позволяет объективно оценить прирост результатов в зависимости от уровня начальной подготовленности и индивидуальных способностей и прогнозировать учебные достижения.
Новизна заключается в попытке разработки педагогических основ научной организации тестового контроля - определении целей тестирования на современном этапе, системы принципов контроля, фундаментальной роли педагогических измерений и методологии тестового контроля. Уровень теоретической новизны определяется тем, что в работе сделана попытка восполнить имеющиеся в мировой литературе пробелы в вопросах возникновения и определения тестов, дополнить известные критерии оценки тестов критерием эффективности, ввести принципы композиции тестовых заданий, сформулировать новое определение педагогического теста, дать периодизацию истории тестового контроля; привести ранее отсутствовавшие в литературе результаты исследования философско-педагогических вопросов соотношения содержания и формы тестовых заданий, обосновать и ввести в научный оборот модифицированный метод объективного сравнения и справедливой оценки прироста учебных достижений.
Уровень практической новизны определяется готовностью результатов исследования к внедрению в работу образовательных учреждений и уже полученными результатами довольно широкого внедрения в работу вузов и других учебных заведений.
Методологическая и теоретическая значимость вытекает из содержания диссертации, направленной на разработку основ методологии тестового контроля - целей и задач, обоснования роли педагогических измерений, формирование принципов научной организации тестового педагогического контроля в высшей школе, создание метода справедливой оценки прироста учебных достижений в зависимости от уровня начальной подготовки; на переосмысление таких положений теории тестов, как определение теста и тестовых заданий, их формы, критериев эффективности и качества. Методологическая и теоретическая значимость исследования состоит также в возможности применения результатов исследования тестового контроля к другим, менее исследованным формам вузовского контроля подготовленности студентов.
Практическая значимость диссертации заключается в научном обеспечении развертываемой сейчас работы по созданию методов объективного контроля соответствия знаний образовательным стандартам; в разработке практических вопросов научной организации обучения и контроля знаний на основе использования тестов, тестовых заданий и заданий в тестовой форме; в конструировании тестов на основе введенного здесь понятия профессионально подготовленного теста и критерия его эффективности. Кроме того, рассматриваемые в работе модели измерения позволяют практически моделировать тест с заданными критериями качества без сбора дополнительной эмпирической информации. Проведенная классификация форм тестовых заданий и разработка требований к каждой форме помогает преподавателям в практической работе по формулированию тестовых заданий.
Выдвинутые в работе принципы организации тестирования позволяют приступить к созданию внутривузовских и региональных систем тестового контроля знаний.
Достоверность и обоснованность научных результатов обеспечивается преимущественной опорой на основные и оригинальные источники научной информации ведущих авторов в области теории и практики тестирования - источники, поступившие по заказам автора в российскую государственную библиотеку из главных библиотек развитых, в тестовом отношении, стран ми ра. Другим источником достоверности и обоснованности результатов является использование современной технологии разработки тестов, включающей, как рефлексивный механизм, совокупность методов проверки и перепроверки качества тестовых данных, соответствие результатов измерения критериям надежности, валидности и эффективности. Использование статистических методов и математических моделей давало возможность абстрагироваться от случайных явлений и оперировать в процессе исследования устойчивыми закономерностями. При обосновании соответствия избранной модели эмпирическим данным использовались статистические критерии Пирсона и F-критерий Фишера. При определении достоверности различий оценок экспертов использовался дисперсионный анализ.
Апробация результатов исследования проводилась многократно в процессе докладов, лекций и научных разработок: -
на научных конференциях и семинарах - вузовских, республиканских, всесоюзных, международных, в том числе российско-французском и российско - американском семинарах (1993); - на всесоюзных совещаниях ректоров (1990г.), проректоров вузов (1990-1991 гг);- на всесоюзном совещании - семинаре зам. председателей учебно-методических объединений вузов Гособразования СССР ( 1991); - на занятиях с профессорско-препо давательским составом вузов, с преподавателями школ и техникумов, со студентами педвузов, в период с 1988 по 1993 годы.
Внедрение результатов в педагогическую практику проводилось в процессе преподавания спецкурсов по тестам и по методам статистической обработки тестовых результатов в ИПК АПН СССР (1971-1990 гг.); в ходе занятий с аспирантами АПН СССР (1985- 1987 гг.), в Учебном центре при Исследовательском центре Гособразования СССР (1989-1992 гг.); в институтах повышения квалификации и при проведении выездных занятий с профессорско-преподавательским составом вузов России, Казахстана, Белоруссии, Украины. Под руководством автора вопросам теории и методики тестового контроля обучено свыше четырех тысяч преподавателей, доцентов, профессоров, деканов и проректоров по учебной работе. Проведены многочисленные занятия с преподавателями и руководителями отдельных вузов, с преподавателями школ и техникумов в разных городах России.
Недельные занятия по теории и методике тестового контроля проведены со студентами физического факультета Поморского педагогического университета (г. Архангельск) и для преподавателей сельских школ села Калиновка Курской области.
Результаты исследования внедрялись в практику посредством издания учебных и методических пособий по тестовой проблематике, научных статей и тезисов конференций, в том числе международных. Все эти результаты представлены в работах автора. Диссертация состоит из введения, шести глав текста с выводами, заключения, практических рекомендаций и списка литературы.
В первой главе дается анализ проблемной ситуации, рассматриваемой на двух уровнях - практики и теории, проводится анализ причин, лежащих в основе трудного, если не сказать, драматического состояния дел с тестовым контролем, формулируются проблема и задачи исследования. Учитывая спорный характер всех затрагиваемых вопросов и заметно различающийся характер их истолкования у нас и за рубежом; в этой главе понадобился специальный раздел, раскрывающий постановку и смысл исследовательских задач.
Во второй главе приводятся материалы исторических исследований автора, дающие иное, чем в западной литературе истолкование истории возникновения тестов, рассматриваются вопросы становления тестового педагогического контроля и современные математические модели тестового контроля.
Третья глава представляет результаты анализа основных вопросов теории тестов. Здесь дано новое определение педагогического теста, раскрываются вопросы содержания и формы. При анализе формы теста и тестовых заданий сделана попытка преодоления традиционного гегелевского истолкования пассивности формы и активности содержания и утверждения другой, отчасти забытой традиции, идущей от Аристотеля и Канта, в которой форма организует и упорядочивает содержание, задавая ему целостность и структуру.
Четвертая глава начинается с методологического анализа вопросов педагогического измерения, являющихся основой научной организации тестового контроля знаний. Становление этого контроля в качестве специального направления педагогической науки предполагает необходимость определения предмета, целей, функций и принципов, что и сделано в этой главе.
В пятой главе сделаны попытки по-новому рассмотреть традиционные для западной науки критерии надежности и валидности тестовых результатов. Уточнение содержания этих критериев привело к идее введения и обоснования третьего критерия - эффективности тестов и тестовых заданий. Содержание этого критерия раскрывается в последнем разделе пятой главы.
И наконец, в шестой главе ставится и решается задача создания метода объективного сравнения прироста результатов за определенный период обучения. Суть задачи состоит в том, что этот прирост часто зависит от начального уровня подготовленности; и в тех видах, где существует легко измеряемый предел учебных достижений, прирост дается труднее тем, кто находится ближе к этому пределу. Поэтому обычно применяемая разность между конечным и начальным результатами сильно искажает оценку обучаемости. Для справедливой оценки обучаемости и для прогноза учебных достижений в заданный период времени по предложенному здесь методу автором и его коллега ми создана программа для ЭВМ.
В заключении даются краткие выводы и практические рекомендации.