Опубликовано в журнале «Педагогическая диагностика №4  2003г. С.69-78.

ПЕДАГОГИЧЕСКОЕ ИЗМЕРЕНИЕ ЛАТЕНТНЫХ КАЧЕСТВ[1]

 

В.С.Аванесов

В докладе представлена классификация теорий измерения латентных качеств и поставлена проблема построения общей теории педагогических измерений. Сформулировано уточненное определение теста. В ссылке отмечена непригодность ЕГЭ и КИМов.

 

1. Основные понятия

Латентные качества. Латентными называются положительные и отрицательные качества личности, не поддающиеся непосредственному измерению. Примерами являются «подготовленность студентов», «знание учебной дисциплины», «способность понимать» «интеллектуальное развитие» и многое другое. Попытки измерения подобных качеств[2] на уровне обыденного сознания оканчиваются словесными или численными оценками, содержащими в себе немалые погрешности.

Попытки судить о невидимых вещах по видимым проявлениям имели место еще в глубокой древности. Например, Платон утверждал, что истинная астрономия занимается не изучением движения наблюдаемых небесных тел, а изучением законов движения звезд по математическому небу. Несовершенным изображением последнего является видимое небо[3]. В эпоху Возрождения скрытые качества рассматривались как некие силы, присущие всем вещам, причем каждая вещь представлялась как нечто двойственное: чувственно воспринимаемый предмет и внутреннее "скрытое качество"[4].

Идея и методы измерения латентных качеств реализуются в тесной зависимости от эмпирических результатов. Именно на основе реально наблюдаемых данных ставится задача воссоздания непосредственно ненаблюдаемого качества, измеряемого с помощью модели. В науке эта ситуация не является новой. С ней уже неоднократно сталкивались физики при изучении микромира.

 

Педагогическое измерение. Опора на основные понятия делает понятным смысл короткого, а потому общего определения: педагогическое измерение – процесс отображения числами уровней проявления интересующих латентных качеств личности. F.M.Lord и M.Novick определяют измерение как такое присвоение чисел, которое верно отражает расположение испытуемых на числовой шкале в зависимости от выраженности измеряемого качества[5].

В отличие от элементарных оценок и некоторых простых физических измерений, процесс научно-педагогического измерения латентных качеств  личности требует теоретизации. В последнюю входят: определение ведущего понятия, проверка логической правильности имени измеряемого качества; определение предмета измерения, а также системы индикаторов, понятийных и эмпирических, указывающих на наличие или отсутствие интересующего качества[6]. Далее требуются аксиоматика и математические формализмы, выбор подходящей модели и стандартизация условий измерения. И, наконец, полученные результаты подлежат аргументированной интерпретации с точки зрения их точности и соответствия ясно сформулированной цели.

 

2. Краткий анализ теорий измерений

Latent Trait Theory. Педагогическое измерение латентных качеств в западной литературе ассоциируется с Latent Trait Theory (LTT)[7], которую можно перевести как теорию измерения латентных качеств.

В начале 40-х годов D.N.Lawly, задался целью получить такие оценки качества тестовых заданий, которые не зависели бы от состава оцениваемой группы. Было понятно, что если задание j давать хорошо подготовленной группе, то доля правильных ответов в ней будет заметно выше, чем в слабо подготовленной группе. Возник вопрос - а какова действительная мера трудности задания j для генеральной совокупности подобных заданий? Для этого надо было найти некое свойство, присущее заданию, которое оказалось бы инвариантным относительно уровня подготовленности группы испытуемых. Таким свойством, как выяснилось, обладают так называемые характеристические кривые тестовых заданий, и теста в целом. В качестве меры работоспособности задания, т.е., способности дифференцировать студентов по уровню их подготовленности автор стал рассматривать параметр крутизны кривой. Таким образом, каждому заданию теста в LTT ему удалось поставить в соответствие два параметра - трудности и крутизны геометрического образа каждого задания[8].

Позже стала очевидной неточность названия Latent Trait Theory, где утверждается специфическая направленность данной теории на измерение именно латентных качеств. Однако это неверно. На самом деле все, без исключения, теории педагогических измерений направлены на оценку истинных компонентов измерений латентных качеств, явно не наблюдаемых. И все теории так же исходят из аксиомы устойчивого существования истинных компонентов измерения. В силу приведенных аргументов название Latent Trait Theory нельзя признать правильным.

 

Item Response Theory. Вероятно поэтому в последние годы стали применять второе название Latent Trait Theory – Item Response Theory (IRT). В своё время модели этой теории я, как и большинство авторов на Западе, модели IRT назвал современными[9]. В последовавших затем у нас публикациях современные модели превратились в «современную теорию», что сразу же высветило два существенных недостатка подобной трансформации. Во-первых, выходило, что пользователи теории IRT- современные авторы, в то время как опирающиеся на другие теории - не современные авторы. Между тем, два сравнительно новых варианта классической теории измерения - Strong True Score Theory и Random Sampling Theory, а также Theory of Generalizability[10], не менее современны, чем IRT. Во-вторых, в фокусе изучения IRT находятся, строго говоря, не тесты, как системы заданий, а отдельные задания. Вот почему это, скорее, не современная теория тестов, а математическая теория оценки качества тестовых заданий.

Не случайно главным в IRT являются утверждение о зависимости вероятности правильного ответа испытуемого от уровня подготовленности испытуемого и от параметров задания. Эту зависимость удобнее представлять в виде логистической функции. Числу рассматриваемых параметров ставится в соответствие модели измерения. Модель измерения определяется как структурное построение, позволяющее соединить так называемые латентные переменные с одним или с большим числом эмпирически наблюдаемых переменных[11].

Датский математик G.Rasch рассматривал матрицу тестовых данных как результат сопряжения множества испытуемых с множеством заданий. Он попытался формализовать идею зависимости результатов этого сопряжения от соотношения уровня подготовленности каждого испытуемого с мерой трудности каждого задания. Позже, в 1976 г., эта идея была развита им в виде так называемого фрейма взаимодействия двух множеств[12].

Ф = P (O, A)                         

где Ф - фрейм сопряжения (взаимодействия);

О - множество заданий;

A - множество испытуемых;

Р - исход, результаты взаимодействия множеств О и А.

К 1958 году у G.Rasch возникла идея выразить вероятность правильного ответа на задание j посредством так называемой логистической функции вида

= exp( - ) / (1 + exp( - )

где = 1, если ответ любого испытуемого (i) на j-ое задание правильный;

- уровень знаний, латентная переменная;

j - уровень трудности j-го задания теста, измеряемой на латентном континууме.

Соответственно, вероятность неправильного ответа на задание j, обозначаемая () равная, как принято в теории вероятностей, 1 - P, выразилась так: = 1 -

                     

где взаимодействие  и  представлено не мультипликативно, а аддитивно[13], что является позитивным элементом этой модели измерения. Элементарные преобразования формулы посредством приведения разности к общему знаменателю 1+exp ( -  позволяют выразить ее в более удобном виде.

= 1/1+exp (- )                                   

Симметрично, возникла и модель, описывающая вероятность правильного ответа студентов с уровнем знаний на задания различного уровня трудности.

  = exp(- ) / 1 + exp(- )        

Значения и могут быть аппроксимированы из матрицы эмпирических данных.

Модели G.Rasch, A.Birnbaum, и F.M.Lord имеют много общего с математической точки зрения, однако они различаются концептуально[14]. Различны они и по генезису. F.M.Lord, его предшественники M.W.Richardson и D.N. Lawly начинали с поисков математической модели репрезентации эмпирических данных. Подход же G.Rasch был априорным, теоретическим, направленным на создание математической модели измерения и получения такой единицы педагогического измерения, с помощью которой можно было бы, на одной шкале, сравнить уровень знаний студента с уровнем трудности задания.

Практические преимущества этого достижения в области педагогических измерений последних лет трудно переоценить. Первое преимущество вытекает из стандартизованного характера полученной единицы измерения. Как и всякая стандартная единица, она представляет собой результат преобразования исходных данных, что дает возможность объективно сравнить достижения разных студентов, по разным учебным дисциплинам. Второе преимущество вытекает из специфических особенностей модели G.Rasch. Получаемые с ее помощью оценки знаний, в силу относительной независимости от конкретного подбора того или иного задания, приобретают характер достаточно объективированных результатов, что также положительно отражается на качестве оценок, используемых в педагогическом контроле. Третье преимущество связано с возможностями получения интервальной шкалы. Недавние исследования G.Karabatsos подтвердили преимущество моделей G.Rasch для построения интервальной шкалы тестовых баллов испытуемых, по сравнению с 2-х и 3-х параметрическими моделями[15]. Четвертым преимуществом рассматриваемой модели является сравнительная устойчивость рассчитываемых значений уровня знаний и трудности задания. Это позволяет утверждать: однопараметрические модели удачно оценивают интересующие качества личности, недоступные непосредственному измерению.

Тем не менее, неоднократно возникали попытки улучшения моделей G.Rasch за счет введения второго (после ) параметра. Этот параметр дает информацию о задании j с точки зрения крутизны его характеристической кривой. Обозначив его буквой , выражение можно теперь представить в виде двухпараметрической модели

= exp ( - ) / (1 + exp( - ) 

Добавление третьего параметра , ассоциируемого с вероятностью угадывания правильного ответа в заданиях с выбором одного правильного ответа дает трехпараметрическую модель.

= + (1- ) exp ( - ) / (1 + exp ( - )

Даже отлично знающие студенты, имеющие самые высокие значения , могут иногда терпеть неудачу и получить нуль по причинам, отнюдь не связанным со знанием предмета, а с какими-то другими факторами, которые иногда трудно определить. На этот и другие случаи труднообъяснимых причин рассчитана малоизвестная четырехпараметрическая модель измерения латентных качеств личности. Эта модель представляет интерес не столько практический, сколько теоретический

=  = + ( - ) exp ( - ) / (1 + exp ( - )          

где  принимает значения больше единицы.

В IRT ставится важный исследовательский вопрос - как соотносятся между собой эмпирически наблюдаемые результаты испытуемого () с соответствующими значениями того же испытуемого на латентной переменной ? F.M.Lord сделал вывод, что линия регрессии тестового балла на латентную переменную имеет, в общем случае, вид логистической функции, откуда можно понять, что тестовый и истинный баллы связаны нелинейно[16]. Всё отмеченное позволяет предложить новый вариант перевода названия IRT на русский язык как математической теории тестовых заданий. Что близко к смыслу названия в английском языке.

 

Классическая теория тестов. Начало этой теории положил Ch. Spearmen в 1904 году. Существенный вклад в её развитие внес H. Gulliksen. Эти и многие другие авторы предполагали наличие истинного компонента измерения, в каждом результате. Они же заложили основы аксиоматики психолого-педагогических измерений.

В настоящее время можно выделить по меньшей мере семь основных аксиом:[17]

            1. Устойчивого существования интересующего качества, признака, свойства, характеристики личности.

                2. Возможности представления интересующего качества как непрерывно измеряемой величины.

3. О существовании истинного значения интересующего качества у каждого испытуемого. Измеряемая величина предполагается варьирующей на множестве испытуемых.

4. О неизбежной погрешности измерения, в соответствии с которым измеряемое значение (X) не равно истинному (T): X предполагается отягощенным некоторой погрешностью. Таким образом,

XT                                

Откуда следует, что у каждого испытуемого

                                      X_i = T_i + E_i           

где E_i - некоторая случайная ошибка измерения, состоящая из суммы возможных ошибок различного происхождения, значения и знака.

В реальном процессе педагогического измерения каждый испытуемый имеет свои значения Х_i, Т_i, и Е_i. Значения Х_i рассматриваются как функция от истинного уровня подготовленности (Т_i)[18] и от значений ошибок измерения (E_i). Каждый из компонентов последнего равенства варьирует на множестве испытуемых.

           5. Аксиома о случайных погрешностях измерений, распределяемых по так называемому в статистике нормальному закону.

6. Аксиома некоррелируемости истинных и ошибочных компонентов измерений. Из четвертой и шестой аксиом вытекает седьмая аксиома.

7. Дисперсия тестовых баллов принимается состоящей из двух компонентов: .

Почленное деление последнего выражения на  даёт

                                    1 =  +                                                                        

Перенесем   влево; получим  1 -  = . Концептуально надежность тестовых результатов равна правой части данного равенства; операционально же это понятие выражается  левой частью:

r_tx = 1 -             

Последняя формула в западной литературе названа классической, вероятно, ввиду её концептуальной простоты и широкой применимости в разработке тестов.

 

Классификация теорий

           Латентные качества изучаются не одной, а всеми научные теориями педагогического измерения. Такая позиция позволяет выработать интегрированную и сбалансированную позицию по отношению к положительным сторонам и реальным возможностям каждой теории. Периодически появляющиеся теории обычно не отвергают, а дополняют одна другую; они различаются не по признаку «современности», а по этапам их применения, по лексике, моделям и методам измерения, а также по прогнозируемости индивидуальных результатов и релевантности поставленным целям.

           Например, в начале 30-х годов классик Чикагской психометрической школы L.L.Thurstone подчеркивал важность индекса надежности результатов измерения (r_xt). Этот индекс является мерой связи наблюдаемых значений каждого варианта теста с истинными компонентами измерений[19]. Если взять за основу классификации, например, философские понятия общего,  особенного и единичного, то можно предложить такую классификацию теорий:

 

Общая теория педагогических измерений. Контуры общей теории педагогических измерений удачно просматривались в работах R.Ebel[20] и других педагогов-тестологов. Последовавшее затем увлечение большинства американских авторов математической стороной проблемы измерения отвлекло их от построения целостной общей педагогической теории измерения. Главный предмет такой теории - разработка и применение заданий в тестовой форме, тестовых заданий и тестов для активизации учебного процесса, научной организации тестовой формы самоконтроля в процессе самообразования.

Настоящее тестирование начинается, развивается и прекращается вместе с учебным процессом. Отстраненное от такого процесса тестирование неизбежно становится объектом бюрократических искажений, несовместимых с тестовой культурой.

Другие предметы общей теории - разработка целей и задач педагогических измерений; создание программ проведения массового тестирования, их положительных и отрицательных последствий на личность, общество и государство. К сугубо научным вопросам общей теории можно отнести анализ понятий, положенных в основу измерений; содержание заданий и теста в целом; разработка педагогических критериев эффективности и качества проводимых измерений. Попытки разработки общей теории педагогических измерений представлены в ряде публикаций[21].

 

Частные педагогические теории. С общей теорией соотносятся частные теории. В качестве одной из таковых могла бы стать логико-педагогическая теория композиции заданий в тестовой форме. Учитывая непосредственную зависимость качества любого теста от правильной композиции содержания и формы каждого отдельного задания, вряд ли можно признать конструктивными известные попытки недооценки в потребности такого рода теории. Ведь каждое нарушение формы, содержания, того и другого – источники погрешностей измерения. Прообразы такой теории можно обнаружить в работах многих авторов второго поколения западных тестологов и в публикациях на русском языке[22]. Предмет теории – разработка принципов композиции заданий в тестовой форме, позволяющих творчески соединять содержание каждого задания с подходящей для него формой.

 

Общие математические теории педагогического измерения. К числу таких теорий надо отнести известную на Западе, но неисследованную в России Random Sampling Theory. Известные варианты  классической теории тестов полезно рассматривать в связке с положениями Random Sampling Theory, учитывая их общую опору на статистические теории индуктивного вывода. Более общей является другая теория, Theory of Generalizability (Dependability)[23]так же не исследованная у нас. Это самые общие теории, сосредоточившие в себе мощный статистический аппарат исследования точности результатов измерения, возможности использования дисперсионных комплексов для оценки достоверности влияния различных источников погрешностей при  измерении латентых качеств.

          

           Специальные математические теории педагогического измерения. К ним можно отнести частную математико-педагогическую теорию тестовых заданий, в которую целесообразно включить часть положений  классической теории тестов, известной на Западе под названием «Item Analysis», а также постулаты, модели и вычислительные методы IRT. Только взятые вместе они позволяют проводить тщательный анализ эффективности каждого задания с последующим решением о включения их в тест, в банк заданий, или об исключении из разработки[24]. По сравнению с общими теориями, предмет исследования IRT является теорией меньшего уровня общности.

 

Основное средство педагогического измерения латентных качеств. Наиболее подходящим для измерения латентных качеств является тест. Самый удивительный факт - в западной и российской литературе уделяется мало внимания определению теста. Педагогический тест - система заданий возрастающей трудности, специфической формы, позволяющая эффективно измерить уровень и оценить структуру результатов подготовленности испытуемых. Это определение гомогенного теста, т.е. измеряющего только одно интересующее качество. Из данного определения вытекает, что тест, как система, обладает целостностью, эффективностью (включающей в себя критерии качества результатов измерений), составом и структурой.

Особого пристального внимания заслуживает анализ такой «новации», неизвестной в педагогической науке, как т.н. контрольно-измерительные материалы (КИМы). О сущности этих «нововведений»  я писал немало[25], но сейчас сложилась практика, в которой критерии оценки и перевода баллов из одной некачественной  шкалы в другую, довольно спорную и непонятную массам, шкалу Центра тестирования,  переводятся распоряжениями Минобразования РФ[26].

Данный факт лишний раз убеждает, что это министерство обременено избыточными, несвойственными ему функциями научного руководства т.н. «экспериментом по ЕГЭ» и по «созданию КИМов[27]». 

Возникла необходимость нового истолкования сущности теста. Во-первых, надо уходить от преднамеренного, полагаю, и конъюнктурного пересечения тестовой  лексики с традиционной педагогической лексикой экзаменов и вопросов. Во-вторых, в определении теста на русском языке надо специально подчеркивать, что тест не только метод, но и результаты измерения. Только тогда мы избавимся от устаревшей лексики «надежность и валидность теста». А также и от таких ошибочных утверждений, как «надежность и валидность т.н. «КИМов» и «педагогических тестовых материалов», которые, по мнению самих же их создателей, не являются, «пока», ни тестами, ни каким-либо другим научно признанным методом. Отсюда и фактическая секретность подлинных данных ЕГЭ – верный признак движения государства к закрытости.

  Свойства метода могут переноситься на свойства результатов, а могут, в силу множества источников погрешностей, и не переноситься. К этому необходимо добавить ещё один элемент: педагогический тест – это метод, результаты, и интерпретация результатов.

Такое истолкование сути теста позволяет по-новому взглянуть на перспективы развития тестовой культуры, особенно в связи с попытками создания так называемых «критериально-ориентированных тестов». На самом деле вопрос лучше ставить не о «тестах», а об интерпретации данных  тестирования в зависимости от того или иного критерия. Тест может быть один, а интерпретации результатов – разные.