ВОПРОСЫ МЕТОДОЛОГИИ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

В.С. Аванесов

testolog@mtu-net.ru

Впервые статья напечатана в журнале «Педагогические измерения» №1 2005г.

Новая редакция проведена в 2008 году.

Педагогические измерения представляют собой, одновременно, междисциплинарную прикладную теорию (науку) и практику.  Такое понимание педагогических  измерений требует внимания к вопросам создания и обоснования специальной теории, а также к методам преобразования существующей практики. Это и есть проблема методологии. Главные вопросы методологии – определение сущности, цели, задач, обоснование методов педагогических измерений, шкалирования и правил интерпретации результатов.

 

Определение измерений

Вопрос о сущности педагогических измерений уже затрагивался в предыдущих статьях автора[1]. Из соображений полноты и точности к приведенным там определениям можно добавить ещё два. Первое дано классиком науки N.R.Campbell. Он определяет измерение как процесс присвоения чисел для отображения интересующих свойств, в соответствии с требованиями науки[2]. Этим определением он подчеркивает измеримость только тех свойств, которые наука может определить. Трудности измерения интеллекта, знаний и тому подобных качеств личности N.R.Campbell видит не в самих этих свойствах, а в общем невежестве относительно их сущности (там же).

С логикой N.R.Campbell удачно сочетается другое определение измерений: это процесс, в котором исследователи представляют интересующие свойства личности посредством чисел. В определении A.Tarsky привлекательны два аспекта: подтверждается свойство процессуальности измерений (что много лучше распространенного сейчас слова «процедура») и краткость самого определения. Процесс педагогических измерений - это научное производство и практическое применение  методов измерения явно ненаблюдаемых свойств личности[3].

Каждое интересующее свойство личности в процессе педагогических измерний выражается величиной, по котоой наблюдаемые объекты могут принимать различные значения.  Сущность, подтверждаемая подходящей концепцией и термином, а также наблюдаемая дисперсия значений испытуемых является самым существенными признаками переменной величины. В процессе измерения баллы испытуемых часто принимают различающиеся значения. При отсутствии таковых говорят о постоянной величине.

Выделяются два вида переменных величин. Первые  - это  наблюдаемые и непосредственно измеряемые. Например, скорость движущегося автомобиля  наблюдаема, и измеряема с помощью спидометра. Так же наблюдаема и измеряема, с помощью весов, масса чемодана. Другие переменные проявляют себя при научном подходе к проблеме измерения таких свойств, как интеллект и знания. При этом наблюдаемо не само интересующее свойство, а признаки его проявления, такие как умение правильно решить задачу, дать   точное название, правильно ответить на задание теста. Такие проявления называются эмпирическими индикаторами.

Свойство личности, измеряемое косвенным образом, посредством индикаторов, называется латентным (скрытыми). R.B.Cattell выделяет два вида свойств: латентное свойство является источником (source trait) для внешне наблюдаемого свойства (surface trait)[4]. По внешним количественным проявлениям исследователь оценивает значения латентной переменной. Все наблюдаемые ментальные проявления личности считаются индикаторами латентных свойств. Актуальным примером латентных свойств считаются интеллектуальные способности, знания и представления.

Процесс измерения латентных свойств охватывает испытуемых, разработчиков тестов и тестовых заданий, а также тех, кто применяет тесты и различные виды педагогического оценивания, и интерпретирует результаты.  Для большинства педагогов самым интересующим свойством (или качеством) личности является уровень подготовленности учащихся (студентов), по одной или нескольким учебным дисциплинам.

Операционализация. Для измерения латентной переменной обязателен этап операционализации понятия об интересующем свойстве личности. Использование операциональных понятий оказывается правильным там, где они занимают свое место в общей системе понятий изучаемого предмета, и неправильным, где они абсолютизируются, и  применяются вместо специально-научных, общих и философских  понятий. Операционализация понятия есть его идентифицированность с совокупностью конкретных эмпирических действий - операций, синонимичных содержанию понятия[5]. Операционализация позволяет расчленить, уточнить и детализировать основное понятие, поставить ему в соответствие  некоторый набор понятийных и эмпирических индикаторов. Структурирование индикаторов методами, например, факторного анализа, позволяет получить новую эмпирическую структуру понятия, обычно не совпадающую с исходной, концептуальной. В таких случаях изучается степень их совпадения - несовпадения, пересматривается состав эмпирических индикаторов, особенности того  или иного метода факторного анализа. Если большинство концептуально выделенных индикаторов образует фактор - понятие, то результат рассматривается как успешный для проверки выдвинутой концепции.

Таким образом, операциональные определения обеспечивают  правильный переход от теоретического уровня исследования к  эмпирическому уровню. Основными элементами перехода выступают понятийные индикаторы различного уровня общности. Так, основному понятию ставится в логическое соответствие некоторое небольшое (обычно не более пяти-шести) число частных понятий, становящихся понятийными индикаторами первой ступени. Затем этим индикаторам ставятся в соответствие еще более частные  понятия, которые становятся индикаторами второй и т.д. ступени, вплоть до эмпирических индикаторов, соответствие которых основному понятию проверяется эмпирически.  Применительно к педагогическим измерениям в качестве  эмпирических индикаторов обычно выступают задания, подобранные с целью проверить знания по какой-либо учебной дисциплине.

Педагогическое измерение удобно определить как процесс отображения уровней проявления интересующего латентного свойства испытуемых в числовую шкалу. Желательно, чтобы процесс отображения давал значения тестовых баллов в интервальной шкале. Это означает шкалу с равными интервалами, у которой есть нулевое значение,  единица измерения, правила измерения и правила интерпретации результатов. В педагогических измерениях требованиям интервальной шкалы отвечают тестовые баллы, получаемые  по модели G.Rasch[6]. 

Педагогические измерения проводятся на основе различных моделей. Модель измерения в литературе определяется как структурное построение, позволяющее соединить латентные переменные с наблюдаемыми переменными[7]. Модель измерения, основанная на содержательном анализе заданий и на элементарных оценках, можно назвать педагогическим оцениванием. Более широким аналогом этого понятия в западной литературе является термин педагогическое оценивание (educational evaluation),  которую можно рассматривать как одну из начальных форм педагогического измерения, в которой нет средства измерения (теста), но уже есть числовая шкала, на которой могут градуироваться результаты испытуемых. На Западе этот термин нередко включат в себя не только традиционные педагогически оценки, но также  результаты экспертизы и педагогических измерений

 

Методология и уровни методологии

Методология – это система всеобщих, общих и частных методов научного исследования. В литературе она определяется как система принципов и способов организации теоретической и практической деятельности, а также учение об этой системе[8]. Наиболее эффективный путь влияния методологии на практику - через разработку теории деятельности и путей рационального преобразования практики. Именно в организационной теории преломляются те или иные принципы и правила, которые помогают превратить практическую работу в научно-практическую, со всеми проистекающими отсюда преимуществами.

Методологию педагогических измерений можно определить как учение об основных положениях, формах, методах, принципах научного исследования и организации эффективной практики в разработке показателей качества подготовленности учащихся и показателей педагогической деятельности.

Как и во всякой прикладной науке – а педагогические измерения надо отнести к таковой - можно выделить, как минимум, следующие уровни рассмотрения основных проблем педагогических измерений.

Первый, самый главный уровень – это рассмотрение проблем измерения сквозь призму сложившейся практики, той, которая своим основным предметом деятельности имеют разработку и применение тестов. В практике формируется и соответствующее практическое мышление, заметно отличающееся от форм теоретического мышления. Практическое мышление создаёт и свою систему деятельности, в которой наряду с нормальным формами педагогических измерений встречается немало отклонений от общепринятого, в западной науке, канона. В России такого рода субкультурные формы получили своего рода уникальное чиновно-лексическое оформление в виде т.н. контрольно-измерительных материалов - «КИМов», «АПИМов» и других тестоподобных,  но не тестовых форм. Не случайно одной из основных задач методологии становится разработка критериев эффективности и качества педагогических измерений. В то время как подлинная практика педагогических измерений имеет преимущественно дело с тестами и тестированием, названные выше формы, из-за отсутствия показателей их собственного качества, на статус тестовых форм никак не тянет.

Второй уровень рассмотрения проблем педагогических измерений является теоретическим. Это совсем другая, отличная от практики тестирования форма духовной деятельности, на которую нередко претендуют и практики. Однако различия между материальными и духовными формами деятельности в педагогических измерениях настолько сильны, что совмещать в одном лице претензии на одинаково успешную деятельность в науке и практике фактически невозможно, а там, где это пытаются, дело нередко доходит до абсурда. Ошибочная практика создания субкультурных форм педагогических измерений отвергает теорию и науку вообще, подменяют научную теорию псевдонаучной, содержательную лексику – общей  и бессодержательной лексикой. В качестве примеров можно назвать фактически сложившиеся исключительно в России, т.н. ЕГЭведение и КИМология. В то время как в других старнах - тестировани еи теория педагогических измерений.  

Подлинная теория педагогических измерений совсем не похожа на практику: легко найти различия в целях, объекте, предмете, методах и в содержании теоретической и практической деятельности, в типах мышления и лейтмотивах деятельности. К тому же практическая деятельность сильно отягощена фактором коммерции, что ещё дальше отодвигает субъектов практической деятельности от подлинной науки. Нынешняя тестовая действительность лишь отдалённо напоминает педагогические измерения, что лишний раз доказывает существенность различий между теорией и практикой, равно как и различий между теоретическим и практическим мышлением. В указанном смысле претензии отдельных авторов на использование практического понятия «тестирование» в качестве основного понятия науки о педагогических измерений не имеют оснований. вместо тестологии в наше время правильнее говорить о теории педагогических измерений.

Анализ различных форм проверки знаний с точки зрения объективности, измеримости, научности, репрезентативности и технологичности приводит к выводу о преимуществах тестов перед многими другими традиционными формами оценивания и методами контроля знаний.

Тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным стандартам, выявить пробелы в подготовке студентов. В сочетании с персональными ЭВМ и программно - педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля - наиболее эффективных, и, к сожалению, наименее применяемых у нас форм организации учебного процесса. Педагогические измерения посредством тестов позволяют лучше дифференцировать знания испытуемых и правильнее отображать уровень их знаний в виде шкальных значений по измеряемой латентной переменной.

Сказанное не означает, что остальные методы оценивания учащихся, особенно в текущем учебном процессе, должны быть отменены. Тест – лишь один из методов, который полезно применять как технологичную итоговую форму оценки результатов обучения. Для текущего контроля применяется множество других, в том числе и традиционных форм. Однако в последние годы всё большее значение начинают приобретать задания в тестовой форме. Тем самым, в практике получает развитие идея широкого использования обучающего потенциала заданий в тестовой форме.

 

Проблема методологического обоснования педагогических измерений

Эта проблема является междисциплинарной; она является философско-социально-педагогической и логико-математико-статистической. Философско-педагогической ее можно считать потому, что решение проблемы зависит от использования достижения наук, относящихся традиционно к философским - это сама философия и логика. Социально-педагогической она является, потому что в ней содержатся признаки, присущие общественным проблемам, таким как влияние результатов тестового контроля на социум - учащихся и их родителей,  на зависимость образования от качества тестов, от уровня педагогической культуры, от ценностей общества и др.

К социальным условиям эффективности педагогических измерений можно отнести:

- социально направленный вектор образовательной политики государства;

- управление процессом педагогических измерений общественно-профессиональными организациями;

- добровольность тестирования;

- взаимодействие (партнёрство) испытуемых, родителей, школ, вузов и органов управления образованием;

Нередко обоснование качества результатов педагогических исследований требует обращения к внепедагогическим понятиям и критериям - философским, логическим, математико-статистическим. В частности, философский элемент в теорию  педагогических измерений вносит уже упоминавшийся тезис о  неизбежности погрешности измерений. Критики нередко апеллируют к этому тезису как к обоснованию принципиальной порочности тестов в смысле точности измерений. При этом забывается, что формой преодоления этого философского скепсиса является тезис о возможности приближенного измерения с достаточно приемлемой точностью. Применение на практике последнего тезиса позволило получить, например, в физике те фундаментальные результаты, которыми эта наука по праву гордится.

Методологическое обоснование качества педагогических измерений охватывает два слоя знаний: 1) теорию организации процесса измерения и 2) вопросов научного обоснования этого процесса. В западных странах хорошо разработана математико-статистическая теория тестов, но недостаточно исследована педагогическая теория тестов. Главная причина - изрядная доля прагматизма и технократизма, присущая американскому подходу к тестированию.

Педагогические аспекты проблемы обоснования  - это связь педагогических измерений с педагогической наукой, определение предмета педагогических измерений, соотношение понятийного аппарата педагогики и теории педагогических измерений, методы отбора содержания учебной дисциплины для разработки тестовых заданий и теста.

В этой связи полезно выделить два принципиальных отличия тестов от  обычно используемых задач. Первое отличие состоит в том, что  тест является научно обоснованным методом эмпирического исследования в педагогике. В период зрелости педагогической  науки в ней, как и в других, все большее внимание уделяется  способам познания и критериям обоснованности истинности знания. Рефлексию такого рода Э.Г.Юдин справедливо назвал методологизмом. Появление и развитие последнего в ХХ в. связано  с возрастанием роли средств научного познания[9]. Второе принципиальное отличие заключается в сравнительно новой  роли теста как инструмента теоретического исследования в таких, например, направлениях, как изучение личности, способностей. Здесь использование тестов позволило преодолеть методологический тупик, в котором оказались авторы многочисленных теорий, концепций и иных умозрительных построений.

 Только в последние десятилетия в педагогике стала осознаваться задача согласования теоретических конструкций с эмпирическими результатами, для чего стали необходимыми методы, позволяющие это делать без заметной потери качества такого согласования. Тесты являются сейчас, по-видимому, наиболее развитой в научном отношении частью методического арсенала педагогики, позволяющей адекватно скреплять теорию с эмпирией, в соответствии с такими известными стандартами качества информации, как критерии надежности и валидности.

 

Ведущие проблемы методологии педагогических измерений.

В круг ведущих (основных) методологических проблем входят анализ и реконструкция исторических знаний по данной проблеме,  формулирование главных идей педагогических измерений, целей и задач, определение сущности и принципов педагогических измерений, проблема соотношения научных основ измерения с практикой тестирования и других форм педагогического оценивания (evaluation).

Вопрос начала педагогических измерений. Педагогическое измерение (от англ. Educational measurement) возникло как научное направление в начале XX века. Именно в эти годы была осознана недостаточность оценочной деятельности педагогов. Тесты возникли позже того времени, когда в Европе сложились первые педагогические системы Коменского, Ушинского, Гербарта, Дистервега, Песталоцци и других. В тех системах не было тестов. К началу 30-х годов XX века тесты уже были, но к этому времени в СССР успела сложиться педагогическая система, целью и основным предметом которой стало воспитание в духе преданности известной идеологии и известным лицам. Образование и обучение могли быть воспитывающими в духе той же идеологии.

В качестве критериев демаркации теста от других форм оценивания, в определение теста включены термины: задание, содержание, форма, трудность, уровень, система, структура, качество. Именно на этом этапе важно сформулировать совокупность взаимосвязанных понятий основных, исходных и производных, способствующих развитию тестов в наиболее перспективных направлениях: это развитие теории педагогических измерений и, в частности, латентно-структурного анализа в педагогике, использование системных понятий в теории тестов, разработка критериев обоснования качества тестов.

Усилиями многих ученых оно достигло с той поры заметных успехов. Среди зарубежных авторов, сделавших много полезного для развития Educational Measurement - A.Anastasi, A.Birnbaum, W.Brown, L.J.Cronbach, R.L.Ebel, R. Fisher, R.Glezer, J.P.Guilford, H. Gulliksen, L.L.Guttman, R.Hambltone, P.Horst, G.F.Kuder, R.Linn, J. Loevinger, F.M.Lord, W. Masters, J.Nitko J.Nunnally, G.Rasch, M.W.Richardson, G.Sax, C.Spearman, M.Sto­ne, E.L.Thorndike, R.L. Thorndike, D.Weiss, W. Wiersma и S. G.Jurs, B.D.Wright и многие другие. В западных странах, особенно в США, к настоящему времени удалось накопить обширный теоретический и фактический материал. В области педагогических измерений там ежегодно выпускаются монографии, специальные научные журналы, пособия.

Попытки развивать теорию и методологию педагогических измерений и разрабатывать на этой основе тесты предпринимались неоднократно в СССР и России. Первые попытки относятся к началу 20-х годов; они связаны с авторами первых тестологических работ: П.П.Блонский, А.А.Болтунов, М.С.Бернштейн, Н.А.Бухгольц, С.Г.Геллерштейн, Е.В.Гурьянов, А.Б.Залкинд, М.И.Зарецкий, С.М.Ривес, А.М.Мандрыка, А. А.Смирнов, М.В. Соколов, А.А.Толчинский, Н.К.Удовиченко, Б.А.Шевырев, А.М.Шуберт, Т.А.Эрн и мн. др. Названные авторы дали первые, а потому не очень точные определения теста, исследовали формы заданий, критерии качества тестов, занимались практическим применением тестов. Однако эта работа в начале тридцатых годов была свернута: вначале с помощью идеологизированной критики, а затем, в 1936 году, и политическим запретом.

В начале 30х годов в СССР резко усилился субъективизм и начал распространяться эгалитаризм. Субъективизм в политике препятствовал развитию любого объективного метода контроля знаний, ибо в нем усматривалась угроза существованию командно-административной системы. С её тщательно культивируемым отрицательным подбором кадров, в соответствии с которым каждое последующее поколение управленческих кадров оказывается хуже предыдущего. Это происходит, в частности, из-за того, что решающими признаком подбора становится не знания, не способности, а послушность в выполнении приказов вышестоящих лиц. Начиная с той поры, в литературе много писалось о вредности тестов, о недопустимости использования последних в отечественной педагогической науке и практике. Сравнение с западными странами показывает, что они опережают нас по масштабам работы, по числу публикаций, по подготовке научных кадров, уровню и качеству развития теории тестов, по технической и программно-вычислительной оснащенности тестового процесса.

Наиболее развитые в тестовом отношении страны Нидерланды, США, Англия, Япония, Дания, Израиль, Канада, Австралия. Нет никакой случайности в том, что в этот список попали страны с достаточно высоким уровнем жизни населения. Применение тестов благотворно влияет на качество образования; качество образования связано с качеством управления; качественное управление создает предпосылки для повышения качества жизни населения. Сейчас с помощью тестов там проверяется подготовленность миллионов школьников и студентов, военнослужащих, управленческого персонала.

Полезен зарубежный опыт выпуска общественными ассоциациями десятка специализированных журналов по разработке тестов, таких как Journal of Educational Measurement, Educational and Psychological Measurement, Psychometrika и т.п., а также опыт подготовки сотен монографий, учебных пособий, диссертаций по тестам и педагогическим измерениям

Можно привнести свидетельства и личного опыта автора. Естественный научный дрейф от одной проблемы к другой привел к исследованию тестов, невостребованных в то время отечественной педагогической наукой. Для публикации результаты своих работ в то время надо было вначале убедить членов академии педагогических наук в важности тестовой проблематики. При этом самыми трудными были попытки преодолеть у них тестофобию. Делать это в педагогических изданиях было невозможно. Только в 1978 г. автору удалось опубликовать в журнале "Вопросы психологии" статью "Проблема психологических тестов", где были поставлены вопросы организации психологического и педагогического тестирования[10].

В предисловии ко второму английскому переводу этой статьи[11] зарубежные издатели сделали предположение, что в статье обнажается только видимая часть айсберга той работы с тестами, которая якобы велась в СССР, но это было неверно: айсберг тестовых результатов на самом деле был у них. У нас же было отставание, причем возрастающее. Разрыву в уровне педагогических измерений способствовало то, что в США не было ни запретов на тесты, ни перерывов в их разработке, как не было и других идеологических помех. Напротив, год от года возрастали финансовые вложения в эту сферу. Особый размах в деле разработки и применения тестов знаний и способностей отмечен во время второй мировой войны. Тогда тесты широко применялись для профотбора летного и технического персонала ВВС, что позволило на каждый вложенный в это дело доллар сэкономить тысячу долларов. Последние двадцать лет характеризуются там радикальными изменениями как в теории тестов, так и в практике тестирования.

Вероятно, одну из первых, после запрета, попыток сформулировать основы методологии педагогических измерений сделал автор этой работы в учебном пособии по педагогике и психологии высшей школы[12].  Затем эта работа была существенно расширена и опубликована в виде специального учебного пособия по основам научной организации тестового педагогического контроля знаний студентов высшей школы. С ориентацией на педагогические измерения там было дано определение предмета, основных функций и принципов педагогического контроля в вузе, показана роль измерений как научной основы тестового контроля знаний, рассмотрены вопросы истории и теории педагогических тестов, критериев их качества, методы сравнения и интеграции результатов тестирования в учебном процессе[13]. Затем вышло и диссертационное исследование[14], в котором проблема педагогических измерений была рассмотрена в тесной связи с вопросами педагогического оценивания.

Хотя интерес к тестам в последнее время заметно вырос, ситуация с ними в России не улучшилась. Кажущаяся простота создания тестов и возросший спрос на них породили множество некачественных материалов, называемых "тестами" либо по незнанию, либо в силу укоренившейся привычки называть вещи не своими настоящими именами.

Одна из причин сложившейся ситуации - трудности изменения учебного процесса, с огромными затратами времени на экзамены, зачеты и другие формы традиционного контроля знаний. В сочетании с неизбежным педагогическим консерватизмом, такая организация легко отторгает любые новшества, а если и принимает их, то в сильно измененном, до неузнаваемости, виде. Отмеченная ситуация находится в противоречии с мировой тенденцией повышения эффективности образования и превращения самой образовательной деятельности в ведущую отрасль общественного производства.

По-настоящему тесты могут быть востребованы только при такой организации учебного процесса, в котором преподаватель из урокодателя превращается в разработчика новых программно - педагогических средств, в организатора процесса самостоятельного учения студентов. Другое условие - концентрация усилий на модернизации учебного процесса.

 

Процесс педагогических измерений.

Для практической разработки методов педагогических измерений знаний одной только теории недостаточно. Как и в выпуске промышленной продукции, где помимо теории, требуются материалы, оборудование, кадры и технология, нечто подобное требуется и для выпуска тестов. Но это в теорию не входит. При разработке тестов необходима методика, включающая в себя совокупность методов анализа содержания учебных текстов и учебников, анализа содержания и формы заданий. Нужен также процесс сбора и обработки информации, нужны методы расчета параметров тестовых заданий и тестов, расчета статистических показателей и др. В общем, нужна теория о тестовом методе контроля знаний. Теории такого рода в философской литературе называется методологией.

Помимо разработки теста и оценки его качества, процесс педагогических измерений предполагает активное применение тестов. В американской литературе эта часть контроля называется Test Administration. Задачи этой деятельности имеют слишком мало общего с содержанием теории тестов. По сути, мы имеем здесь дело с необходимостью организации той части процесса, которая занимается применением тестов. В западной литературе выделяется шесть задач, решаемых Test Administration[15].

1. Организация тестового контроля в соответствии с инструкциями разработчиков теста;

2. Подготовка испытуемых к тестированию, работа с ними во время контроля и после него;

3. Создание необходимых материально-технических условий для качественной организации тестового контроля: подготовка места, техники, приборов, программно - методического обеспечения;

4. Создание благоприятных психологических условий для положительного отношения к тестированию;

5. Осуществление таких форм предъявления теста испытуемым, которые обеспечивают эффективный и качественный сбор данных, как в режиме индивидуального, так и группового контроля;

6. Разработка оптимальной системы подсчета баллов, методов интерпретации и представления данных.

Важная особенность заключается в том, что материалы, относящиеся к Test Administration, обычно публикуются не в теоретической, а преимущественно в методической литературе, что можно объяснить их соотнесенностью с  методологией и практикой. Таким образом, если для разработки тестов нужны знания только теории тестов, то для научной организации процесса педагогических измерений приходится думать о необходимости методологии, охватывающей, помимо разработки тестового метода, вопросы применения тестов для различных целей, интерпретации тестовых результатов, разработки принципов научной организации тестового процесса.

Цели педагогических измерений. Цель педагогических измерений - получение численных эквивалентов уровней подготовленности учащихся и студентов. Педагогические измерения проводятся посредством различных тестов. Основные цели педагогически измерений неразрывно связаны с качеством образования и педагогической деятельности. В архиве американской литературы обнаруживаются такие, например, цели:

 - помочь студенту познать себя и окружающий его мир;

 - подготовить его к жизни, помочь адаптироваться к современным условиям, к жизни в демократическом обществе;

 - способствовать раскрытию индивидуальных способностей;

 помочь в интеллектуальном и эмоциональном развитии, в синтезировании фактов и различной информации[16].

Автор одной из очень редких работ по обоснованию процесса тестового контроля R.Tyler уже давно наметил общий алгоритм (сам он пишет "метод") перехода от формулирования целей обучения к достижению этих целей, что сводится к следующим действиям:

 1. Формулирование целей учебного курса.

 2. Определение каждой цели в терминах реального поведения студента.

 3. Подбор ситуаций, в которых проявилось бы наличие или отсутствие факта достижения студентом поставленной цели.

 4. Проверка готовности студентов действовать правильно в данных ситуациях.

 5. Оценка ответов студентов с точки зрения меры достижения поставленной цели.

 6. Определение степени объективности тестового контроля, включая проверку надежности метода.

 7. Совершенствование метода измерения учебных достижений на основе полученных данных[17].

Другой известный специалист по вопросам формулирования целей образования и структуры подготовленности B.Bloom, будучи ещё аспирантом, подметил один существенный недостаток "алгоритма" R.Tyler - это отсутствие этапа трансляции содержания учебника в содержание тестовых заданий. Упоминая в своей диссертации о важной роли контроля, он заметил, что лишь немногие преподаватели могут сказать, что их курс можно изучить одним только чтением учебника, без выполнения контрольных заданий[18].

В практике цель педагогических измерений неразрывно связана с применением тестов. Соответственно, выделяется два подхода к тестированию: итоговый и обучающий. В силу отставленности по времени, итоговое тестирование мало влияет на текущий ход учебного процесса, хотя в зарубежной литературе уже отмечалось, что студенты готовятся лучше, если они заранее предупреждены об этом. Их знания бывают выше, чем при использовании традиционных экзаменов и зачетов[19]. В подавляющей массе педагогов-практиков идея итогового тестирования результатов обучения, без содействия самому процессу обучения, рассматривается нередко как чуждая, и к тому же с небезобидными выводами. Этим суждениям способствует и общая ориентация теории и практики тестирования на итоговое оценивание - ориентация, которая порождает соответствующие этому формы тестов и тестовых заданий.

Педагог-практик заинтересован чаще всего в обучающем контроле знаний студентов, а не в итоговом. Последнее, как обычно считается, он может сделать и сам, без тестов. Тестирование в процессе обучения такой педагог использует для регулярного выявления текущего уровня знаний, для коррекции  учебного процесса и выявления возникающих пробелов в знаниях. Обучающий тестовый контроль станет в перспективе самым распространенным видом контроля, но пока по уровню научной разработанности и по масштабам применения лидерство принадлежит итоговому тестированию.

 Драматическую для нас историю тестового контроля можно объяснить, помимо прочего, жестким по характеру и длительным, по времени, противостоянием носителей этих двух взглядов на контроль знаний - итоговый и обучающий. Потребность в  разных формах итогового контроля возникла, главным образом,  вместе с расширением масштабов образования, попытками как-то управлять этим массовым процессом. Но лишь немногие педагоги смогли правильно оценить общественную значимость тестовых методов оценки результатов педагогической деятельности. Основная же часть педагогов заняла позицию противостояния, руководствуясь привычной логикой обучающего контроля, логикой, имеющей древние традиции и возрастающую актуальность. Наиболее зримо противостояние проявилось в критике некоторых форм тестовых заданий.

 Больше всего эта критика относилась к заданиям с выбором одного правильного ответа. Готовые ответы на задания могут породить, по мнению  некоторых педагогов, верхоглядство, поощрить догадку, запоминание неверной информации, в то время как для студента важно, чтобы он думал, искал правильный ответ, мог его формулировать, и только после неудачного поиска есть смысл  сообщать студенту ответ на задание.

 В этих суждениях, по-своему правильных, логика итогового контроля подменялась логикой контроля обучающего. Остается только добавить, что основная литература по тестам, написанная как у нас в стране, так и за рубежом, долгое время не проясняла возникшую в практике ситуацию с подменой целей и  средств контроля. Это объясняется тем, что подавляющее большинство книг и научных статей по тестам написано с позиций итогового контроля, в то время как интересные особенности заданий в тестовой форме для обучения по-настоящему педагогической наукой еще не изучены. Основные силы зарубежных тестологов в  течение длительного времени концентрировались на задачах объективной оценки итогов обучения, и на этой основе - получения сравнительных оценок достижений студентов различных вузов. И только с появлением персональных компьютеров активизировалось внимание к созданию тестовых заданий для текущего контроля знаний.

Двум основным целям тестирования поставлено в соответствие две различающиеся организации тестового контроля -  итогового и обучающего. Если в итоговом контроле используются тесты учебных достижений, то в процессе текущего контроля основное средство проверки - традиционные вопросы, упражнения, задачи и т.п., задания в тестовой форме, тестовые задания, а при достаточном овладении тестовой культурой профессорско-преподавательским составом - ситуационные и тематические тесты. Основная часть педагогического корпуса в оценке тестов руководствуется обычно логикой обучающего контроля, в то время как педагогические тесты являются средством для проведения массового объективного итогового контроля.

 

Принципы педагогических измерений

Педагогическими принципами называются основные требования, которыми руководствуются преподаватели в своей деятельности. Принципы возникают в результате обобщения передового педагогического опыта, а также в процессе развития методологии и теории. Соответственно, формулируются принципы практической и теоретической деятельности. Одна из задач методологии педагогических измерений - разработка принципов научной организации этой деятельности. В педагогическую теорию и практику принципы вводятся как совокупность исходных правил, способствующих эффективности учебного процесса. Помимо известных в литературе общих принципов обучения и воспитания, можно сформулировать группу специфических принципов, регламентирующих процесс измерений. Процесс педагогических измерений может быть назван научно обоснованным, если он регламентируется группой специфических принципов: объективности, связи контроля с образованием, обучением и воспитанием; справедливости и гласности; научности и эффективности; система­тичности и всесторонности.

Принцип объективности. На всех этапах тестового процесса принцип объективности нацеливает на минимизацию субъективных влияний в процессе педагогических измерений и педагогического оценивания, на повышение в этом процессе роли программно - педагогических и программно - инструментальных средств, применение стандартов, общих для всех условий и правил оценивания. В книге "Эксперимент продолжается" В.Ф. Шаталов выделил и обосновал причину появления чрезвычайно важной и, по его словам, коварной стороны современной системы оценивания знаний - предвзятости преподавателя[20], противостоящей требованию объективности.

Объективность контроля достигается разными путями.

Первый, традиционный путь - формирование коллегиальной оценки, для чего создаются различные комиссии, состав и число членов которых зависит от важности того дела, которое нужно оценивать. Получаемые при этом оценки нередко называются объективными, хотя известно, что сложение субъективных мнений не всегда отражает объективное положение. Это происходит из-за  того, что индивидуальные мнения, сложенные вместе, все равно продолжают оставаться субъективными, а точнее, интерсубъективными: близость к объективности зависит от качественного состава комиссии, в которой мнение одного высококвалифицированного специалиста может оказаться более объективным, чем мнение всех остальных, вместе взятых. Преодолению этого момента способствует процесс экспертизы, роль которой особенно важна при пересмотре содержания образования и при попытке объективной оценки качества контрольного материала.

Второй путь повышения объективности - это использование стандартных тестовых программ и технических средств. После определенного периода подготовки такой контроль может проводиться в каждом институте и на каждой кафедре. Особый интерес к тестовым средствам контроля знаний начали проявлять органы управления в связи с попытками повышения качества учебного процесса, посредством аттестации и аккредитации вузов.

Третий путь повышения объективности контроля является психологическим. Он связан с личностными факторами. Так, в нашем исследовании выявлено и подтверждено экспериментально существование систематических различий в требованиях разных педагогов к одним и тем же студентам[21]. Некоторые преподаватели оказывались "добрее", другие "строже". Отсюда понятна важность выявления психологической склонности каждого преподавателя при выставлении оценки, а также аргументации. Принимая решение, педагог объясняет, правда не всегда, почему выставляется та или иная отметка. В случае убедительной аргументации последняя воспринимается как объективная, представляющая достигнутый студентом уровень знаний. Можно вывести и общее правило: оценка решает правильно свою воспитывающую функцию только тогда, когда она воспринимается студентами как объективная.

Личностный фактор иногда путается с субъективным фактором и с субъективизмом. Абсолютизация роли субъекта и его оценок, как это имеет место, например, при авторитарно организованной системе обучения и контроля, всегда имеет следствием субъективизм. Последний характеризуется односторонним привнесением в оценку личных интересов и собственных представлений о предмете оценивания. Поскольку оценка человека часто основывается на субъективных представлениях, нередко ставится вопрос о поисках методов отделения объективного от субъективного. Между тем, вопрос состоит не в разделении  это только начальная часть работы, а в устранении субъективизма, что отнюдь не тождественно устранению субъективного.  Оценки можно рассматривать как производные от свойств объекта, от потребностей, возможностей и интересов оцениваемых и оценивающего. Субъективные моменты проистекают из общих свойств человеческих оценок. При известных условиях  субъективные моменты могут быть положены в основу начального процесса формирования объективных, а точнее, объективированных оценок. Это имеет место, например, при проведении экспертных опросов по содержанию контрольного материала, в работе государственных экзаменационных комиссий и др. При этом выдвигается одно существенное условие: процесс объективирования оценок должна основываться на идее измерения, или  иначе, на измеримости результатов учебной деятельности учащихся и преподавателей.

Одной из форм нарушения принципа объективности измерений является стремление приукрасить несовершенные показатели. Это как раз элемент формализма, при котором главным становится не работа, а несовершенные показатели работы. Поскольку ни один показатель не дает полностью адекватную информацию о результатах деятельности, подмена такого рода приводит к тактике работы на показатель; последний, по сути, овеществляется, делается самоцелью и смыслом работы. Процессы такого рода называются реификацией показателя. В качестве реального примера можно привести сдачу экзамена по ЕГЭ. Сейчас это стало главным смыслом и показателем образовательной деятельности. Всё, что не входит в ЕГЭ – а это около 70 % всех предлагаемых учащимся знаний - не изучается большинством учащихся. Каков экзамен, таково и образование!

Принцип связи педагогических измерений с образованием, обучением  и воспитанием ориентирует на такую организацию измерений, которые органично вошли бы в общий учебно-воспитательный процесс, где могли бы эффективно использоваться не только тесты, но главным образом, задания в тестовой форме и системы заданий в тестовой форме[22].  Принцип связи не получил заметного отражения в отечественной педагогике. В качестве такового он признан в решении ассоциации директоров американских школ: "Обучение без последующего тестирования - немыслимо; только по итогам применения тестов можно судить о необходимой обратной связи от контроля к обучению, а также знать - что достигнуто, и в каком направлении дальше двигаться"[23].

Принцип справедливости и гласности. Этот принцип означает одинаковую для всех испытуемых систему требований, отсутствие каких-либо особых прав и привилегий перед остальными участниками процесса измерений, открытость всей процедуры для обсуждения и конструктивной критики, исключение проявлений тех негативных явлений, которые имеют место при использовании донаучных форм педагогического оценивания.

Систематичности и всесторонности. Идеей систематичности подчеркивается важность регулярного мониторинга хода учебно-воспитательного процесса. В отличие от эпизодических проверок, систематическое отслеживание помогает упорядочить процессы обучения и воспитания, дает возможность получить достаточное количество оценок, позволяющих вывести в конце года более объективную итоговую оценку. Систематичность тесно связана с плановостью. При планировании учитывается необходимость согласования целей и результатов текущего, рубежного, тематического и итогового контроля. Систематические проверки способствуют лучшей реализации диагностической, обучающей, воспитывающей и организующей функций педагогических измерений в процессе подготовки специалистов с высшим образованием.

Всесторонность акцентирует внимание на необходимости полного, по возможности, охвата вопросов, подлежащих оцениванию. При оценке знаний в первую очередь обращается внимание на проверку усвоения основных тем и разделов, на степень усвоения требуемых навыков и умений. Несколько слов надо сказать и об оценке физической подготовленности студентов. В этой области разработаны тесты, позволяющие оценить уровень развития таких физических качеств и способностей как сила, быстрота, выносливость, способность к координации движений[24].

Принцип справедливости и гласности. Близким по смыслу принципу объективности является принцип справедливости и гласности контроля. Эту близость можно сформулировать логически, по признаку включенности: где не хватает гласности, там не хватает справедливости и не хватает объективности.

 Гласность представляет собой неотъемлемый элемент организации тестирования. Это означает открытость всех этапов и общедоступность ознакомления с результатами педагогического контроля, ясность и одинаковое применение всех правил, лежащих в основе контроля, ко всем без исключения студентам, а также возможность перепроверки результатов контроля. Принцип справедливости включает в себя широкую область морального, а иногда, и правового регулирования. Последнее случается там, где имеют место случаи проявления протекционизма, непотизма и т.п.

 Другой аспект применения принципа справедливости охватывает широкую область морального сознания. Известно, что списывают и подсказывают, с целью получения незаслуженно высокой оценки только там, где это не расценивается как нарушение учебной этики. Такие поступки часто оправдываются студентами как проявление товарищеской взаимопомощи и групповой солидарности. Немало нареканий этического характера вызывает сложившаяся практика оценивать работу преподавателей по средней оценке в группе и по количеству отличников. При отсутствии системы объективного педагогического тестирования менее принципиальные и требовательные преподаватели нередко выглядят лучше тех, кто ответственно относится к оценке знаний студентов.

Вопрос справедливости оценки не случайно ассоциируется  с понятием объективности. Мнение преподавателя воспринимается как справедливое только тогда, когда оно имеет объективное основание, поддающееся рациональному объяснению. Под основанием оценки понимаются позиции и доводы, которые склоняют к тому или иному решению. В качестве основания обычно  выступает некоторый стандарт (образец, идеал), представленный в учебных материалах. В разных вузах стихийно формируются свои стандарты успеваемости. При прочих равных условиях, повышение требовательности влечет, на первых порах, ухудшение оценок.

Принцип научности и эффективности. Оценивание может быть  организовано как на научной основе, так и на основе опыта, интуиции, здравого смысла. Этим принципом подчеркивается характерная для тестовой технологии наукоемкость, междисциплинарность, нацеленность на автоматизацию и широкое использование компьютерных технологий, что создает предпосылки для повышения эффективности всего процесса. Научность выступает в качестве необходимого условия достижения эффективности, что включает в себя, помимо научности, вопросы оптимальной организации контроля, учета соотношения между достигнутым эффектом и совокупными затратами времени, средств. Например, для решения задачи повышения дифференцирующей способности педагогических оценок автором этой статьи в своё время была предложена, одиннадцатибалльная шкала, которая получается из известной в литературе шкалы стандартных девяти единиц за счет добавления по одному интервалу в 0,5 стандартного отклонения справа и слева[25].

 В отличие от известной шкалы стандартных девяти единиц (stanine)[26],  здесь появляется возможность более тонкой дифференциации испытуемых. Если значениям стандартных баллов приписать оценочные эквиваленты, то соотношение между значениями нормированных отклонений Z, процентом испытуемых и оценочными эквивалентами можно представить в табл.2.

В случае перевода системы образования с нынешней пятибалльной на более дифференцированную шкалу,  одиннадцатибалльная шкала является наиболее подходящей и рекомендуемой как по своим статистическим свойствам, так и по наличию лексических эквивалентов каждой числовой оценки[27].

Практическое отсутствие у нас настоящих педагогических тестов, условий для их производства на высоком уровне качества и, одновременно, непригодность пятибалльной оценки для эффективной итоговой дифференциации масс студентов и абитуриентов по уровню знаний актуализируют внедрение в практику одиннадцатибалльной шкалы оценивания. Преимущество последней обосновано с педагогической, статистической и управленческой точек зрения[28].

 Соотношение между балльными оценочными эквивалентами баллами представлено в табл.2. Эта таблица впервые появилась в диссертационной работе автора.

Z - значениями и процентом испытуемых. Табл.2.

Утверждение одиннадцатибалльной шкалы в качестве нормативной может дать ряд преимуществ. По сравнению с пятибалльной, повышается дифференцирующая способность педагогической оценки. Не надо вычислять, до сотых долей, средний балл, полученный из баллов, исходная точность которых была заведомо ниже. Особенно четко в одиннадцатибалльной шкале дифференцируется один процент лучших и худших[29]. Лучшие - это чаще всего самые талантливые студенты, которых надо выявлять и затем тщательно с ними работать. Если согласиться с тем, что один  хороший специалист лучше ста плохих и средних, то ясно, что в век технологий от этого одного процента зависит довольно много. С другой стороны, мы имеем 1% наименее подготовленных студентов, с которыми высшая школа может безболезненно расстаться, так же как, впрочем, и с тремя процентами тех, кто в одиннадцатибалльной шкале имеет балл два.

В дополнение к этому, у рекомендуемой здесь одиннадцатибалльной шкалы, по сравнению с ранее описанной мною девятибалльной и десятибалльной шкалами[30] (19, 23, и др.), есть преимущества психологического характера. В качестве опорных точек шкалы используются три привычных каждому человеку сравнительных понятия - низшее значение "единица", хуже которой нет, среднее значение "шесть", приписываемое легко различимому и наиболее распространенному в практике среднему уровню знаний и высшая оценка "одиннадцать", посредством которой появляется возможность выделить из числа отличников самого отличного студента. Это важно для дальнейшего мотивирования учебы тех, кто уже учится отлично, но может, при старании, показать более выдающиеся результаты, особо ценные как для развития личности самого студента, так и для пополнения интеллектуального потенциала общества. Одна из таких важных для высшей школы сфер, где измерения еще не использовались мало-мальски заметно - это педагогический контроль, научная организация которого на современном этапе развития науки и  техники не мыслится без тестов. Применение тестов позволяет быстро и качественно собрать информацию об уровне подготовленности абитуриентов, студентов и выпускников вузов, обработать эту информацию, сравнить достижения, выявить тенденции, достижения и недостатки, осуществлять прогноз, внести коррекции в учебный процесс.

 

Функции педагогических измерений

Основные функции педагогических измерений в вузе - диагностическая, обучающая, организующая и воспитывающая.

 Диагностическая функция вытекает из возможности диагностики уровня и структуры подготовленности. Выявление и оценка представляют собой основу всякого диагноза. Педагогическая диагностика является важнейшей частью научной системы педагогического контроля, которая непосредственно связана с процессом выявления уровня знаний, умений, навыков, воспитанности, с оценкой реального поведения студентов, а главное – выявление учебных затруднений каждого учащегося.

Успешная реализация диагностической функции контроля немыслима без перестройки положения дел в этой сфере. Здесь можно выделить четыре основных недостатка. Первый заключается в том, что сами формы и методы педагогической диагностики не стали пока еще предметом систематического научного анализа, специально организованных методических исследований; их,  по существу, не проводят и не финансируют, поскольку они вроде бы не дают прямой выгоды. Второй недостаток - это слабая материально-техническая база, нехватка машин и оборудования, стандартных программ для диагностики знаний по различным предметам и для математико-статистической обработки результатов. Появившиеся автоматизированные классы, основанные на идее соединения программированного обучения, контроля и современных технических средств, создают лишь некоторые необходимые условия для систематической диагностики  достижений студентов и дифференциации педагогических воздействий. Другие необходимые условия - программно - педагогические и программно - инструментальные средства, позволяют каждому студенту осваивать предмет в таком темпе, в каком способствуют этому интеллект и знания.

Обучающая функция педагогических измерений в практике понимаема менее всего, хотя применение заданий в тестовой форме (а не тестов) уже стало  органической частью нового учебного процесса, незаменимым  средством обеспечения обратной связи от студента к преподавателю. Обучение стало дифференцированным в полном смысле этого слова: каждый студент приступает к изучению нового  материала независимо от других, после самостоятельного усвоения предыдущего. В случае неправильного ответа на задания он возвращается к повторному изучению тех разделов курса, которые оказались не усвоенными.  Тем самым индивидуализируется темп обучения: более способные двигаются быстрее, менее способные вынуждены прилагать дополнительные усилия для преодоления возникающих затруднений. Что позволяет отказаться от распространенной сейчас ориентации преподавателей на абстрактного среднего студента; такая ориентация преподавателей приводит к тому, что слабые студенты все равно отстают, а сильные – искусственно задерживаются в своем развитии. Организация учебного процесса по принципу ориентации на среднего учащегося имеет результатом, как  правило, выпуск средних специалистов.

Обучающая функция реализуется и при других традиционных  формах контроля. Постановка проверочных вопросов на семинарах, коллоквиумах, зачетах позволяет уточнить представления преподавателя об уровне овладения материалом студентами,  выявить неточности. Ознакомление с конспектами лекций и проработанных литературных источников позволяет судить об общем  отношении студентов к изучаемому предмету, но не о знаниях.

Интересны обучающие возможности обсуждения неправильных или спорных ответов. Анализ ошибок одного студента нередко  приносит пользу и для многих других. Хотя изучению ошибок и  ошибочных действий стали уделять больше внимания в подготовке летного состава, диспетчеров, операторов и других, нельзя пока сказать, что с этим все в порядке при обучении всех  специалистов. Хорошая подготовка по любой профессии предполагает специальный цикл обучения и тренировки в ситуациях с возможными ошибками, выработки навыков, исключающих неправильные действия в аварийных ситуациях. Особое внимание преподавателей обращается на устранение часто повторяющихся,  типичных ошибок, на разбор и обсуждение тех случаев, где правильные решения и действия, казалось бы, мало согласуется  с так называемым "здравым смыслом". Замечено, что более частый контроль заставляет студентов учиться интенсивнее, их  знания становятся глубже и прочнее[31].

Организующая функция педагогических измерений проявляется влиянием на организацию учебного процесса. В зависимости от результатов,  принимается решение о необходимости проведения  дополнительных занятий и консультаций, об оказании помощи неуспевающим студентам, о поощрении хорошо потрудившихся  студентов и педагогов. Заметную роль в реализации организующей функции играет активизация учебной деятельности студентов посредством разработки современных программно-педагогических средств, таких как автоматизированные контрольно-обучающие программы, учебные модули с автоматизированным самоконтролем, инструментальные средства для автоматизированного контроля знаний, статистические пакеты для разработки тестов и для проверки качества заданий и др.

 Идея активизации и совершенствования организации учебного процесса за счет улучшения педагогических измерений возникла довольно давно; она всегда имела не только сторонников, но  и немало противников. Время от времени, вплоть до наших дней, обучение предлагалось вести без оценок, без экзаменов,  без зачетов. Вот почему различные формы оценивания в школах и  вузах то вводились, то отменялись.  Оппоненты указывали на нервно-психические и эмоциональные напряжения студентов во время экзаменационной сессии, на  нарушения нормального режима учебного труда, отдыха, сна,  ухудшение здоровья. Разумеется, эти напряжения выше у тех студентов, которые слабо занимались в течение года, пытаются  наверстать упущенное в период экзаменационной сессии. Тем не менее, отмена экзаменов и других форм оценивания приводила к  отрицательным последствиям другого рода - к слабой мотивации обучения и низкому уровню знаний.

Неоднократно отмечалось, что студенты изучают предмет глубже и серьезнее, если известно, что по нему будет проводиться качественное тестирование, с помощью объективных методов. При этом мотивируется работа преподавателя, так как достижения студентов оценивает теперь не он сам, а другие; ведь неизвестно, как результаты его работы будут выглядеть в сравнении с результатами  работы коллег по кафедре, вузу.

Подведём итоги. В данной статье рассмотрены основные вопросы методологии педагогических измерений: это  вопросы  научных определений самих измерений, методологии педагогических измерений,  цели, уровней, процесса и его структуры,  принципы организации и функции.  Другая часть важных вопросов педагогических измерений относятся к сфере теории. Это, главным образом,  вопросы определения основных понятий,  формообразования и содержания педагогических измерений.  Все они были рассмотрены в предыдущей статье автора[32].