Содержание теста: теоретический анализ

В. С. Аванесов

Источник: ж. Химия в школе, 1994г. Стр. 30-34.

В авторской редакции 2006 г.

Опыт постановки образования в развитых странах заставляют думать о неизбежном, в ближайшем будущем, усилении роли тестовых форм при обучении. Осознание этой ситуации во Франции выразилось в том, что в 1989 г. был принят Закон об основных направлениях развития образования, который, в частности, предусматривает обязательную подготовку преподавателей по методике объективной оценки знаний учащихся; без такой подготовки преподавательская работа начиная с 1992 г. во Франции не разрешается.

Принятие подобного закона в России невозможно, ибо это означало бы лишить работы миллионы преподавателей высшей и средней школы. Поэтому правильнее начинать не с разработки закона, а с создания системы организационно-педагогических и материально-технических условий для обучения методике тестового контроля знаний в каждом образовательном учреждении. Только тогда появятся реальные предпосылки для успешного применения тестов. Широкие возможности педагогических тестов в деле радикального улучшения учебного процесса могут проявиться только при условии общей реорганизации его самого: перехода от традиционной классно-урочной формы к современной индивидуализированной и дифференцированной, на основе компьютерных технологий обучения и контроля.

По-настоящему тесты могут быть востребованы только при современной организации учебного процесса. Они - обязательная часть многих педагогических новаций. Тесты позволяют получить объективные оценки уровня знаний, умений, навыков учащихся и сформированности представлений, выявить индивидуальный темп обучения, пробелы в текущей и итоговой подготовке. В сочетании с персональными ЭВМ и новыми программно-педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и контроля - наиболее эффективных форм научной организации учебного процесса.

Путь к созданию тестов - изучение теории и методики тестового контроля знаний. Здесь самое главное - осознать, что тест - это не просто проба или учительская проверка с помощью традиционных вопросов и экзаменационных билетов, как пытаются обычно перевести это слово по смыслу. Тест- это научно обоснованный метод, представляющий систему заданий специфической формы, возрастающей трудности, определенного содержания, позволяющий качественно оценить структуру знаний и эффективно измерить их уровень.

Определение содержания

Под содержанием теста понимают оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Чем полнее это отображение, тем увереннее можно говорить о содержательной валидности[1] тестовых результатов. Однако стремление к повышению валидности результатов за счет расширения числа тем, разделов учебной дисциплины и, соответственно, за счет увеличения числа заданий в тесте, нельзя признать рациональным. Нет, и не может, быть тестов, содержание которых отражало бы все содержание учебной дисциплины. При создании теста обычно ставится задача включить в него основное, главное, что учащиеся должны знать и уметь в результате обучения. Можно сказать так: содержание образования всегда шире содержания тестовых заданий. Не обязательно требовать, чтобы все основные знания, умения, навыки и представления входили в тест; некоторые из них заметно связаны между собой, иногда перекрывают друг друга по содержанию и потому могут быть взаимозаменяемыми. Здесь лучше говорить об оптимизации содержания.

Требование оптимальности подводит к идее уточнения содержания учебной дисциплины и теста, в состав которых обычно входит триада так называемых ЗУНов - знаний, умений и навыков. К этой триаде надо добавить еще и представления.

Требования к формированию представлений почти не отражаются в учебных планах, программах и стандартах. Между тем в условиях резко обновляющегося образования знание всего содержания учебной дисциплины становится малореальным и трудновыполнимым. Если к тому же добавить, что процент остаточных знаний учащихся редко превышает 5—10, то ясно, что о некоторых вопросах изучаемого курса учащиеся должны получить лишь общие представления, которые затем, в нужный момент они самостоятельно смогут превратить в знания. Представления решают важную задачу ориентации учащихся в мире знаний, а это иной раз не менее важно и эффективно, чем давать те или иные частные знания.

Для упрощения изложения основное содержание учебной дисциплины и теста далее мы будем называть знанием. Это позволит избежать повторения так называемых ЗУНов (знаний, умений и навыков), которые обычно конкретизируются и потому носят частный характер по отношению к составу каждой отдельной дисциплины. В данном случае наша задача - раскрыть общие вопросы качественного отображения содержания учебной дисциплины в содержании теста и попытаться сформулировать его основные принципы. Это позволит, хотя бы отчасти, ликвидировать пробел, имеющийся не только в отечественной, но и в зарубежной литературе по вопросам оценки содержания педагогических тестов.

Знание можно разделить на объективно истинное и субъективно истинное. Если объективно истинное репродуцируется через выполнение задания как субъективно истинное, то это и есть одна из важнейших целей образования. Объективно ложное знание существует в форме незнания или псевдознания. Полезно выделить две заметно различающиеся формы незнания: незнание в смысле неинформированности и незнание в смысле ошибочности.

При тестировании школьников выявляются как знание, так и незнание, что достигается посредством системы заданий, нацеленных на отделение знания от незнания у каждого тестируемого. Учащиеся чувствуют, что они чего-то не знают, но не всегда осознанно могут сформулировать, что конкретно они не знают. Использование тестов позволяет вскрыть заблуждения такого рода, сориентировать внимание учителей и уча­щихся на ликвидацию обнаруженных пробелов.

В рамках информационной модели обучения знания определяют как информацию о той или иной предметной области, фиксированную в предложениях обычных или специализированных языков; предложения приводят к стандартизированной форме высказываний, суждений. Поэтому можно сказать, что оценка качества знаний зависит не только от содержания учебной дисциплины, но и от качества фиксации в содержании теста таких элементов, которые позволили бы оценить прочность, полноту, глубину, оперативность, гибкость, конкретность и обобщенность, системность и систематичность и другие свойства знаний, обычно выделяемые в дидактической литературе.

Отображение содержания образования в содержании тестов проводят посредством выделения основных единиц учебного материала и формирования на этой основе укрупненных дидактических единиц. Затем их используют для подготовки материалов для обучения и контроля. Читателям, привыкшим и то и другое называть одним понятием "дидактический материал", рекомендуется оперировать двумя понятиями - "материал для контроля", нацеленный на решение задач собственно педагогическо­го контроля, и "материал для обучения", излагаемый в текстах учебника, в лекциях учителя и др.

При оценке содержания теста следует обращать внимание на его трудность. Некоторые авторы, особенно зарубежные, не делают различий между понятиями "трудность" и "сложность". Аналогично обстоит дело и среди педагогов-практиков, считающих, что это одно и то же. Однако есть ряд литературных источников, где данные понятия определяются по-разному.

А работе А. Н. Захарова и А. М. Матюшкина специально подчеркивается, что степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся. Судя по всему, сложность авторы относят к явлениям объективного порядка, а трудность — субъективного. Если это так, то подобное истолкование отчасти пересекается с полезной идеей о связи сложности задания с числом операций, которые необходимо совершить для его выполнения.

Трудность учебной задачи Л.Н.Ланда объясняет тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. И если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода и того, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи. Возникающие затруднения объясняются тем, что педагог часто стремится передать знания и значительно меньше заботится о том, как научить осознанно воспринимать учебный материал, думать, рассуждать.

Содержание теста не может быть только легким, средним или трудным. Легкие задания создают лишь видимость наличия знаний. Весьма распространенная ориентация некоторой части педагогов и работников отделов аттестации на минимальные знания искажает представление о реальном уровне знаний. Точно так же искажает этот уровень и подбор заведомо трудных заданий. В литературе имеются попытки оправдать педагогическую ориентацию на трудные задания усилением мотивации к учебе, однако это положение спорное. У одних учащихся трудные задания могут вызвать интерес к учебе, у других – нежелание.

Трудность теста зависит от цели. Если нужно отобрать небольшое число самых подготовленных учащихся, скажем, на олимпиаду, то ясно, что задания должны быть трудными. Если же, наоборот, поставлена цель выявить самых слабых, то сделать это лучше с помощью сравнительно легких заданий; те, кто не выполнит их, и есть самые слабые. В ситуации, когда нужно оценить учащихся во всем диапазоне знаний - от низшего до высшего, - в тест необходимо включить легкие, средние и трудные задания, расположив их по мере возрастающей трудности. Самой лёгкой мерой является процент невыполнения задания.

Распространенная до недавнего времени рекомендация - включать в тест больше заданий средней трудности - была оправдана с точки зрения классической теории тестов. Существующие в этой теории формулы для оценки надежности теста подтверждают снижение данного показателя при подборе легких или трудных заданий. Это объясняется общей дисперсией тестовых баллов.

Кроме того, увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания: тест теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть материал легкий и трудный. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность нередко сопровождается снижением надежности (точности ) тестовых результатов. .

С точки зрения логики тестовое здание можно ассоциировать с предложением или утверждением, сформулированным в повествовательной форме. В случае правильного ответа это предложение превращается в истинное высказывание, в случае неправильного - в ложное. Полезно отметить, что привычные для педагога вопросы не относятся к высказываниям, а потому содержание вопроса не может определяться как истинное или ложное.

Интригующая особенность теста заключается в том, что его задания могут содержать как истинные, так и ложные утверждения, а решение о знании и незнании учащегося в таких случаях зависит от содержания не только задания, но и ответа. Если учащийся ложное утверждение (задание) называет ложным, то отсюда вытекает истинность его знания данного содержания. Но если то же самое принимается им за истину, то ясно, что это случай проявления незнания.

Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность легко опровергается истинным утверждением, в то время как некорректное задание может порождать любые ответы: правильные, неправильные, а то и вызывать недоумение. Сюда же можно отнести и двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных при соблюдении правильности некоторых предположений. Отсюда возникает необходимость вводить дополнительные условия истинности, что усложняет семантику и удлиняет само задание.

В результате контроля субъективно истинное знание нередко оказывается объективно ложным, не совпадающим с изложением апробированных учебных текстов. Чем чаще встречается такое несовпадение, тем увереннее можно судить о незнании. Преимущество тестового метода проверки знаний перед другими состоит в том, что он позволяет выявить и количественно оценить сразу и знание и незнание, а иногда и антизнание.

Тестовые задания отличаются от нетестовых не только по содержанию, но и по стилю построения предложения. В процессе формулирования тестовых заданий часто приходится устранять нарушения синтаксического порядка слов, упрощать усложненные синтаксические конструкции, требующие дополнительных знаков препинания.

В результате общей устремленности к уменьшению числа слов в тестовых заданиях нередко возникает явление, похожее на то, что в поэтике называется "анаколуф",— синтаксическая несогласованность членов предложения, допускаемая умышленно для придания фразе характерной остроты. Так, в заданиях открытой формы часто опускаются такие слова, как "является", "называется", в результате чего задания становятся менее однообразными по подбору слов, но все-таки понимаемыми. Например, в задании: "Реакции, протекающие с изменением степеней окисления атомов элементов — _______" вместо пропущенного слова "называют" поставлено тире; на месте прочерка нужно вписать слово "окислительно-восстановительные".

В тестовых заданиях, подобных этому, используются, по сути, два пропуска, один из которых назовем стилистическим, другой - содержательным. Содержательный пропуск считается необходимой структурной частью заданий открытой формы, без которой не обойтись, а стилистический пропуск возникает как следствие стремления к краткости выражения содержания.

Принципы отбора содержания тестовых заданий

Значимость материала. Этот принцип указывает на необходимость включения в тест только тех элементов знания, которые можно отнести к наиболее важным, ключевым, без которых знания становятся неполными, с многочисленными пробелами. Такие элементы ввиду их важности можно назвать структурными. В тест, следовательно, нужно включать только те материалы, которые выполняют роль инвариантного, опорного (структурного) каркаса в индивидуальном знании.

Научная достоверность. В тест включается только то содержание учебной дисциплины, которое признано объективно истинным и поддается рациональной аргументации. Соответственно, все спорные точки зрения, которые существуют в науке, не рекомендуется включать в тестовые задания. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного для преподавателей ответа.

Соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости готовить специалистов и проверять их знания не только на научно достоверном материале, но и соответствующим современным представлениям. Трудность реализации этого принципа заключается в опосредованной связи содержания теста с уровнем развития науки, через содержание учебной дисциплины. Чем лучше взаимосвязана эта триада, тем легче достигается искомое соответствие.

Репрезентативность. В тест не только включают значимые элементы содержания, но и обращают внимание на полноту и их достаточность для контроля. В самом деле, можно взять пять-шесть элементов и проверить по ним знания учащихся. Но где уве­ренность, что они знают другие важные элементы содержания учебной дисциплины? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимого знания в заданиях теста. Принцип репрезентативности не означает обязательного включения в окончательный вариант теста всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, полностью или частично включены один в другой. Кроме того, много элементов в структуре знаний иерархически соподчинены. Этому принципу соответствуют основные задания, которые лучше называть структурными.

Возрастающая трудность. Этот прин­цип означает, что каждый элемент содержания образования в процессе обучения и контроля обладает некоторой усредненной мерой трудности, на которую и ориентируются преподаватели. Трудному содержанию обычно соответствуют и трудные задания. Учащийся, который справляется с трудными заданиями, обычно с большой вероятностью правильно выполняет и легкие задания.

Вариативность. Содержание теста не может оставаться неизменным и независимым от развития науки, научно-технического прогресса, от нового содержания учебной дисциплины и от новых учебников. Из принципа репрезентативности вытекает, что по мере изменения содержания учебной дисциплины должно варьировать и содержание теста, кроме того, различным бывает контингент учащихся в учебных группах. Если тестируется слабая по подготовленности группа, то оказывается, что на трудные задания теста ни один учащийся Правильно ответить не может, и потому из дальнейшей обработки и интерпретации тестовых данных эти задания следует изъять.

Системность. Этот принцип означает подбор такого содержания тестовых заданий, которое отвечало бы требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знания. Это возможно только в тех случаях, когда задания теста коррелируют положительно между собой.

Комплексность и сбалансированность. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема - основополагающая в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные - если не все темы учебного курса. Другая сторона рассматриваемого принципа - стремление сбалансированно отобразить в тесте основной теоретический материал - понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории - вместе с мето­дами научной и практической деятельности, с умениями эффективно выполнять типовые профессиональные задания. Последние могут трансформироваться в форму тестовых заданий на установление соответствия или правильной последовательности, превращаясь, таким образом, в дидактическую модель, используемую одинаково успешно и для контроля, и для обучения.

Взаимосвязь содержания и формы. При рассмотрении этого общего диалектического принципа применительно к тестам невольно возникает ассоциация с искусством. Настоящее искусство представляет собой, по словам Гегеля, законченное внутри себя соединение содержания с вполне соответствующей ему формой. Точно так же и настоящий педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий и наиболее подходящей им формы. При этом, в отличие от широко распространенного философского толкования активности содержания и пассивности формы, тестовую форму надо рассматривать вместе с содержанием как активную составляющую взаимодействия.

Уже на стадии замысла содержание задания начинает обретать свою форму, но не всякое содержание поддается трансформации в форму тестового задания. Многие доказательства, обширные вычисления, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме. Отсюда следует, что тест не единственная форма отображения содержания учебной дисциплины, это только один из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества. Но абсолютизировать возможности тестовой формы нет никаких оснований. Да и вряд ли, вообще, существует форма, которая бы могла выразить все богатство содержания.

В отличие от философской традиции рассмотрения формы через призму содержания в теории тестов дело обстоит, можно сказать, наоборот. При этом содержание теста надо относить к теории той или иной учебной дисциплины, в то время как поиск наилучшей формы для выражения содержания - предмет теории тестов.

И, наконец, при правильном отборе контрольного материала содержание теста может быть использовано не только для контроля, но и для обучения. Использование тестовых форм заданий в автоматизированных контрольно-обучающих программах позволяет учащимся самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. В таких случаях можно говорить об обучающем потенциале заданий в тестовой форме. Использование обучающего потенциала таких заданий станет одним из эффективных направлений в практической реализации принципа единства и взаимосвязи обучения и контроля.