В предыдущих статьях рассматривались педагогические требования к содержанию теста. Теперь пришло время рассмотреть логические принципы определения содержания тестаи заданий. Тестовые задания отличаются от нетестовых не только по содержанию, но и по стилю построения предложения. Из тестового задания полностью устраняется двусмысленность, когда, например, подлежащее в именительном падеже легко путается с прямым дополнением в винительном падеже (типа "мать любит дочь"). Кроме того, иногда тестовое задание ошибочно отождествляется с загадкой. Хотя в обоих случаях ставится задача найти правильный ответ, отмеченного сходства недостаточно для отождествления загадки и тестового задания. Есть признаки, которые явно отделяют их. Для загадки наиболее важным, специфически отличительным признаком является метафоричность, образность загадки. Известно, что метафоричным выражение становится тогда, когда оно употребляется не в прямом, а в переносном значении. Тестовое задание, напротив, всегда автологично: в нем слова используются только в их прямом, непосредственном значении. Автологический стиль - это тот, о котором В.Маяковский писал: "Ищем речи точной и нагой" (1). Тестовое задание формулируется из точных терминов и никогда не содержит метафоры, лишних слов и знаков.
Пример метафорично сформулированного задания в открытой тестовой форме:
"Отцом русской физиологии считается ___________".
В логике известны такие законы правильного мышления как законы тождества, непротиворечия, исключенного третьего и достаточного основания. Это позволяет выделить такие основные свойства правильного мышления, как определенность, непротиворечивость, обоснованность. Применительно к тестовой теории и практики эти общие свойства правильного мышления приобретают функции специфических регулятивов тестовой деятельности, вследствие чего приобретают значение принципов. Рассмотрим их подробнее.
1. Определенность содержания теста
Определенность содержания теста образует предмет педагогического измерения. В случае гомогенного теста возникает вопрос об уверенности в том, что все задания теста проверяют знания именно по определенной учебной дисциплине, а не по какой-то другой. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только интересующей дисциплины, но и ряда других, обычно смежных и предшествовавших учебных дисциплин. Близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний.
Например, в физических расчетах используется немало математических знаний и потому в систему физического знания обычно включается та математика, которая используется при решении физических задач. Неудача в математических расчетах порождает неудачу при ответах на задания физического теста. Отрицательный балл ставится, соответственно, за незнание физики, хотя испытуемый допустил ошибки математического толка. Если в такой тест включено много таких заданий, которые для правильного решения требуют не столько физических знаний, сколько умений выполнять усложненные расчеты, то это может быть примером неточно определенного содержания теста по физике. Чем меньше пересечение знаний одной учебной дисциплины со знаниями другой, тем определеннее выражается в тесте содержание учебной дисциплины. Определенность содержания требуется и во всех других тестах. В гетерогенном тесте это достигается посредством явного выделения заданий одной учебной дисциплины в отдельную шкалу. При этом нередко встречаются задания, хорошо работающие не только на одну, но и на две, три и даже большее число шкал.
Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него. Рассмотрим пример задания открытой формы, где испытуемому предлагается, на месте прочерка, дополнить утверждение своим ответом:
ТОЧКА ЕСТЬ ТО, ЧТО НЕ ИМЕЕТ ______________.
В сознании возникает вопрос: "Не имеет чего? Ответ, по Евклиду - "точка не имеет частей", но это как раз случай неудачного определения содержания, как задания, так и самого понятия точки. Как известно, точка не имеет, например, цвета, вкуса, запаха и многого другого, и не только частей.
Немалую роль в формировании теста как системы играет требование логической правильности заданий, включенных в тест. Как отмечается в литературе, логическая правильность в формулировании тестовых заданий достигается при соблюдении следующих условий:
· соразмерности объема определяющего понятия объему определяемого. Известные в литературе примеры (2):
1. ЧЕТЫРЕХУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ ________________
(ответ - ромб).
2. ПРЯМОУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ ______________
(ответ - квадрат).
В случае, если на первое задание дается ответ "квадрат", допускается несоразмерность: объем определяющего - четырехугольника - больше объема определяемого - квадрата;.
· отсутствия тавтологии. Примеры:
3. СТОИМОСТЬ ТОВАРА ОПРЕДЕЛЯЕТСЯ СТОИМОСТЬЮ ____________
(ответ - труда);
4. СТОИМОСТЬ ТРУДА ОПРЕДЕЛЯЕТСЯ СТОИМОСТЬЮ ________________
(ответ - товара).
Как уже отмечалось, в этих примерах обнаруживает себя нарушение правил логики; одна стоимость определяется через другую, которая в свою очередь нуждается в определении (2);
утвердительной формы тестового задания. Примеры:
5. ЕСЛИ В МАЖОРНОМ ЛАДУ ПОНИЗИТЬ ВТОРУЮ СТУПЕНЬ, ТО ПОЛУЧИТСЯ ЛАД
1) дорийский
2) фригийский
3) лидийский
6. ОСНОВНЫМ ЭЛЕМЕНТОМ ХОХЛОМСКОЙ РОСПИСИ ЯВЛЯЕТСЯ
1) бутон
2) розан
3) кудрина
4) купавка
В приведенных примерах ответы подобраны по определенному основанию; в них соответственно перечислены лады и элементы росписи. Отсутствие общего основания приводит к логической противоречивости содержания задания и ответов. Например, в задании:
7. НА ЭЛЕКТРОН, ДВИЖУЩИЙСЯ В МАГНИТНОМ ПОЛЕ, ДЕЙСТВУЕТ СИЛА
1) Кулона
2) Ампера
3) Лоренца
4) Кориолиса
6) тяжести
пятый ответ не совпадает с фамилией ученого-физика. Этот ответ не соответствует содержанию остальных ответов и потому его можно признать некорректным; он должен содержать фамилию еще одного известного физика, как это и сделано ниже:
8. ОСНОВОПОЛОЖНИК КВАНТОВОЙ ТЕОРИИ
1) Борн
2) Гейзенберг
3) Эйнштейн
4) Бор
5) Резерфорд
2. Непротиворечивость содержания заданий
Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: "Обведите кружком номер правильного ответа", а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста. В некоторых тестах встречаются ответы, вообще не связанные с содержанием задания. Такие ответы довольно легко распознаются испытуемыми как ошибочные, и потому тест оказывается неэффективным. Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых. И если обнаружатся такие ответы к заданиям, которые испытуемые вообще не выбирают, то такие ответы из теста удаляются. Потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих испытуемых от правильного ответа. Кроме того, такие дистракторы вредны для теста, ибо снижают точность измерений (но об этом в статьях, где будут рассматриваться вопросы надежности тестов).
3. Обоснованность
Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания оно в тест не включается, ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент, или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным. Идея обоснованности содержания теста тесно переплетается с принципом содержательной правильности тестовых заданий, о чем уже говорилось в предыдущей статье. Напомним, что в тест включается только то содержание учебной дисциплины, которое является объективно истинным, и что поддается некоторой рациональной аргументации. Соответственно, спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий.
Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность, как отмечалось выше, определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение. Сюда же можно отнести неточно или двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных ответов. Отсюда возникает необходимость вводить дополнительные условия истинности, что удлиняет само задание и усложняет его семантику. Некорректность формулировки обычно выясняется в процессе обсуждения содержания заданий с опытными педагогами-экспертами. Успех такого обсуждения возможен при создании соответствующей культурной среды, где допустимы только конструктивные и тактичные суждения. Увы, опыт убеждает, что такое встречается не часто. Между тем, только совместное и доброжелательное обсуждение материалов разработчиками и экспертами способно породить атмосферу поиска наилучших вариантов содержания теста. Этот поиск практически бесконечен, и здесь нет истины в последней инстанции.
В дополнение к трем перечисленным свойствам логически правильного мышления отметим еще одно требование к тестовым заданиям, которое является столь же формальным, сколь и содержательным. Это требование краткости тестовых заданий. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные для студентов символы, иностранные слова, затрудняющие восприятие смысла. Примерное количество слов в задании - пять-девять, хотя бывает и меньше. Вв общем, чем меньше, тем лучше. Например:
СИЛА - ЭТО
1) вектор
2) скаляр
Хорошо, когда задания содержат не более одного придаточного предложения. Как отмечал известный лингвист А.М. Пешковский, точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений (3)
Хороший способ достижения краткости задания - это спросить о чем-нибудь одном. Часто встречающиеся случаи утяжеления заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказываются на качестве задания и теста в целом, хотя с педагогической точки зрения легко понять причину формулирования такого рода заданий. Если в таких заданиях ученик что-то решает без учителя, потом что-то ему объясняет, то возникает сопряжение объективного метода с субъективным, плюс к этому - затруднения с оценками при решении вопроса какой выставить балл. В противоположность этому, одно из важных требований теста - иметь заранее разработанные правила выставления баллов без участия учителя.
Литература
1. Квятковский А. Поэтический словарь. - М.: Сов. Энциклопедия, 1966.- с. 9.
2. Асмус В.Ф. Логика. -М.: Гос. изд-во полит. лит-ры. 1947. - 386с.
3. Цит. по Звегинцеву В.А. К вопросу о природе языка / Вопросы философии, 1979, № 11.- с. 75.