ОСНОВЫ ТЕОРИИ ПЕДАГОГИЧЕСКИХ ЗАДАНИЙ

Статья вторая

Вадим Аванесов

testolog@mail.ru

Аннотация

В первой статье[1] ставились вопросы разработки общей теории педагогических заданий. В фокусе данной работы – исследование методологических вопросов разработки теории, дополнение и обобщение результатов. Определена проблемная ситуация, сформулированы цели и задачи данной теории,  дана система определений, гипотез, аксиом и постулатов, выделены объективные, субъективные и интерсубъективные свойства педагогических заданий, рассмотрены показатели этих свойств.

      Ключевые слова: педагогическое задание, теория, качество и свойства заданий, измерение качества заданий.

1. Проблемная ситуация

В предыдущей и настоящей статье сделана попытка построить теорию педагогических заданий, объединяющую педагогические, метрические, статистические и математические методы исследования в этой области на основе педагогики, а также провести исследование вопросов  качества заданий, безотносительно какой-либо одной учебной дисциплины.

Актуальность такой работы объясняется тем, что задания начинают приобретать ведущую роль в научной  организации компьютеризованного процесса образования и самообразования, контроля  и самоконтроля, особенно в связи  существенным увеличением доли самостоятельной работы учащихся и студентов. А также в организации дистанционного обучения. Такая ситуация вызвала заметное позитивное изменение отношение педагогической общественности к заданиям в тестовой форме, чего нельзя пока сказать о тестах.

К настоящему времени теория педагогических заданий ещё не оформилась как научно-педагогическая теория. Одна из причин – её междисциплинарность. С одной стороны, это должна быть теория, основной предмет которой – формирование принципов разработки педагогических заданий. Однако в самой педагогической науке до сего дня всё ещё нет направления, которое занималось бы этим предметом.  С другой стороны, задания много лет исследуются в западных теориях педагогических и психологических тестов. Основной недостаток таких теорий – слабая связь статистических и математических методов с педагогикой и недостаточное внимание к педагогическим методам исследования. 

Педагогическая наука пронизана идеей ведущей роли учителя в учебном процессе. В то же время современные компьютерные образовательные технологии, где ведущую роль играют учебные тексты и задания в тестовой форме, позволяют получать образование без повседневного участия преподавателя, дистанционно или самостоятельно. Что возможно лишь при наличии качественных методических материалов и заданий. Разумеется, отмеченное положение не следует толковать как недооценку важной роли учителя в общей постановке процесса образования и самообразования.

Вопрос в другом. В наше время заметно изменились некоторые функции учителя и учебных материалов.  Заметно возрастает роль учебных заданий и текстов для самостоятельной работы, что объективно позволяет уменьшить трудозатраты учителя, повысить качество усвоения материала за счёт активизации мыслительной деятельности учащихся и уменьшить трудоёмкость выполняемой учащимися учебной работы.  Это вопрос эффективности организации учебной работы, который решается при очень важном условии – организации уровневого образования на основе шкалированных по трудности заданий  в тестовой форме. Можно высказать предположение, что с течением времени учебный процесс будет развиваться в направлении усиления роли заданий в тестовой форме для организации уровневого образования и самообразования, а также контроля и самоконтроля в компьютеризованной форме. 

В последние шесть лет интерес к разработке педагогических заданий существенно возрос в связи с проводившимся в России т.н. «экспериментом по введению  Единого Государственного Экзамена (далее ЕГЭ). Этот «эксперимент» сопровождался  созданием т.н. контрольно-измерительных материалов (далее КИМов), на основе систем своеобразных взглядов, которые можно назвать КИМологией и  ЕГЭведением.

В истории науки и литературы различное понимание явлений и процессов приносило, как правило, положительные результаты, если в сфере управления и социуме проявляются способности решать возникающие противоречия.  К нашему времени обнаружились противоречия в вопросах истолкования предмета, составных и структурных элементах, в методах обоснования качества заданий и в существенных лексических различиях в области педагогических измерений. Нынешняя ситуация оставляет мало надежд  на культурное решение упомянутых противоречий.  А это означает, что к этим вопросам придётся возвращаться ещё не раз. Закрыв, без объявления причин, свой эксперимент по введению ЕГЭ, Правительство РФ, тем не менее, надеется ввести ЕГЭ в полном масштабе к 2009 году, но теперь уже  на законных основаниях. Если Госдума одобрит внесённые поправки к Федеральному  Закону “О высшем и послевузовском профессиональном образовании”,  в части введения единого государственного экзамена.

2. Научная проблема

В настоящей работе ставится проблема построения такой теории педагогических заданий, которая могла бы представлять логически непротиворечивую систему научного знания, теорию, дающую целостный взгляд на существенные свойства заданий. Что открывает дорогу к существенному улучшению образовательного процесса, потому что в сферу применимости такой теории  входят задания, применяемые как в учебном процессе, так и при контроле уровня подготовленности учащихся и студентов, выпускников школ, вузов и всех других образовательных заведений. В теории должны найти своё место научные определения, аксиомы, постулаты, гипотезы, принципы, формы, а также вопросы определения содержания заданий, и, кроме того,  методы обоснования качества заданий и тестов, представляющих системы таких заданий.  Предполагается, что такая теория создаст основу для разработки качественных методов педагогических измерений, в которых качество проверяется по известным критериям надёжности и валидности тестовых результатов. 

3. Цели и задачи теории

Цель создания теории педагогических заданий  - формирование логически непротиворечивой системы научного знания, дающей целостный взгляд на существенные свойства заданий, применяемые в учебном процессе. Очевидно, что в осмысленном педагогическом процессе содержание и мера трудности предлагаемых заданий зависят от уровня подготовленности испытуемых, хотя форма какое-то время может быть одной и той же. Необходимость достижения сформулированной здесь цели вытекает из современной практики расширяющегося  и массированного применения заданий в тестовой форме в автоматизированных системах обучения и контроля знаний. 

Задачи теории педагогических заданий:

1. Определение исходных и основных понятий данной теории;

2. Формулирование системы гипотез, аксиом и ведущих постулатов теории,  необходимых для создания качественных заданий;

3. Разработка общих принципов формулирования заданий;

4. Исследование формы и содержания заданий;

5. Определение логических требований к разработке заданий в тестовой форме;

6. Исследование возможностей математического моделирования процесса ответов испытуемых на задания педагогического теста и прогнозирования вероятности правильного ответа в зависимости от уровня трудности задания и уровня подготовленности испытуемых.  

Большая часть этих задач уже была решена в первой статье и в ряде цитированных здесь работ автора. Другая часть задач рассматривается в этой статье.

4. Исходные определения

К теории педагогических заданий применимы требования обоснованной, логически непротиворечивой системы научного знания, дающей целостный взгляд на существенные свойства педагогических заданий, независимо от конкретной учебной дисциплины и от уровня обучения. В дополнение к ранее сформулированным определениям, добавляются три других:

- Предмет теории педагогических заданий составляет система понятий и их определений, характеристики заданий, формы заданий, общиё для всех учебных дисциплин, а также инвариантные принципы отбора содержания педагогического контроля для всех учебных дисциплин.

- Объект настоящего исследования - процесс разработки, исследования и практического применения педагогических заданий для целей педагогического измерения и улучшения практики учебного процесса.

- Педагогические измерения можно определить как процесс представления интересующего свойства испытуемых и других объектов педагогической науки и практики в виде числовой величины. В самом общем виде величиной можно назвать все то, что может быть больше или меньше, что может быть присуще объекту в большей или меньшей степени; числовая величина  - такая, которая может быть выражена числом[2]. Таким образом, измерение есть установление числового соотношения между проявлениями интересующего свойства у изучаемых объектов. Измерение интересующего свойства испытуемых производится в предположении, что у каждого из них есть интересующее свойство, в каком-то количестве. Если выясняется, что у испытуемого нет данного свойства, то это даёт основание для исключения данного испытуемого из предполагаемой выборки лиц, обладающих данным свойством[3].

Обобщая всё ранее написанное, можно сказать, что по первой задаче получены следующие результаты:

- даны новые определения шести исходным[4] и десяткам основных понятий двух теорий - педагогических заданий и общей педагогической теории измерений. Среди понятий - «педагогическое задание»[5], «задание в тестовой форме», «тестовое задание»,  «композиция заданий в тестовой форме», «педагогический тест» и многие другие. Предполагается, что при благоприятных условиях эти понятия помогут создать языковую основу сущностного понимания основ педагогических измерений у специалистов, владеющих русским языком. Нынешнее засилье калькированных переводов  с английского языка, а также введение понятий ЕГЭведения, может отодвинуть нормальное развитие научных проблем педагогических измерений. 

Актуальность такого подхода вытекает из нынешнего неупорядоченного состояния лексики педагогических измерений, где в последние годы предпринята массированная попытка внедрить в теорию педагогических измерений неадекватную лексику т.н. «ЕГЭ-КИМов»[6].

Трудность проведения данной работы заключается в том,  вместо развития педагогических измерений мы столкнулись с пропагандистскими попытками намеренного изменения смысла вещей путём изменения их наименования и внедрения  в сознание социума удобных мифов и метафор о ЕГЭ, как об универсальном  средстве решения множества социальных и образовательных проблем.

Когда Конфуция спросили, как он стал бы управлять государством, мудрец ответил: я бы начал с возвращения словам их смысла. 

В основу многих предложенных определений положена диалектическая идея о понятии, как  форме мысли,  отображающей предметы и явления в их наиболее общих и существенных признаках,  а также как  итоге познания предмета, характеризующем существенные признаки предмета, известные в настоящее время. Существенные признаки - это такая группа признаков предмета, каждый из кото­рых, отдельно взятый, необходим, а все, вместе взятые, дос­таточны, чтобы с их помощью можно было отличить данный предмет от всех остальных.

5. Объективные свойства педагогических заданий

В предыдущей статье все свойства педагогических заданий были разделены на три класса: объективные, субъективные и  интерсубъективные[7].

Объективные  свойства заданий включают содержание, форму и технологичность. Поскольку вопросы содержания были подробно исследованы в предыдущей статье, рассмотрим  здесь ключевые вопросы формы тестовых заданий. 

Форма определяется  как способ связи организации, упорядочения и существования содержания  в общей композиции тестовых заданий[8]. Сложность проблемы состоит в том, что относительно формы существует противоречие между теоретическим и практическим мышлением. Большинству практиков тестового процесса форма заданий кажется знакомой и вполне понятной. А потому они не видят здесь никаких проблем. Соответственно, практики не считают нужным что-то менять в форме заданий с выбором одного правильного ответа – в форме, сложившейся сто лет назад в Европе, и, как выясняется[9],  сотни лет назад в Средней Азии[10].

Есть основания утверждать, что практики не хотят учиться формотворчеству и методике разработки новых тестовых заданий. Из-за такой позиции практика тестирования в России начала  деградировать. Она полна примеров неадекватных форм тестирования. Самый типичный случай – это массированное использование заданий с выбором одного правильного ответа из трёх-пяти ответов для проверки чуть ли не всех видов знаний[11], что даёт нам пример массового заблуждения относительно измерительных возможностей данного варианта заданий с выбором одного правильного ответа.

Если практики видят в форме привычное средство  создания теста или, скорее, набора заданий, похожего на тест, то теоретик обращает внимание на достоинства и недостатки существующих форм, на поиск дополнительных возможностей автоматизации тестового процесса, а также на поиск таких  форм, которые позволяют проверить знания полнее, глубже, точнее, быстрее и объективнее.  Вспомним Г.Спенсера: хорошее содержание всегда должно быть в хорошей форме!  Вот почему исследование формы становится, быть может, самой важной частью теории.  

Теоретическое мышление находит отношение практиков к форме ограниченным и вредным, тормозящим развитие тестовой культуры. От правильности формы зависит понимание содержания заданий, технологичность тестового процесса, точность и эффективность измерений. Малейшее нарушение требования формы часто делает задание непонятным. Например, при нечетких инструкциях испытуемые не знают, как им отвечать на задания. Нарушение требований формы является также одним из самых распространенных источников погрешностей педагогического измерения. Можно выразиться ещё более определенно: пока преподаватели не овладеют формами, нет надежд на появление качественных тестов.

Обобщая полученные результаты по вопросам формы, можно сказать, что исследованы четыре формы тестовых заданий, предложена система принципов их композиции[12], разработаны новые варианты и системы заданий в тестовой форме[13].

6. Угадывание правильных ответов

Результаты тестирования посредством самых распространенных заданий с выбором одного правильного ответа, из 3-5 предлагаемых на выбор,  подвержены известным искажениям – тем большим, чем меньше число ответов в каждом задании. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных ответов. Последние называют дистракторами (от англ. to distract – отвлекать); число дистракторов обычно колеблется от одного до 4.

В заданиях с выбором одного правильного  ответа из трёх вероятность угадывания равна 1/3, что приводит к тому, что одна треть всех заданий может быть решена не за счет знаний учебного материала, а за счет ответов наугад, не знающим испытуемым. В тесте, состоящем, скажем, из тридцати заданий таких «правильных» ответов может оказаться около десяти, за это педагоги могут выставить привычные три балла. Но это ошибочная практика. Не случайно студентам и школьникам нравятся задания с тремя ответами, где всегда есть реальная возможность угадывания. Именно таких заданий с тремя и четырьмя ответами особенно много в пособиях по русскому и иностранным языкам, а также по русскому языку, как иностранному. Если ввести коррекцию на угадывание, то всё равно остаётся проблема неточности измерений и неэффективности используемой шкалы.

Задания с выбором одного правильного ответа имеют два существенных дефекта: 1) достаточно высокую вероятность угадывания правильного ответа и 2) возможность правильного ответа на задания без решения самих заданий, посредством поочередной подстановки предлагаемых к заданию ответов.  Угадывание правильных ответов в теории педагогических измерений исследовалось неоднократно; он рассматривается как источник погрешностей измерения – тем больший, чем больше доля угадываемых правильных ответов. Для коррекции тестовых баллов испытуемых, полученных вследствие возможного угадывания,  используется формула

X_ci = X_i -

где X_ci - скорректированный на догадку тестовый  балл испытуемого. Отсюда и смысл индекса: с от англ. corrected,  символ  i обозначает номер испытуемого.

X_i   - тестовый балл испытуемого i , без коррекции;

W_i  - число ошибочных ответов, у того же испытуемого.

Эта формула используется при предположении, что испытуемый не знает правильный ответ ни на одно задание, и по всему тесту пытается отвечать наугад. В ней наиболее вероятное число ответов, которое можно угадать, ничего не зная, вычитается из набираемой суммы баллов.

 Если взять, для примера, тест, состоящий из 30 заданий с четырьмя ответами, то в случае 20 правильных и 10 неправильных ответов получим X_ci = 20 -  = 16, 6, или округленно, 17 баллов. Из структуры данной формулы видно, что с увеличением количества правильных ответов число вычитаемых на догадку баллов в заданиях с четырьмя ответами заметно уменьшается. Из чего видно, что хорошо подготовленных испытуемых коррекция баллов на догадку не должна беспокоить, в то время как плохо подготовленных испытуемых коррекция отнимает много баллов. Например, в случае, когда имеется всего десять правильных и двадцать неправильных ответов скорректированный тестовый балл оказывается равным

X_ci = 10 – 20/ 4-1 = 3,333 , или округленно, 3  баллам, что означает существенное понижение исходных тестовых баллов испытуемых.

Немногим лучше дела обстоят в заданиях с выбором одного правильного ответа из  пяти ответов. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов правильные ответы могут быть угаданы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслужили. Это и есть одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий.

Второй дефект зримо проявляет себя в заданиях по математике с выбором одного правильного ответа, где большинство испытуемых  пробуют подставлять предлагаемые ответы способом перебора, и, таким образом, находят правильный ответ.

Задания с выбором одного из 4-5 ответов применяются в «едином государственном экзамене (далее ЕГЭ)». При этом коррекция результатов на догадку не проводится. Тем самым тестовые баллы содержат явные источники погрешностей измерения.  При этом имеется много дистракторов, которые вообще не выбираются испытуемыми, вследствие чего повышается вероятность угадывания правильного ответа и снижается точность измерений. Для противодействия этому отрицательному явлению обязательно необходимо проведение т.н. «дистракторного анализа», суть которого кратко можно свести к подсчёту процентов выбора каждого ответа во всех заданиях.  Хотелось бы подчеркнуть, что без проведения дистракторного анализа тестов не бывает. 

Специалистами по ЕГЭ с целью преодоления феномена угадывания принято решение использовать задания открытой формы, где угадывания почти нет. Ответы по таким заданиям в ЕГЭ оцениваются в два раза выше; в предположении, что задания открытой формы труднее для испытуемых, чем задания с выбором одного правильного ответа из 4-5 ответов. Надо ли убеждать авторов таких решений в простых истинах: трудность заданий зависит, главным образом, не от формы, а от содержания заданий! Таким образом, принятая в ЕГЭ система оценивания порождает ещё один источник погрешностей измерения.

Ошибки оценивания  в этих частях столь велики, что по некоторым дисциплинам результаты испытуемых не коррелируют,  положительно, с результатами испытуемых по первой части «А». А иногда связаны и отрицательно. Вопрос - можно ли складывать полученные по частям баллы в общую оценку за ЕГЭ, и если это делается, то каковы научные основания? Здесь скрывается третий источник ошибок измерения, вызванный неверным толкованием тестовых форм и их возможностей, ошибками сложения баллов, не обладающих свойством аддитивности. 

Задания открытой формы из-за их нетехнологичности для проведения массовых исследований не годятся. Ведь не случайно зарубежные тестовые службы в массовых обследованиях используют только задания с выбором, используя далее автоматизированную считку результатов с бланков посредством оптических сканеров очень высокой производительности, от 5 до 50 тысяч бланков в час.  Хороший пример успешного применения такой техники опять даёт Национальное тестирование Республики Казахстан.

В России для проведения ЕГЭ применяется массовый ручной труд, сканирование и прочие атрибуты неэффективных технологий. 

7. Уменьшение вероятности  угадывания правильного ответа

Задания, в которых довольно высока вероятность угадывания правильных ответов, для качественного педагогического тестирования не пригодны. Слишком велики при этом ошибки измерения. Кроме того, при догадке сильно теряют моральная и воспитательная стороны тестового метода. Принцип развития  в них заменяется принципом угадывания. В качестве конструктивного выхода из тупика, в котором заблудилась практика тестирования, автор предлагает переходить к использованию заданий с выбором нескольких правильных ответов, из примерно 10-12 ответов. В таких заданиях вероятность угадать комбинацию правильных ответов оказывается менее одной тысячной[14].

Вот почему, во-первых, надо скорее менять формы тестовых заданий. Вместо заданий с выбором одного правильного ответа из 3-5 ответов надо переходить (где это оправданно) к заданиям с выбором нескольких правильных ответов. Посмотрим на некоторые примеры:

1. IRREGULAR VERBS

1) start	6) read	11) wear
2) swim	7) think	12) print
3) speak	8) complete	13) obtain
4) look	9) begin	14) finish
5) run	10) jump	15) draw

2. «О» ПИШЕТСЯ В CЛОВОСОЧЕТАНИЯХ

1) упл…тнить сроки
2) обн…жить пороки

3)р…птать на судьбу
4) прил…скать собаку 

5) отк…заться от услуг

6) опр…вдать поступок
7) угр…жать расправой

8) в…пиющий произвол
9) раск…лить сковороду        
10) усл…жнить обстановку

К таким заданиям даётся инструкция: «Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов»!

Преимущество таких заданий – в технологичности, что позволяет, при правильной организации тестового процесса, исключить элементы субъективизма в оценивании. Кроме того, испытуемые не знают точное число правильных ответов, что делает такие задания труднее. Помимо повышения трудности и технологичности, задания данного варианта позволяют проверить знания полнее, глубже и точнее. В таких заданиях испытуемые могут получить от нуля до трёх баллов, что повышает вариацию данных и, как следствие, точность измерения.

Во-вторых, помимо заданий с выбором нескольких правильных ответов в педагогических измерениях можно  использовать сдвоенные задания. При условии, что они рассматриваются как одно общее задание, имеющее один номер и один общий балл.  Иначе возможен эффект цепных заданий, недопустимый в тесте, из-за нарушения требования аксиомы локальной независимости, рассматриваемой ниже.

3. ЧТО ВЫ ЧИТАЕТЕ… ? – СПРОСИЛ (А)

1) Офелия                        5) Лаэрт

2) Полоний                      6) Горацио

3) Клавдий                        7) Гертруда

4) Гамлет                           8) Фортинбрас   

 

«СЛОВА, СЛОВА, СЛОВА» - последовал  ответ

1) Офелии                          5) Лаэрта

2) Полония                        6) Гамлета

3) Клавдия                         7) Гертруды

4) Горацио                        8) Фортинбраса  

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, за такое сдвоенное задание теста оценки могут варьироваться от нуля до двух баллов. Эта оценка благотворно отражается на повышении различающей способности заданий и на точности измерения.

В-третьих, для создания параллельных вариантов теста полезно  применять  так называемые фасеты. Все элементы одного фасета считаются одинаково трудными по содержанию. Здесь они представлены в фигурных скобках. Каждому испытуемому компьютерная программа подбирает один вариант  из фасета: 

Краткость есть душа ума  
Порвалась дней связующая нить  
Весь мир – тюрьма!  
Какого обаянья ум погиб!   
Всех слушай, но беседуй редко с кем  
Я пал (а), чтоб встать!

…………………………

СКАЗАЛ (А)

1) Гамлет                           6) Лаэрт

2) Офелия                        7) Актёр

3) Полоний                      8) Горацио

4) Клавдий                        9) Гертруда

5) Фортинбрас                10) Розенкранц    

8. Субъективные и интерсубъективные свойства заданий

К субъективным свойствам относятся привлекательность  и трудоёмкость заданий. Эти свойства были рассмотрены в предыдущей статье[15]. Привлекательность выражается мерой интереса учащихся к заданиям, трудоёмкость – мерой трудозатрат. Одна из причин образовательного кризиса заключается в недостатке привлекательных заданий и в отсутствии точного учёта трудоёмкости заданий, даваемых учащимся и студентам.

Интерсубъективные свойства заданий возникают как следствие  измерения и усреднения субъективных свойств, что позволяет перевести субъективные свойств в группу интерсубъективных или иначе, объективированных свойств заданий. Одна из двух важнейших целей педагогических измерений – получение объективированных оценок интересующих свойств заданий, на линейной шкале. Вторая цель – получение на той же шкале, оценок уровня подготовленности учащихся (испытуемых). Использованное здесь словосочетание «интерсубъективные оценки» означают, что это оценки уже не субъективные, но ещё и не объективны. Этот промежуточный класс оценок полезно ввести для философского осмысления проблемы соотношения объективного и субъективного в процессе педагогических измерений.

Субъективизм – это мировоззренческая позиция, игнорирующая объективный подход к действительности, отрицающая объективные законы природы и общества. Интерсубъективизм, как позиция, позволяет отразить усреднённые оценки и точки зрения, создающие предпосылки для отказа от крайних точек зрения, и приближения к некоторому объективно функционирующему типу мышления относительно интересующих объектов. Решающую роль при этом играют обоснованный выбор множеств заданий, испытуемых, экспертов и методов. В тестовой практике чаще других применяются методы стратифицированного отбора заданий в тест, случайного отбора испытуемых из тщательно сформированной генеральной совокупности и выбора методов, дающих наименьшее смещение выборочных статистик от параметров генеральной совокупности.

Основные результаты исследований свойств заданий представлены в предыдущей статье[16] 

9. Гипотезы

Каждая научная теория имеет гипотезы, подлежащие эмпирической проверке.  Гипотезой называют научно обоснованное предположение о сущности, связях и причинах интересующих явлений. В теориях  педагогических измерений и заданий могут использоваться гипотезы об адекватности формы  и содержания заданий целям и задачам образовательной деятельности.  Наиболее часто применяемые гипотезы – о наличии тестовых свойств у заданий, или иначе, о пригодности заданий для включения в тест.  

При исследовании качества педагогических заданий используются  ряд гипотез.

Первой можно назвать гипотезу адекватности содержания заданий  целям и задачам измерения.  В процессе проверки содержательной валидности  результатов тестирования содержание некоторых заданий оказывается неадекватным цели измерения или не соответствующим измеряемому свойству (качеству).  Особенно много нареканий вызывают задания по литературе и математике. Например, литературоведчески невежественным считается вопрос:

«Укажите, кто является выразителем авторского мировоззрения в поэме Н.А.Некрасова «Кому на Руси жить хорошо?

1) странники                               3) Григорий Добросклонов

2) Матрёна Тимофеевна                  4) Ермил Гирин

Все перечисленные ответы к этому вопросу могут быть признаны правильными, поскольку и странники, и упомянутые герои,  и поэма в целом, выражают авторское мировоззрение[17].  К мнению известного учителя-словесника хотелось бы добавить, что подобные вопросы не имеют позитивного отношения не только к литературе, но и к форме тестовых заданий. Не говоря уже о методике педагогических измерений. Недемократический и вредный запрет на апелляцию, существовавший во время «введения эксперимента» относительно содержания подобных вопросов оказал  очень плохую услугу организаторам ЕГЭ, лишив их возможности общественной критики совершаемых ошибок.  Например, в США и Казахстане подобного запрета нет, а потому возникающие там критические замечания используются для удаления неудачных заданий из банка Национального Тестирования.  

Вторая гипотеза - адекватности используемых форм контроля знаний целям измерения, а иногда и задачам образовательной деятельности в целом. Практика полна примерами неадекватных форм тестирования. Самый типичный случай – это массированное использование заданий с выбором одного правильного ответа из трёх-пяти ответов для проверки чуть ли не всех видов знаний[18]. Что указывает на состояние массового заблуждения относительно измерительных возможностей данного варианта заданий с выбором одного правильного ответа.  Особенно губительно влияние такого заблуждения  на математическое образование. Вместо  решения заданий и определения правильного ответа немалое число испытуемых во время тестировании занято выбраковкой заведомо неподходящих ответов и угадыванием  подходящего ответа. Гипотеза адекватности формы выбора одного правильного ответа из четырёх-пяти ответов ошибочна из-за высокого уровня вероятности угадывания. Не случайно в трёхпараметрической модели измерения появился параметр вероятного угадывания c_j, который в нашей литературе неточно называется «параметром угадывания». F.M.Lord называет его параметром «псевдоугадывания».

 Третья гипотеза, обычно выдвигаемая при проверке тестовых свойств педагогических заданий – это гипотеза связи ответов испытуемых на отдельное задание (вектор-столбец Х_j) с суммой баллов испытуемых по всему тесту (вектор-столбец Y_i).  Подтверждение этой гипотезы корреляционными методами обычно даёт надежду на включение задания в тест. При отсутствии достоверной связи ниже 0,300, задание лишается возможности быть включённым в тест. Пример статистической проверки такой гипотезы читатель найдёт в предыдущей статье[19].

Четвёртая гипотеза - соответствие уровня трудности заданий уровню подготовленности испытуемых. Эта гипотеза проверяется специальными математико-статистическими пакетами Winsteps и RUMM, посредством сравнения двух гистограмм - распределения  тестовых результатов испытуемых и уровня трудности заданий (Person –Item  Location Distribution), а также на основе статистического вывода относительно т.н. Item Fit  и Person Fit.     

Пятая гипотеза – об одномерности получаемой шкалы (см. далее). Одномерность означает, что все задания разрабатываемого теста измеряют, в основном, одно и тоже интересующее свойство. Эта гипотеза носит не абсолютный, а статистический характер. На английском языке она часто называется assumption of unidimensionality. На русском языке это можно назвать предположением (гипотезой)  одномерности заданий теста для измерения интересующего свойства испытуемых. Эта гипотеза практически никогда и нигде, в полной мере, не подтверждается. Тем не менее, она позволяет использовать теорему умножения вероятностей правильных ответов на задания теста. Из-за инструментальной ценности этой полезной теоремы альтернативы гипотезе одномерности нет. Каждое задание теста должно, по идее, быть индикатором наличия того свойства, которое призван измерять тест. Задания, обладающие такими свойствами, образуют гомогенный тест.

10. Аксиомы

К семи ранее сформулированным аксиомам [20] педагогической теории измерений необходимо добавить четыре другие.

Первая – это аксиома т.н. локальной независимости, которую можно перевести на русский язык следующим образом: для испытуемых одинакового уровня подготовленности вероятность правильного ответа на одно задание не должна зависеть от вероятности правильного ответа на любое другое задание теста. Казалось бы, что эта аксиома противоречит интуитивно понимаемой связи между вероятностью правильного ответа испытуемых на трудные и легкие задания: правильные ответы на трудные задания как бы гарантируют большую вероятность правильного ответа на лёгкие задания, на чём и основана кумулятивная модель измерений Л.Гутмана. 

Вторая аксиома касается вопроса гомогенности заданий теста. Этим  утверждается принадлежность содержания всех заданий одной, и только одной интересующей дисциплине. Иначе свойство гомогенности можно назвать предметной чистотой заданий теста. Эта аксиома носит не абсолютный характер, а скорее похожа на исходное предположение, открывающее дорогу к созданию теста из имеющихся заданий. На английском языке это положение часто называется assumption of unidimensionality. Что на русском языке можно назвать аксиомой  одномерности измеряемого свойства испытуемых. Каждое задание теста должно, по идее, быть индикатором наличия того свойства, которое призван измерять тест. Задания, обладающие такими свойствами, образуют тест. Результаты полученного при этом теста обладают свойством валидности по содержанию.

Аксиома гомогенности (одномерности) практически никогда и нигде в полной мере не подтверждается. Тем не менее, она позволяет использовать теорему умножения вероятностей правильных ответов на задания теста. Из-за инструментальной ценности этой полезной теоремы альтернативы аксиоме  одномерности нет.

Третья аксиома сформулирована Г. Рашем. Она утверждает: правильность (или наоборот, неправильность) ответов испытуемых на задания теста зависит от разности между уровнем подготовленности испытуемого под номером i  и  уровнем трудности заданий под номером j. Формально эта аксиома записывается так: P = f (q_i - b_j) С ростом уровня подготовленности испытуемых вероятность правильного ответа на задание фиксированного уровня трудности возрастает, что вполне согласуется со здравым смыслом. Этому же автору удалось поставить в соответствие здравому смыслу и этой гипотезе функцию

P_j (q) = {x_ij = 1½b_j } =             (1)

где P_j (q) это вероятность правильного ответа на задание под номером j, вместо х стоит разность .

x_ij = 1, если ответ испытуемого i на j-ое задание правильный;

q - уровень подготовленности (знаний), латентная переменная. Поэтому индекс i при символе q опущен.

b_j- уровень трудности j-го задания теста, измеряемой на латентном континууме трудности заданий.

exp – константа e, иррациональное число, равное, округлённо, 2,71828.

   Четвёртая аксиома касается качества измерения. Для того, чтобы точность измерения была высокой, уровень трудности заданий должен соответствовать уровню подготовленности испытуемых. Симметрично можно говорить об адекватности уровня подготовленности испытуемых уровню трудности заданий[21].  В случае правильности данной аксиомы принимается, что математическая функция

P = f (q - b) верно отображает связь между уровнем подготовленности испытуемых, трудностью заданий и вероятностью правильных ответов. При этом предполагается, что значения q_I  и  b_j истинны, безошибочны, отражают соответствующие уровни на латентной шкале, а потому называются параметрами: q_I называется параметром уровня подготовленности испытуемого, а   b_j  - параметром трудности задания.

11. Постулаты

Кроме аксиом, для случаев создания гомогенного теста в математической теории педагогических измерений (IRT) принимаются два основных постулата:

1) При условии правильной организации процесса тестирования, минимизации угадывания правильных ответов и предотвращении возможностей списывания вероятность правильного ответа на задание j зависит от уровня подготовленности испытуемого.   

2) Зависимость вероятности правильного ответа на задание j от уровня подготовленности испытуемого можно выразить функцией  (1).

Если функция (1) пригодна для описания эмпирических данных  (что проверяется статистически), то возникают некоторые привлекательные свойства параметров: это, в частности, их сравнительная устойчивость в различных выборках испытуемых и заданий, а также относительная независимость одних параметров от других.  

Задания, в которых довольно высока вероятность угадывания правильных ответов, для качественного педагогического тестирования не пригодны. Слишком велики при этом ошибки измерения. Кроме того, при систематическом угадывании ответов сильно теряют моральная и воспитательная стороны тестового процесса. Так как принцип формирования знаний заменяется принципом угадывания правильных ответов, подлинное обучение заменяется изучением способов «сдачи» учебных предметов. В качестве конструктивного выхода из тупика, в котором заблудилась нынешняя практика тестирования и проведения ЕГЭ, автор предлагает переходить к использованию заданий с выбором нескольких правильных ответов, из примерно 10-12 ответов. В таких заданиях вероятность угадать комбинацию правильных ответов оказывается менее одной тысячной [22].

12.  Применение заданий в тестовой форме в учебном процессе

В современном образовательном процессе нет проблемы более важной и, одновременно, более сложной, чем организация самостоятельной работы студентов. Важность этой проблемы связана с новой ролью самостоятельной работы: она постепенно превращается в ведущую форму организации учебного процесса. В результате самообразовательной деятельности студентов происходит процесс приобретения, структурирования и закрепления знаний. Сейчас роль самостоятельной работы настолько возросла, что её приходится специально планировать, создавать для неё специальные формы и методы, выделять время, помещения и технические ресурсы.

Сложность проблемы заключается в необходимости оптимизации сочетания времени на лекционные занятия и на выполнение самостоятельной работы по различным дисциплинам. Сейчас это редко превышает соотношение 1:1, в то время как в Европейских странах Болонского процесса  и в США отмечается устойчивая тенденция снижения общего времени на чтение лекций и повышения времени самостоятельной работы студентов. В примерном соотношении 1:3.  Именно такое, трёхкратное  превышение времени на самостоятельную работу студентов по сравнению лекционной формой занятий считается наиболее эффективным для улучшения качества подготовки специалистов.

Для достижения отмеченного оптимума предстоит проделать невероятно большую работу по созданию подходящих форм и методов организации индивидуальной работы студентов. Предстоит научиться планированию самостоятельной работы, получать информацию о реальных затратах времени студентов на выполнение домашних работ по различным учебным дисциплинам, искать способы ликвидации нехватки аудиторного фонда, компьютерной техники, а также проводить целенаправленную работу по созданию на кафедрах достаточного числа специальных заданий нового поколения. Таких заданий, которые были бы интересны по содержанию и, одновременно, позволяли бы студентам работать самостоятельно. Не менее трудно обеспечить компьютерную поддержку автоматизированной оценки результатов самостоятельной работы студентов.

Полезно подчеркнуть, что повышение роли самостоятельной работы не снижает ценность лекционных форм работы со студентами. Интересно прочитанная лекция выполняет ориентирующую, организующую, мотивирующую, систематизирующую, познавательную и другие важные функции. В этом смысле ни одна другая форма не может успешно соперничать с лекцией. А потому роль интересных лекций никогда не снизится.

Правда, однако, такова, что не все вузовские лекторы и лекции интересны студентам. Ряд учебных материалов, которые необходимо запомнить, бесполезно давать в форме лекций, потому что такие материалы могут быть усвоены либо в процессе самостоятельной работы, либо при работе в группах или делении студентов на пары. Именно при работе в парах у студентов появляется возможность вербализации изучаемых понятий и формирования профессиональной речи.  Вот почему появились такие учебные материалы, которые специально создаются для изучения в процессе самостоятельной работы: это материал, подлежащий заучиванию, апробации, вербализации, структурированию, закреплению и совершенствованию в процессе индивидуальной  работы.

Закономерности. Можно сформулировать пять объективных педагогических закономерностей организации самостоятельной работы студентов:

1. По мере продвижения студентов от курса к курсу значение и объемы самостоятельной работы растут;

2. Творческая составляющая в самостоятельной работе студентов имеет тенденцию к увеличению на старших курсах;

3. В процессе организации самостоятельной работы студентов возрастает потребность в тьютерской роли педагогов. Тьютер – это педагог, всегда готовый помочь, каждому студенту его группы, преодолеть индивидуальные затруднения при изучении  учебных дисциплин;

4. Компьютерная поддержка организации самостоятельной работы студентов становится абсолютно необходимой - как для оперативной выдачи учебных материалов, так и для автоматизированного учета учебных достижений студентов.

5. Возникла необходимость специального повышения педагогической квалификации профессорско-преподавательского состава в вопросах научной организации самостоятельной работы студентов.

К новым формам научной организации самостоятельной работы студентов можно отнести применение систем т.н. цепных, текстовых и тематических заданий в тестовой форме, а также ситуаций с интегративным содержанием и с вариативными заданиями в тестовой форме. Перечисленные формы рассматриваются как феномен, требующий научно-педагогического исследования и специальной организации. По сути, можно говорить о новом направлении в создании  технологичных форм самостоятельной работы студентов.

Помимо заданий с выбором нескольких правильных ответов в самостоятельной работе студентов желательно использовать новые, так называемые сдвоенные задания. Посмотрим примеры:

1. МЕТОД ГЛУБОКОГО ФТОРИРОВАНИЯ ПРЕДЛОЖЕН

1) П. Дауге               3) А. Лимбергом

2) П. Леусом            4) А. Кнаппвостом

 

ЭТОТ МЕТОД ПРИМЕНЯЕТСЯ ПРИ ЛЕЧЕНИИ

1)     кариеса      3) гиперестезии     5) периодонтита

2)     пульпита    4) эрозии эмали     6) клиновидного дефекта

 

2. ДЛЯ УМЕНЬШЕНИЯ КРОВОТОЧИВОСТИ ДЁСЕН  РЕКОМЕНДУЮТСЯ ПАСТЫ

1) детские            4) противокариозные

2) отбеливающие 5) противовоспалительные

3) гигиенические 6) снижающие чувствительность зубов

 

          СОДЕРЖАЩИЕ

1) карбамид               5) фторид натрия

2) нитрат калия         6) солевые добавки

3) хлоргексидин        7) монофторфосфат

4) хлорид стронция   8) экстакты лекарственных растений

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, оценки за такие задания могут варьировать от двух до нуля. Это обстоятельство благотворно отражается и на повышении точности  измерения, в связи с тем, что растет дисперсия баллов в каждом отдельном задании, а вместе с тем и дисперсия тестовых баллов по тесту в целом.