Раша, куда ж несешься ты? дай ответ! не дает ответа...

А.В. Подлазов
(«ХиЖ», 2008, №9)

В официальных документах, относящихся к ЕГЭ, отсутствует описание методов обработки его результатов. Вместо этого приводятся лишь ссылки на научные публикации, содержащие их обоснование. Возьмем на себя труд хотя бы в общих чертах реконструировать процесс пересчета первичных баллов в тестовые.

В основе лежит однопараметрическая модель Раша, формулирующаяся для заданий с дихотомическим исходом (успех/неуспех). Она сводится к гипотезе о том, что отношение вероятности справиться с некоторым заданием p к вероятности не справиться с ним 1-p равно отношению знаний испытуемого Z к трудности этого задания T. Две последние величины сами по себе неопределимы, и возможно оперировать только их отношением. Поэтому, как это часто делается в подобных случаях, переходят к логарифмической мере — логитам знаний z = ln Z/W и трудностей t = ln T/W, где W — некий опорный уровень знаний и трудностей (его выбор, равно как и выбор основания логарифма, несуществен, поскольку линейное отображение диапазона логитов знаний на заранее определенный диапазон тестовых баллов элиминирует эти два параметра).

Результат выполнения задания характеризуется величиной a, равной единице в случае успеха и нулю в случае неуспеха. Если испытуемому, имеющему знания z, предложено задание трудности t, то вероятность исхода a в соответствии с моделью Раша есть

pic_2008_09_12-3.jpg

На основе этой формулы можно построить методику обработки результатов экзамена. Для простоты рассмотрим случай единственного варианта заданий.

Пусть имеется N испытуемых, обладающих знаниями zi (i = 1,2,…N), и каждому из них предложены K заданий сложностей tj (j = 1,2,…K). Результатом тестирования будет матрица исходов ||aij|| размерности NxK. Для нахождения на ее основе неизвестных величин zi и tj/sub> используется метод наибольшего правдоподобия. Он требует максимизации произведения вероятностей полученных исходов Pij(aij):

pic_2008_09_12-4.jpg

что приводит к системе N+K уравнений:

pic_2008_09_12-5.jpg

где

pic_2008_09_12-6.jpg

есть вероятность успешного выполнения задания j экзаменуемым i.

Таким образом, требуется совпадение суммы исходов по всем заданиям (первичного балла экзаменуемого bi) и суммы исходов по всем экзаменуемым (первичного балла задания cj) с суммами соответствующих вероятностей успеха.

В результате решения данной системы уравнений каждое задание получает оценку трудности tj, которая далее, скорее всего, используется только для соотнесения трудности разных вариантов и в случае единственного варианта не используется вовсе, а каждый экзаменуемый — оценку знаний zi, которая, однако, сама по себе тоже не может быть использована. Дело в том, что экзаменуемые, получившие одинаковый первичный балл bi, могли набрать его на заданиях разной трудности, что выльется для них в разные оценки знаний zi. Однако процедура вычисления последних полностью сокрыта, и невозможно доказать отсутствие ошибки или обмана. Поэтому с 2008 года была введена дополнительная стадия осреднения. Сначала для каждого значения первичного балла bi вычисляется среднее значение знаний zi по всем экзаменуемым, набравшим такой первичный балл, которое считается оценкой их подготовленности. Далее эти оценки линейным образом масштабируются так, чтобы диапазон их изменения простирался от 0 до 100. Это и будут тестовые баллы.

Есть и еще один подводный камень: для экзаменуемых, показавших абсолютный результат (все или ничего), модель Раша дает оценку подготовленности z = ±∞. Однако линейно отобразить неограниченный диапазон знаний на ограниченный диапазон тестовых баллов невозможно. Поэтому при наличии экзаменуемых, осиливших все задания или не осиливших ни одного, процедура масштабирования в принципе невыполнима. Остается невыясненным, как эта трудность преодолевалась ранее, но в 2008 году правило расчета тестовых баллов было скорректировано. Нулевому результату теперь соответствуют 0 тестовых баллов, стопроцентному — 100, а вот уже остальные оценки подвергаются линейному отображению на диапазон от 6 до 94 баллов. Почему минимальное отклонение от абсолютного результата составляет именно 6 баллов, причем для всех предметов, неизвестно.

Реально на экзамене предлагаются задания не с дихотомическим, а с политомическим исходом, то есть оцениваемые не из одного, а из нескольких первичных баллов. Для обработки результатов выполнения таких заданий используется одно из расширений модели Раша, называемое Partial Credit Model. Эта модель опирается на гипотезу, что отношение вероятности pk набрать k баллов при выполнении некоторого задания к вероятности pk-1 набрать k-1 балл равно отношению знаний экзаменуемого Z к трудности получения k-го балла Tk этого задания. Иными словами, базовая формула модели Раша

pic_2008_09_13-1.jpg

заменяется более общим предположением

pic_2008_09_13-2.jpg

включающим ее в себя как частный случай.

Весь дальнейший анализ для Partial Credit Model осуществляется точно так же, как и для модели Раша. Однако результирующие формулы при этом получаются крайне громоздкие, поэтому мы их не приводим.

Разные разности
30.11.2023
Памятник ржавчине
Каждый год коррозия съедает 10% всей произведенной за год стали. А то и больше. Разрушаютс...
25.11.2023
Берегите планету — ешьте руками
В Китае поставили цель сократить использование одноразовых столовых приборов при доставке еды и пров...
23.11.2023
Пишут, что...
…в акватории Курильских островов обнаружен новый вид голожаберного моллюска, которому дано имя ...
20.11.2023
«Искусственный интеллект vs Человек». Мир будущего обсудили в Научном кафе
14 ноября состоялась очередная встреча в Научном кафе, которое полгода назад возобновило свою р...