В официальных документах, относящихся к ЕГЭ, отсутствует описание методов обработки его результатов. Вместо этого приводятся лишь ссылки на научные публикации, содержащие их обоснование. Возьмем на себя труд хотя бы в общих чертах реконструировать процесс пересчета первичных баллов в тестовые.
В основе лежит однопараметрическая модель Раша, формулирующаяся для заданий с дихотомическим исходом (успех/неуспех). Она сводится к гипотезе о том, что отношение вероятности справиться с некоторым заданием p к вероятности не справиться с ним 1-p равно отношению знаний испытуемого Z к трудности этого задания T. Две последние величины сами по себе неопределимы, и возможно оперировать только их отношением. Поэтому, как это часто делается в подобных случаях, переходят к логарифмической мере — логитам знаний z = ln Z/W и трудностей t = ln T/W, где W — некий опорный уровень знаний и трудностей (его выбор, равно как и выбор основания логарифма, несуществен, поскольку линейное отображение диапазона логитов знаний на заранее определенный диапазон тестовых баллов элиминирует эти два параметра).
Результат выполнения задания характеризуется величиной a, равной единице в случае успеха и нулю в случае неуспеха. Если испытуемому, имеющему знания z, предложено задание трудности t, то вероятность исхода a в соответствии с моделью Раша есть
На основе этой формулы можно построить методику обработки результатов экзамена. Для простоты рассмотрим случай единственного варианта заданий.
Пусть имеется N испытуемых, обладающих знаниями zi (i = 1,2,…N), и каждому из них предложены K заданий сложностей tj (j = 1,2,…K). Результатом тестирования будет матрица исходов ||aij|| размерности NxK. Для нахождения на ее основе неизвестных величин zi и tj/sub> используется метод наибольшего правдоподобия. Он требует максимизации произведения вероятностей полученных исходов Pij(aij):
что приводит к системе N+K уравнений:
где
есть вероятность успешного выполнения задания j экзаменуемым i.
Таким образом, требуется совпадение суммы исходов по всем заданиям (первичного балла экзаменуемого bi) и суммы исходов по всем экзаменуемым (первичного балла задания cj) с суммами соответствующих вероятностей успеха.
В результате решения данной системы уравнений каждое задание получает оценку трудности tj, которая далее, скорее всего, используется только для соотнесения трудности разных вариантов и в случае единственного варианта не используется вовсе, а каждый экзаменуемый — оценку знаний zi, которая, однако, сама по себе тоже не может быть использована. Дело в том, что экзаменуемые, получившие одинаковый первичный балл bi, могли набрать его на заданиях разной трудности, что выльется для них в разные оценки знаний zi. Однако процедура вычисления последних полностью сокрыта, и невозможно доказать отсутствие ошибки или обмана. Поэтому с 2008 года была введена дополнительная стадия осреднения. Сначала для каждого значения первичного балла bi вычисляется среднее значение знаний zi по всем экзаменуемым, набравшим такой первичный балл, которое считается оценкой их подготовленности. Далее эти оценки линейным образом масштабируются так, чтобы диапазон их изменения простирался от 0 до 100. Это и будут тестовые баллы.
Есть и еще один подводный камень: для экзаменуемых, показавших абсолютный результат (все или ничего), модель Раша дает оценку подготовленности z = ±∞. Однако линейно отобразить неограниченный диапазон знаний на ограниченный диапазон тестовых баллов невозможно. Поэтому при наличии экзаменуемых, осиливших все задания или не осиливших ни одного, процедура масштабирования в принципе невыполнима. Остается невыясненным, как эта трудность преодолевалась ранее, но в 2008 году правило расчета тестовых баллов было скорректировано. Нулевому результату теперь соответствуют 0 тестовых баллов, стопроцентному — 100, а вот уже остальные оценки подвергаются линейному отображению на диапазон от 6 до 94 баллов. Почему минимальное отклонение от абсолютного результата составляет именно 6 баллов, причем для всех предметов, неизвестно.
Реально на экзамене предлагаются задания не с дихотомическим, а с политомическим исходом, то есть оцениваемые не из одного, а из нескольких первичных баллов. Для обработки результатов выполнения таких заданий используется одно из расширений модели Раша, называемое Partial Credit Model. Эта модель опирается на гипотезу, что отношение вероятности pk набрать k баллов при выполнении некоторого задания к вероятности pk-1 набрать k-1 балл равно отношению знаний экзаменуемого Z к трудности получения k-го балла Tk этого задания. Иными словами, базовая формула модели Раша
заменяется более общим предположением
включающим ее в себя как частный случай.
Весь дальнейший анализ для Partial Credit Model осуществляется точно так же, как и для модели Раша. Однако результирующие формулы при этом получаются крайне громоздкие, поэтому мы их не приводим.