Bookmark and Share
Page Rank

ПОИСКОВЫЙ ИНТЕРНЕТ-ПОРТАЛ САДОВОДЧЕСКИХ И ДАЧНЫХ ТОВАРИЩЕСТВ "СНЕЖИНКА"

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.



Треть баллов ЕГЭ по математике 2013 года – фальсификация?

Сообщений 1 страница 2 из 2

1

Треть баллов ЕГЭ по математике 2013 года – фальсификация?

Андрей Оглоблин

http://slon.ru/images3/6/1100000/632/1102925.jpg
Во время сдачи единого государственного экзамена по математике. Фото: ИТАР-ТАСС / Владимир Смирнов

20 мая на сайте Slon.ru вышла заметка «Десятки тысяч выпускников просто выигрывали свой результат в "лотерею"». Оказывается – и это новость, – в стране уже целых 5 лет действует рабочая группа, которая по заказу Рособрнадзора исследует статистическими методами фальсификации при проведении процедуры ЕГЭ. Руководители этой группы (директор МЦНМО Иван Ященко и завкафедрой высшей математики ВШЭ Алексей Макаров) ответили на широкий спектр вопросов, касающихся не только собственно ЕГЭ, но и общих проблем образования. В принципе со многими их суждениями я готов согласиться (где-то полностью, где-то частично), но есть несколько утверждений, которые либо вызывают искреннее недоумение, либо допускают иную интерпретацию, отличную от декларируемой в статье.

Я провел собственные расчеты на основе открытых данных о ЕГЭ по математике и пришел к выводу, что уровень фальсификаций 2013 года намного выше.

Оценка уровня фальсификаций ЕГЭ по математике 2013 года

Можно ли посчитать уровень фальсификации результатов ЕГЭ для страны в целом – то есть процент баллов, полученных при помощи различного рода нарушений? Министерство образования РФ в соответствии с министерской же политикой полной информационной прозрачности не считает возможным открыть публичный доступ к первичным данным по ЕГЭ. Но при физической невозможности посчитать что-то «в лоб» практически всегда можно сделать вполне разумную численную оценку.

На пресс-конференции 28 июня 2013 года представитель Рособрнадзора предъявил собравшимся слайд с распределениями баллов ЕГЭ по математике в 2011–2013 годах. Мне удалось его скопировать. Вот он.

Результаты ЕГЭ по математике в 2011–2013 годах, тысяч человек

http://slon.ru/images2/2014/05-23/grr_out/sec.jpg

Результаты ЕГЭ по математике в 2011–2012 годах образуют распределение в форме колокола. Форма кривой результатов 2013 года тоже напоминает колокол, но с наличием явно видимых дефектов в виде горбов, провалов, сдвигов и прочих статистических извращений (вообще, создается впечатление, что в 2013 году кривая набранных баллов перенесла очень серьезную болезнь).
 
Следует заметить, что колоколообразное распределение для набранных баллов ЕГЭ получилось не случайно – в природе такие кривые появляются с завидной регулярностью. Их называют нормальным распределением, или распределением Гаусса. (Если сильно упростить, то распределение оценок должно иметь форму колокола без лишних пиков и провалов в том случае, если не было внешнего влияния, искусственно отсекающего одни баллы и добавляющего другие. В распределении Гаусса пик кривой – это и есть арифметическое среднее для всего распределения. – Slon.)
 
Для корректного описания идеального нормального распределения достаточно знать всего лишь два параметра. Первый – это средняя величина распределения (на рисунке ниже это параметр μ). Второй параметр – это так называемое среднеквадратичное отклонение (на рисунке это параметр σ, сигма), которое характеризует ширину нормального распределения.

Пример нормального распределения

http://slon.ru/images2/2014/05-23/grr_out/2.jpg

Кривая плотности распределения набранных тестовых баллов ЕГЭ с 2011 по 2013 год с каждым годом неуклонно сдвигается вправо, что естественно означает рост среднего балла ЕГЭ по математике. Распределение за 2010 год также доступно в открытых источниках и полностью укладывается в эту закономерность.
 
Я взял официальные картинки распределения набранных баллов ЕГЭ за 2010–2013 годы, восстановил по ним численные значения плотностей распределения, далее по плотностям посчитал средние баллы и среднеквадратичные отклонения. Для сравнения привожу и официальные значения средних баллов – их отличие от расчетных средних я могу объяснить лишь недоработками Министерства образования.

http://i63.fastpic.ru/big/2014/0526/fb/21231e168d258dca5ef57c6c8beb88fb.jpg

Из таблицы видно, что с кривой ЕГЭ происходят интересные трансформации: помимо дрейфа вправо (то есть фактически роста среднего балла), есть и еще один эффект – расползание кривой ЕГЭ (то есть увеличение ширины распределения – среднеквадратичного отклонения). Оно объясняется совокупным действием следующих причин:

рост уровня фальсификаций – основная причина. Выпускники, получившие «помощь» в любом виде, получают большее количество баллов, чем положено им по нормальному распределению, следовательно, распределение растягивается по горизонтали;
рост распространенности института репетиторства – вспомогательная причина. Услугами репетиторов пользуются большей частью мотивированные и толковые выпускники. Они и без репетиторов в любом случае были бы правее среднего балла по стране, но в результате дополнительных занятий их отрыв еще увеличивается.

Исходя из всей информации, которая есть в открытом доступе, и базового понимания ситуации в целом, разумно предположить, что качество подготовки детей к экзамену год от года росло плавно и равномерно – аномального сдвига в 2013-м оно вызвать не могло. Сложность КИМов [контрольно-измерительных материалов, то есть заданий ЕГЭ] с 2011 по 2013 год оставалась примерно одинаковой.

Это означает, что в 2013 году в сравнении с 2012 годом произошел рост (возможно, в разы) уровня фальсификаций, что видно как по увеличению среднего балла на 4 единицы (с 44 в 2012 году до 48 в 2013-м), так и по росту среднеквадратичного отклонения на 2 единицы (с 16 до 18 – на уровне страны это очень большое изменение).Также не забываем про наличие видимых деформаций графика кривой ЕГЭ-2013.

С учетом всего сказанного сдвиг кривой ЕГЭ-2013 относительно кривой ЕГЭ-2012 должен отличаться от сдвига предыдущего года лишь повышенным уровнем фальсификаций. Я попытался его оценить, измерив площади непересекающихся частей кривых за эти три года. (Подробнее о методике расчета читайте в примечании*. – Slon.)

По моим расчетам, в 2013 году как минимум 27,3% баллов были получены с фальсификациями разного рода. Для получения абсолютного значения фальсификаций в 2013 году необходимо добавить к ним ненулевой уровень фальсификаций в 2012 году.
 
Для утверждения, что нулевым он не был, достаточно открытых данных Рособрнадзора. Один лишь эффект натягивания баллов двоечникам для прохождения минимального порога ЕГЭ (24 балла из 100) во время пересдач в масштабах страны я оценил в 1,7% баллов. Эта оценка сделана на примере Республики Башкортостан в 2012 году, где с разницей в пару дней двоечники смогли улучшить свой средний балл на 20,7 балла. (Алексей Макаров в интервью Slon оценил базовый уровень фальсификаций 2012 и 2013 года без учета списывания из интернета в 6–8% от всех участников ЕГЭ. – Slon.)
 
Суммируя 27,3% и 1,7%, мы получим оценку 29% баллов. Таким образом, примерно на каждые 7 честных баллов ЕГЭ-2013 по математике приходилось не менее 3 баллов, набранных при помощи разного рода фальсификаций.

«Утечки 2013 года не повлияли на высокобалльников»

Вот что говорит Алексей Макаров: «И когда утечка произошла, руководство нам сразу поставило задачу оценить, не будет ли сорван прием в вузы, не придут ли в ведущие вузы страны слабые дети из-за этой утечки. Мы убедительно показали, что в сильной части спектра – выше 70 баллов – никакого заметного влияния нет».
 
К счастью, Рособрнадзор выдал в публичной доступ достаточно информации, чтобы мы могли самостоятельно составить свое мнение по этому вопросу, основываясь исключительно на официальных данных. Так, на графике ниже представлены статистические данные Рособрнадзора по математике за 2012 и 2013 годы, сгруппированные по диапазонам в 10 тестовых баллов ЕГЭ. Я убрал столбцы от 0 по 60 баллов, поскольку они не относятся к высокобалльным результатам.

Распределение выпускников по баллам ЕГЭ по математике в 2012–2013 годах

http://slon.ru/images2/2014/05-23/grr_out/1.jpg
Источник: Официальный информационный портал ЕГЭ

Отсюда путем нехитрых арифметических вычислений легко получить рост числа высокобалльников 2013 года по сравнению с 2012-м. Для числа выпускников, набравших 71+ баллов, имеется как минимум двукратный рост. Если Алексей Макаров считает, что наблюдаемый двукратный рост не является результатом утечек, то тогда очень бы хотелось услышать из его уст объяснение этого феномена. Было бы неплохо услышать также и объяснение феномена структуры роста – чем правее мы берем хвост нормального распределения, тем больший рост мы наблюдаем. Для диапазона 91+ баллов рост составляет 5,2 раза, а для диапазона 81+ баллов – почти трехкратный рост.

http://i62.fastpic.ru/big/2014/0526/74/18f79a2b0e6650b954c5ae5986e7dd74.jpg

Наверное, кто-то может сказать, что в 2013 году на страну вдруг обрушилась эпидемия улучшения качества школьного образования по математике или подготовки к сдаче ЕГЭ. Хорошо, пусть это так, тогда возникает следующий вопрос: а какие школы обеспечили наблюдаемое улучшение?
 
Логично думать, что в первую очередь этот прорыв должен быть заметен на лучших школах страны, ведь именно там сосредоточены наиболее толковые и мотивированные ученики. Для семи российских школ, входящих в перечень 500 лучших школ страны, мне удалось найти первичные данные по результатам ЕГЭ по математике.

http://i63.fastpic.ru/big/2014/0526/48/9c058a9caa2aace06a15ccd6d3c56148.jpg

Средний балл ЕГЭ по математике в этих школах значительно выше среднего по России – в 2013 году он варьируется от 65,7 до 83,7 при среднероссийском 47,8 (просто для понимания высокого уровня этих школ).

Суммарный рост по всем семи школам дает значение в 1,2 раза, т.е. лишь 20% из 100% роста числа выпускников, набравших 70+ баллов, обеспечивается лучшими школами страны. Конечно, данная таблица не является доказательством, поскольку данную выборку нельзя признать статистически значимой. Однако это аргумент в пользу того, что если эпидемия улучшения качества образования имела место, то проявилась она почему-то не в лучших школах, а во множестве средних по качеству школ (не входящих в число ведущих как в своем регионе, так и в масштабе страны). Так произошло ли массовое улучшение работы средних школ? Вряд ли. Тогда хотелось бы понять, за счет каких факторов произошел в 2013 году данный рост.

Иван Ященко приводит также такой аргумент: «По вариантам, попавшим и не попавшим в интернет, очень хорошо видно, на кого эта утечка повлияла. Она почти не повлияла на тех, кто в итоге набрал высокие баллы». Однако распределение, которое он демонстрирует в доказательство, допускает и другие объяснения.
 
Во-первых, не факт, что рабочей группой были замечены все утекшие варианты. Думаю, что действительно почти все продавцы ЕГЭ использовали социальные сети для поиска клиентов, но продавцы поумнее наверняка распространяли реальные варианты КИМов не через социальные сети, а через электронную почту.

Теоретически рабочая группа имела возможность отследить такие утечки посредством включения в американскую программу «Эшелон», но на практике в это абсолютно не верится. Не надо думать, что эта проблема уникальна для Рособрнадзора, именно ту же проблему имеет, например, Министерство внутренних дел, когда задает себе следующий вопрос: насколько статистика раскрытых преступлений по стране адекватно представляет общую структуру преступлений? Это вопрос, ответ на который совсем не очевиден и требует отдельного дорогостоящего изучения.

Во-вторых, в комментариях к статье было здравое рассуждение Арсения Иванова: «Про варианты, которых не было в интернете, автор насмешил. Достаточно было прорешать один вариант, остальные отличались лишь цифрами». Поскольку варианты КИМов появились заранее, то их действительно прорешивали как сами ученики, так и на официальных консультациях в школах, и с репетиторами, и с родителями, и т.д. и т.п. А поскольку число выпускников, набравших 70 и больше баллов, было в 2013 году порядка 91 тысячи – и это, видимо, большей частью из больших и средних городов, – то гипотеза о том, что практически все эти выпускники заранее прорешали реальные задания, не выглядит фантастической.

Заключение

Есть известное изречение: «Статистика не врет, врут статистики». Почему это так? Потому что статистика дает нам только факты, а статистики, интерпретируя факты, превращают их в мнения. Интерпретация не всегда проходит гладко – именно в этом месте действительно легко ошибиться в силу сложности проблемы или по желанию начальства.

Методика

Сдвиг кривой ЕГЭ года 201i относительно кривой ЕГЭ года 201jимеет простой и наглядный геометрический смысл — это сумма площадей непересекающихся частей кривых ЕГЭ года 201i и 201j. Сдвиг не должен зависеть от абсолютного количества выпускников — иначе будет невозможно адекватное сравнение результатов разных лет. Поэтому необходимо переходить к нормированным величинам — нормированным набранным баллам, то есть произведению тестовых баллов на их же плотности распределения. Таким образом, сдвиг кривой ЕГЭ логично считать как модуль разности плотности распределения тестовых баллов двух кривых, умноженный на соответствующий набранный тестовый балл. Естественно, что нужно просуммировать по всем возможным значениям тестовых баллов (от 0 по 100). Таким образом, для сдвига 2011-2012 годов мы получаем следующую формулу:

http://slon.ru/images2/2014/05-23/grr_out/4.jpg

Здесь i — это индекс суммирования по набору значений тестовых баллов ЕГЭ (от 0 до 100); ρ(i) — плотность распределения тестовых баллов ЕГЭ за соответствующий год; под суммой в числителе стоит модуль разности плотностей вероятностей.

Сдвиг 2012-2013 годов считается аналогично.

http://i61.fastpic.ru/big/2014/0526/69/aff3f8909a43769d612c90036f19a069.jpg

Таким образом, если мы обозначим уровень фальсификаций результатов ЕГЭ в 2012 (тот же в 2011) году за x%, тогда уровень фальсификаций в 2013 году достигает значения (x+36 – 8,7)% = (x+27,3)%.

http://slon.ru/economics/tret_ballov_eg … 2925.xhtml

0

2

«Десятки тысяч выпускников просто выигрывали свой результат в "лотерею"»

Екатерина Алябьева

http://slon.ru/images3/6/1000000/632/1097425.jpg
Фото: ИТАР-ТАСС / Алексей Павлишак

Через неделю в России начинается новая волна ЕГЭ. Год назад это закончилось массовыми увольнениями организаторов экзамена, учителей и даже региональных министров – власть вынуждена была признать факт значительных фальсификаций. Но достоверной информации об их масштабе до сих пор никто не давал. Slon восполняет этот пробел.

Проверкой честности ЕГЭ в каждом регионе уже пять лет занимается рабочая группа, действующая по заказу Рособрнадзора. Впервые за все годы проведения экзамена ее руководители – директор МЦНМО Иван Ященко и завкафедрой высшей математики ВШЭ Алексей Макаров – согласились раскрыть результаты своей работы и ответить на самые болезненные вопросы, накопившиеся в обществе и в образовательной среде.

Они рассказали, что злоупотребления в школах завышают результаты 6–8% участников ЕГЭ, а списывание из интернета добавляет к этому еще несколько процентов. За утечками правильных ответов в сеть могут стоять слабые вузы, готовые любой ценой обеспечить стабильный набор. Каждый пятый выпускник российской школы не в состоянии решить арифметическую задачу 5-го класса. И если не реформировать школьное образование прямо сейчас, завтра многим техническим вузам придется принимать троечников. Все данные в материале публикуются впервые.

– Каждый год во время проведения ЕГЭ вскрываются какие-нибудь нарушения, вбросы, утечки. В прошлом году скандал так разгорелся, что в некоторых регионах пришлось пересмотреть результаты высокобалльников. А что показывают ваши данные, каков был масштаб фальсификаций?

Иван Ященко: То, что зачастую обсуждается в прессе – например, задержание руководителя ППЭ [пункта проведения экзамена], в котором помогали выпускникам, или даже руководителя образования региона по подозрению во взятках, – это могут быть отдельные случаи, по которым невозможно судить о картине в целом. А мы изучаем именно массовые явления. При таком количестве участников экзамена – 750 –800 тысяч человек в год – можно использовать статистические методы и выявлять именно то, что заметно повлияло на результаты.

Алексей Макаров: Действительно, в прошлом году, как известно из публикаций, за несколько дней до экзамена произошла утечка половины вариантов ЕГЭ по всем предметам в интернет. Но когда все пытаются говорить, что все там всё списали, этот тезис тут же, моментально проверяется статистически. Наша общая интегральная оценка – утечка заметно повлияла на результаты 6–10% всех участников ЕГЭ. В разных регионах по-разному, хотя списывание, конечно, в определенных размерах было везде. На экзамене по русскому языку эта утечка практически не сказалась. По вариантам заданий по русскому языку, ушедшим в интернет, и по вариантам, которые в интернет не ушли, результаты детей статистически значимо не отличаются. Это связано, скорее всего, просто с тем, что дети не успели прочухаться в массовом порядке, что в интернете лежат, кроме «мусора», и истинные варианты. По математике такой заметный эффект был только в районе 50–65 баллов [из 100 возможных].

Ященко: По вариантам, попавшим и не попавшим в интернет, очень хорошо видно, на кого эта утечка повлияла. Она почти не повлияла на тех, кто в итоге набрал высокие баллы. Ты из-за этого мог чуть-чуть улучшить результат и вместо 80 баллов получить 85. Но ты не мог вместо 40 баллов получить 80. Очень хорошо видно на этом графике, что дети, которые на самом деле получили бы от 30 до 50 баллов, переползли в область 60.

http://i63.fastpic.ru/big/2014/0526/0e/116a9785593ef3742aac0ee6f4aa5f0e.jpg

Макаров: И когда утечка произошла, руководство нам сразу поставило задачу оценить, не будет ли сорван прием в вузы, не придут ли в ведущие вузы страны слабые дети из-за этой утечки. Мы убедительно показали, что в сильной части спектра – выше 70 баллов – никакого заметного влияния нет. Сильному ребенку не важно, был этот вариант в интернете, не был, он и так эту задачу сделает. И, как показала приемная кампания, пороговые баллы в прошлом году оказались примерно такими же, как и в 2011 году, – чуть выше, чем в 2012-м.

– А почему нельзя было списать все и получить вместо 40 баллов – 80?

Макаров: Когда нам говорят, что у нас все списывают ЕГЭ, я всегда спрашиваю: а откуда же тогда по некоторым регионам у нас берутся 15–20% двоечников до пересдач? Может быть, оттого, что эти дети еще не научились писать, и поэтому не могут списать? Мы выяснили, что в ЕГЭ по математике эффект этой утечки заметно сказался только на части В (первая из двух и наиболее простая часть ЕГЭ по математике. – Slon). В части С надо писать полное решение. И даже при том, что решение самой сложной задачи С6 занимает всего несколько строчек, ее выполнили лишь несколько процентов выпускников!

Ященко: А двоечников, вы не поверите, в этом году стало больше. Общая честность в пунктах сдачи ЕГЭ выросла. И если ты идиот, то без разницы – был вариант в интернете, не было варианта в интернете... Даже если у тебя были все варианты, то найти свой в этих 18 вариантах – да проще самому пять задач решить. Этот график показывает, что если человек математику совсем не учил, то он и списать не может.

– Это списывание из интернета, но есть ведь еще фальсификации?

Макаров: У нас есть ошибочная точка зрения, что плохие дети виноваты в том, что они списывают на ЕГЭ. Такие дети несомненно есть. Но в результатах ЕГЭ, особенно в последние годы, стало заинтересовано слишком много других лиц. В результатах ЕГЭ, помимо ребенка, которому может быть совершенно неинтересно продолжение образования, заинтересованы его непосредственные учителя. Потому что от этого зависит их аттестация. Они заинтересованы написать вместо ребенка его работу на экзамене – и поди это проверь в сельской школе. В этом заинтересован директор школы, потому что школа будет оцениваться по результатам того, как сдают ЕГЭ. В этом заинтересовано образовательное руководство региона, и в этом заинтересован лично губернатор. Одно время результаты ЕГЭ по региону были одним из тех показателей, по которому администрация президента оценивала работу губернатора. (На прошлой неделе глава Рособрнадзора Сергей Кравцов заявил, что в 2014 году губернаторы уже не будут оцениваться по результатам ЕГЭ. – Slon.)

– По вашим наблюдениям, это влияло на результаты?

Макаров: Да. Мое частное мнение, что отчасти безобразия последних лет связаны с тем, что на этом поле появилась еще одна очень сильно мотивированная и заинтересованная группа лиц. Это руководство слабых вузов страны. Два года назад, с приходом министра образования Дмитрия Ливанова, показатели ЕГЭ вошли в оценку эффективности работы вуза. Мониторингом результатов приемной кампании в вузы занимается Институт развития образования ВШЭ, который подводит средние баллы ЕГЭ по всем вузам и специальностям.
 
Министерство образования стало выявлять неэффективные вузы, и был поставлен вопрос о том, что лица с низкими показателями ЕГЭ не должны обучаться за государственный счет в вузе. Никто не против, чтобы они продолжали образование, но пусть они продолжат это на коммерческой основе – если они в школе не сочли возможным, необходимым получить должное образование, то почему же государство должно продолжать тратить на их образование деньги? И понятно, что ректорское сообщество, особенно в слабых вузах, оказалось чрезвычайно заинтересовано в том, чтобы дети пришли в вуз – не важно, с какими знаниями, главное, что у них высокие баллы.

Еще одной заинтересованной группой лиц тут являются репетиторы и те, кто просто стремится нажиться на продаже вариантов ЕГЭ.

Все эти обстоятельства – это моя личная точка зрения – могли повлиять на массовые утечки в интернет в 2013 году. Потому что сами по себе утечки вариантов ЕГЭ в интернет требовали высокой профессиональной работы. И это не какая-то частная инициатива отдельного школьника, который что-то там взломал и выложил. А ведь мало выложить – еще надо широко распространить по социальным сетям.

В итоге, например, по математике от 6% до 10% детей смогли получить некоторый дополнительный бонус в районе 50–65 баллов. Грубо говоря, как раз в том интервале баллов, который интересен для многих слабых вузов страны со слабым набором. Раньше они набирали детей с 45–50 баллами по предмету, теперь у этих детей стал балл 60–65.

– Но на детей это не повлияет, это те же дети.

– Они взяли бы тех же детей, только место вуза в рейтинге Министерства образования изменится. Теперь такой вуз может отчитаться: смотрите, а мы в этом году набрали намного более сильных детей. Это звучит тем более убедительно, когда в открытом доступе нет информации о том, какое количество детей получили завышенные баллы и насколько силен эффект утечки.

–И ее действительно нет.

– Эта информация есть у всех заинтересованных лиц в руководящих органах образования. В прошлом году по результатам нашего анализа во многие регионы страны начиная с декабря выезжали специальные комиссии Рособрнадзора и силовых структур, которые популярно объясняли руководству региона, что все их художества прекрасно видны и известны и что эти художества не должны повториться в настоящем году. Все строго предупреждены, что если не было каких-то суровых кадровых решений в прошлом году, то это не значит, что их не будет в этом. И общее настроение руководства – доказать, что ЕГЭ можно проводить честно и ответственно, с минимальным количеством злоупотреблений, нарушений.

– Какова доля фальсифицированных результатов, если не брать влияние утечки 2013 года? Меняется ли она год от года?

Макаров: Если не брать последний год, где мы имели эффект массовой утечки в интернет, то общая картина год из года улучшалась – прогресс был налицо, и мы готовы говорить об этом ответственно. В среднем, по очень грубой оценке, в 2013 году фальсификация касалась всего 6–8% всех результатов ЕГЭ.

– Как вы оцениваете, сколько фальсификаций в каждом регионе?

Ященко: Невозможно придумать какую-то одну интегральную характеристику, что в одном регионе честнее, а в другом больше мухлюют. Есть мухлеж на двоечниках, есть мухлеж на высокобалльниках, их типов довольно много.

– Сколько?

Ященко: Десятки. На честность ЕГЭ бывает несколько видов атак. Бывает, что административно на уровне предметной комиссии сказано: всем, кто хоть что-то написал, ставьте один балл. А бывает, что предметная комиссия просто плохо обучена. По результатам в том числе нашего анализа в этом году принято решение, что все председатели региональных комиссий обучались в Федеральном институте педагогических измерений и утверждались Рособрнадзором. Абсолютно все эксперты должны пройти обучение и сдать электронный экзамен – им дают работы за прошлые годы, и они должны их правильно, одинаково оценить.

Бывают пункты проведения экзамена – там тоже несколько видов атак. Например, в далеком сельском пункте человек платит небольшие деньги, и ему говорят: делай что хочешь, пользуйся чем хочешь. Второй вид – в пункте проведения стоит человек, который всем рассказывает, как решать задачи. И это видно статистически! Видно, какой вид нарушения был.

Мы вам покажем баллы двух соседних регионов с одинаковой социально-экономической ситуацией. У них близкие средние баллы. Но видите, какая разница в распределениях? Тут видно, что в одном регионе этот средний балл достигается в основном за счет фальсификаций по частям А и В, а в другом за счет части С, там люди с нулем по А и В якобы пишут прекрасно часть С.

Распределение выпускников по баллам ЕГЭ по биологии в 2013 году в двух регионах*

http://slon.ru/images2/2014/05-15/grafff_out/4.jpg
* По обеим шкалам приведены первичные баллы, которые затем пересчитываются по 100-балльной шкале. Площадь кружка отражает количество детей. Красный цвет означает, что их больше, чем в среднем по России; синий – что столько же, как в среднем по России; зеленый – что меньше.

Источник: МЦНМО

Макаров: Как делается фальсификация в регионе 1? Ребенок получил задания, что-то там попытался поставить в части А и В, а в части С не делал ничего. Но ему просто во время проверки добавляют в часть С парочку баллов [это заметно по крупным красным кружкам в центральной части графика]. За что? А за то, что у него условия задачи переписаны.

На графике 2 мы видим, что здесь многие написали части А и В без ошибок, то есть это замечательно подготовленные дети, – но почему-то все они ничего не написали в части С [правая нижняя часть графика]. Знаете, что за этим стоит? Например, сельская школа, где без всякого контроля за детей работу выполняют учителя. В части А и В они все успевают вписать за нескольких учеников, но в части С, во-первых, учитель в сельской школе сам не всегда может решить эту задачку, а во-вторых, ему это особо и не нужно – он уже отчитался высокими показателями своей работы. Это все ловится на раз! Вот на таких картиночках. Мы же все это можем поднять – на каком пункте сдачи экзамена это было, какой класс сдавал. Два года назад в Ульяновске были просто пойманы учителя, которые собрались и решали за школьников задания по ЕГЭ.

Не раз у нас оказывалось, что сельские школьники Чувашии, Мордовии показывали более высокие результаты, чем в приличных школах Москвы. Москва за все эти годы никогда не попадала в кластер регионов с самыми высокими показателями – ни Москва, ни Санкт-Петербург.

Ященко: А вот задача С5 по математике. Это одна из самых сложных задач, задача с параметрами. Максимальная оценка за нее – 4 балла. Обычно, по стране и в большинстве регионов, люди за нее получают либо 1 балл, либо уж все 4. А два и три балла – это довольно экзотические ошибки, их люди делают довольно редко. Но имеются регионы, где все наоборот – как будто все дети вдруг заболели и часть неравенства решили, а часть забыли. Один из этих регионов – на этом графике. Это значит, что там была дана административная команда ставить 2 балла всем на свете. Министра образования, кстати, там сняли.

Распределение выпускников по баллам задачи С5 ЕГЭ по математике в 2013 году

http://slon.ru/images2/2014/05-15/grafff_out/3.jpg
Источник: МЦНМО

– Насколько масштаб фальсификаций различается в разных регионах?

Макаров: Примерно в 50 регионах страны из 83 мы в эти пять лет наблюдали единообразную картину без всяких вызывающих цифр в зоне высокобалльников. Примерно в 10–15 регионах мы наблюдали показатели ЕГЭ заметно ниже – больше неудовлетворительных оценок, ниже средний балл, меньше сильных работ, чем в среднем по стране. Многие из этих регионов это Дальний Восток и Сибирь.

Вот графики по регионам 2013 года. По стране в целом, по каждому региону и по каждому предмету мы сравниваем все распределение баллов. Что это такое? По каждому набранному баллу есть количество людей, которые этот балл получили. Тем самым мы имеем некоторую кривую, характеризующую каждый регион – мы сгруппировали их в 7 кластеров. Горизонтальная ось – это стобалльная шкала. Жирная линия на графике – это распределение федеральное. 

Распределение выпускников по баллам ЕГЭ по математике в 2013 году по разным типам регионов

http://slon.ru/images2/2014/05-15/grafff_out/2.jpg
Источник: МЦНМО

Некоторый пик на 60 баллах – это эффект списывания, он заметен и на общефедеральном уровне. Номер 1 – смотрите, как много двоек, как много низких баллов – половина людей. А 7-й кластер – это кластер, явно фальсифицирующий результаты. Смотрите – резко возрастает количество детей с высокими баллами. В этот кластер в 2013 году попали всего два региона. Но называть их мы не будем. Кстати, не надо ни в коем случае думать, что в кластер завышенных оценок в разные годы попадают исключительно регионы Южного федерального округа. Хотя Москва никогда не попадала в кластеры по фальсификациям.

– Глава Чечни всегда особо подчеркивал, что у них низкие, но честные результаты, это так?

Макаров: Долгое время, особенно первые годы, Чечня была самым честным регионом. Наш анализ показывает очень высокую эффективность работы местного руководства проведения ЕГЭ. (Осенью 2013 года министр образования Чечни Анзор Музаев назначен заместителем главы Рособрнадзора. – Slon.)

– А откуда взялся миф о кавказцах, которые ехали в Москву?

Макаров: Ну, кроме Чечни-то, у нас есть, извините меня, Карачаево-Черкесия, которая славилась фальсификациями, Ингушетия, Дагестан. Но у всех по-разному, не надо валить всех в одну кучу. В тех случаях, когда в регионе в принципе мало детей, эти завышения кажутся большими, но на самом деле они касаются очень немногих.

Вы знаете, в 2009–2010 годах многие дети из Южного федерального округа с абсолютно палеными, фальсифицированными баллами ЕГЭ ехали в Москву в МГУ. Сейчас они это делать перестали.

– Почему?

Макаров: А в чем смысл этого действия? После первой сессии, через полгода обучения, становится абсолютно ясно, что этот ребенок совершенно не пригоден к обучению, он понимает это сам.

Ященко: Кстати, на это очень сильно влияет еще и политика вуза. Если вуз известен тем, что там честные экзамены в сессию, что там не тянут двоечников, то туда и не едут с завышенными баллами ЕГЭ. А вот если про вуз известно, что там не отчисляют тех, кто фактически не учится, то есть туда достаточно «пролезть», а дальше диплом в кармане – вот в такие и едут «нечестные» абитуриенты.

– Можно ли сказать, что если я сдаю ЕГЭ в Москве, то у меня такие же шансы получить высокий балл, как если бы я сдавала в Хабаровском крае, например?

Макаров: Про Хабаровский край не скажу, но подавляющее большинство регионов имеют одинаковые распределения – что по математике, что по русскому языку. В этих регионах – да, мы можем говорить о том, что не важно, в Москве ты или в Новосибирской, Калининградской области – шансы получить высокие баллы в любом из этих регионов одинаковы. Десять регионов заметно слабее, и там может быть все еще хуже, чем мы видим.

– В целом какую динамику за эти пять лет вы наблюдаете по средним результатам ЕГЭ по регионам?

Макаров: В образовательном сообществе есть категорическое непонимание того, что можно анализировать и что можно сравнивать. Это, в частности, прозвучало в вашем вопросе. Среднее значение балла ЕГЭ по регионам, – а именно этот показатель часто фигурирует в статистике Рособрнадзора и Министерства образования как публичный показатель, – мало что показывает. В нем есть несколько важных изъянов.
 
По итогам 2009–2010 годов некоторые регионы сообразили, что руководство Минобрнауки, Рособрнадзор выскажут им серьезные претензии о том, что у них слишком высокие средние баллы. И они легко сообразили, что всех детей можно поделить на две группы: сильно и слабо заинтересованные в результатах ЕГЭ. Детям из первой группы в «нечестных» регионах тем или иным образом завышаются баллы ЕГЭ, детям второй группы, наоборот, занижаются баллы – их работы в части С могут проверяться более придирчиво. В итоге регион получает средний балл, который ничем не отличается от среднего по стране или среднего других регионов…
 
– И от настоящего среднего.
 
Макаров: Да. И это ни в коей мере не означает, что в этом регионе нет фальсификаций данных. Более того, как только регионы сообразили, что все стобалльные работы проходят дополнительную независимую перепроверку, они тут же стали ставить 98, 96 баллов, 92 балла, чтобы не попадать в эту зону. Поэтому сейчас, когда встает вопрос о перепроверке, мы смотрим весь спектр высокобалльных работ, а не только стобалльные. 

http://i62.fastpic.ru/big/2014/0526/46/06ccba0617e2445075418bfd8ef60246.jpg

Макаров: Но есть и более весомый аргумент, говорящий, что сравнение любых средних или других показателей между регионами надо производить крайне осторожно. Все эти годы – это достаточно устойчивый показатель – обязательные экзамены ЕГЭ в школах сдает только около 50% детей из соответствующей возрастной когорты. Что происходит с остальной половиной? Они после 9-го класса, а может быть, и раньше уходят в колледжи, ПТУ или вообще на рынок труда. Они имеют право сдавать ЕГЭ, но не обязаны, и сдают его крайне редко. И вот как только мы переходим к сравнению результатов двух регионов, то выясняется две важные детали. Доля сдающих ЕГЭ сильно варьируется по регионам. Если регионы, где эта доля опускается ниже 40%, а есть, где она составляет 80% и более.

Вместо регионов представим себе две школы, результаты которых мы хотим сравнить. В одной школе мы оставили в 10-й класс только отличников, остальным сказали, что ваше место в ПТУ, или они сами решили прекратить образование. А в другой школе оставили в 10-й класс абсолютно всех по тем соображениям, что детям просто некуда идти продолжать образование. Это могут быть сельские регионы, где в селах нет никаких ПТУ, это могут быть регионы Дальнего Востока, где у нас вообще не так много ПТУ. При одинаково хорошей организации учебного процесса средний балл в этих школах, естественно, будет сильно отличаться, потому что мы искусственно убрали всех слабых детей из одной школы, а в другую, наоборот, добавили. Поэтому сравнение средних баллов или числа двоечников в регионах надо делать очень осторожно. Погоня за средним баллом стимулирует к принятию неправильных решений – как на уровне школы, так и на уровне региона.

Кроме того, надо иметь в виду, что эта доля когорты сильно расслаивается и по гендерному признаку. У нас в когорте примерно одинаковое количество юношей и девушек в этом возрасте, но ЕГЭ среди юношей в среднем сдают 45%, а среди девушек 55% по стране. По регионам эти проценты тоже сильно варьируются – тут сказываются и этнические особенности регионов, где-то могут говорить, что девушке не место в вузе.

– Пол ребенка влияет на его результаты?

Макаров: Мы обнаруживаем, что среди высоких баллов по ЕГЭ по математике, конечно, гораздо больше юношей, чем девушек. И наоборот, слабых девушек с низкими результатами гораздо больше, чем юношей. А если брать отрезок в районе 50–70 баллов, то тут различия между успешностью математики юношей и девушек достаточно слабые.   

Вообще когда приводятся ключевые показатели нашей социально-экономической жизни в виде средних значений, то это порождает порой колоссальное заблуждение и социальную напряженность в стране. Когда мы сообщаем гражданам всех остальных регионов страны, что средняя заработная плата в Москве 54 тысячи рублей – все остальные думают, что москвичи зажрались. Во всем мире доходы населения измеряются медианой. А медиана дохода в Москве – около 35 тысяч рублей. Это значит, половина москвичей получают меньше 35 тысяч! В Москве очень высокое расслоение доходов! И это совсем другая картина.   

Ященко: У Министерства образования для оценки образования в регионах используется еще один показатель, абсолютно вредный – еще худший, чем среднее. Он называется децильный коэффициент. Он говорит о том, что надо брать средний балл 10% лучших по ЕГЭ школ в регионе и 10% худших и делить одно на другое, а то, что получится, называть доступностью образования (чем ниже коэффициент, тем меньше разница между баллами самых слабых и самых сильных. – Slon). Из-за чего он страшно вреден? Он стимулирует не развивать таланты детей. Регион, который этим занимается, например создает губернаторские интернаты, – он себе этот коэффициент ухудшает. Поднять результаты низших 10% тяжелее, чем опустить результаты высших.   

Многим детям и не нужен высокий балл по ЕГЭ, он говорит: мне 50 хватит, я пойду работать трактористом, что в общем очень неплохо. Нам не нужно ставить целью, чтобы все получали 90 баллов, – это и детям не надо. Образование должно выполнять потребности людей, и если кто-то хочет работать на заводе или пахать землю, ему не нужны столь высокие баллы.   

– А как понять, скольким нужны, а скольким нет?   

Ященко: Это зависит от потребностей страны и региона. Где-то у нас больше химических производств – там дети больше выбирают ЕГЭ по химии, где-то чего-то другого. И школа, которая обучила всех на 50 баллов, и они все остались и успешны в родном селе, заслуживает не меньшего поощрения, чем та, которая подготовила стобалльников из «отобранных» детей. Но это не значит, что всех нужно усреднить. В этом году несколько десятков ребят из сельских школ победили в общероссийских олимпиадах – это лучший показатель того, что шанс есть у всех, что социальный лифт работает.   

– Как изменился за эти пять лет уровень людей, сдающих ЕГЭ?   

Макаров: Если говорить в бессмысленных терминах средних значений, по русскому языку год от года средний балл возрастает на два балла – в прошлом году он достиг 65.   

– Но вам не кажется, что дети реально умнеют?   

Макаров: Эти баллы не имеют никакого отношения к вопросу, умнеют ли дети. Это популярный стереотип. Понятно, что по сравнению с первыми годами, 2009–2010, когда учительское сообщество было весьма скептически настроено к ЕГЭ и думало: ну вот сейчас все отменят, – а с другой стороны, само еще не понимало, как именно готовить детей к сдаче экзамена ЕГЭ, первые результаты были более низкие. Понятно, что со временем учителя приспособились, поработали с обширной методической литературой. Показатели могли расти по этой причине.   

У меня в целом впечатление, что количество «умных» детей вообще величина постоянная в любой стране и не зависит от усилий школы. У нас есть сильные дети – это связано и с семьей, и с традицией, конечно, есть и сильные школы, которые помогают этим детям развиться. Но если мы отправим в сильные школы слабых детей, или – как это было в некоторых регионах – объявим половину школ региона лицеями и гимназиями, оставив в них тех же самых учителей и методики преподавания, ясно, что детям это не поможет.   

– Декан экономического факультета МГУ Александр Аузан жаловался, что абитуриенты, которые приходят к ним даже с достаточно высоким баллом ЕГЭ по математике, не могут решить простейшую задачу их экзамена. 

Макаров: А вы знаете, сколько детей у нас в стране, у кого достаточно высокая оценка по математике?   

– Мало?   

Макаров: Могу вам сказать – 90 баллов и более у нас набирают всего 5–6 тысяч человек в стране. 5–6 тысяч! Как вы думаете, если сдают 800 тысяч, а высокая оценка у пяти тысяч, – много это?   

– Складывается удручающая картина. 

Макаров: ЕГЭ наконец-то показало нам, что вообще творится в нашем школьном образовании. Пусть там до 10% фальсификаций. Но мы видим, что многие дети не справляются с программой 9-го класса, они даже не решают задачи 6–8-го класса. Может быть, таких детей нужно доучивать – и по русскому языку, и по математике. Например, классическая простая бытовая задача из части В: йогурт стоит 4 рубля 60 копеек, сколько йогуртов можно купить на 25 рублей? Формально по уровню навыков это задача 4–5-го класса максимум. Подобную задачу не решают больше 20% выпускников.   

Ященко: В математике мы видим, что в 2–2,5 раза больше ошибок дети допускают в простейшей задаче В1, чем при решении логарифмических уравнений. Это показывает простую вещь – что огромный процент детей в 10–11-х классах изучают математику и другие предметы абсолютно формально. То есть у нас образование в существенной части занимается имитацией. Вместо того чтобы давать понимание, людей формально натаскивают на то, на что проще натаскать. Огромное количество уроков проходят для школьников впустую.   

Если, как показывает наш анализ, дети не знают чего-то базового, программы 9-го класса, а их учат дальше, – это значит, что бессмысленно тратятся государственные деньги, бессмысленно тратится время ребенка, абсолютно бесценное. И средний балл тут ничего не покажет. Потому что мы видим, что человек действительно решил несколько задач, но эти задачи он решил абсолютно формально, и его образование было бессмысленным.   

Наш анализ использовался при создании новой концепции математического образования, в которую как раз то, что я говорю, заложено. То есть с математикой дело уже сдвинулось.

– Есть такое популярное мнение, его часто высказывают представители вузов, что наберем слабых детей из-за этого ЕГЭ. У меня возникает вопрос: а кто бы иначе к ним пришел, какие-то сильные дети? Это правда, что сильные дети из-за ЕГЭ не могут вытеснить слабых?   

Макаров: Вполне уместно ставить вопрос, влияет ли ЕГЭ на качество школьного образования российских детей, которые приходят в вузы. Многие вузы, в том числе технические, жалуются на то, что к ним приходят все более слабые дети.   

– И это правда?  

Макаров: Это правда. Почему это происходит? Сюжет номер один – правила приема в вузы по сумме трех экзаменов.   

– То есть иметь высокий балл по непрофильным предметам и за счет него пройти с тройкой по профильному? 

Макаров: Да. В любой технический вуз обязательно требуется математика и русский, а дальше к ним прибавляется физика, либо химия, либо информатика. Давайте разобьем детей с одинаковой сумой баллов на три категории – у первых математика заметно лучше, чем русский язык. Вторая категория – у которых примерно одинаково. И третья – у кого русский язык заметно выше, чем математика. Так вот, в первую категорию попадают только 5–7% детей, во вторую – примерно 15–30%, а 55–80% детей попадают в третью. Если человек с 96 баллами по русскому языку и с 50 баллами по математике принес документы в технический вуз…   

– Его не могут не взять, даже если есть человек с более высоким баллом по математике?   

Макаров: Да! Мы специально просили специалистов дать такую оценку – они считают, что 65 баллов по русскому языку более чем достаточно для продолжения образования по любой специализации, если речь не идет о журналистике, филологии, структурной лингвистике.   

Ященко: При этом получить высокий балл по русскому языку намного легче, чем по математике. В русском языке много тестовых задач. И даже если ты отвечаешь наугад, ты наполучаешь там баллов 20–30. А по математике, если ты не решил ни одной задачи, ты получаешь ноль. Ребенку намного проще поднять свой балл по русскому языку, с помощью репетиторов и так далее. А при приеме в вузы «стоит» этот балл столько же, сколько балл по математике. То есть ребенку выгоднее вкладываться в русский.

Макаров: Мы эти результаты впервые получили три года назад, и тогда мы предлагали поменять правила приема в вузы. Самое простое правило: вы принимаете по одному или двум профильным предметам, при этом проходной барьер по русскому языку – это, например, 50 или 65 баллов.   

– То есть русский заменить на зачет.   

Макаров: Да. Зачет/не зачет.   

– Но а раньше-то что было – был разный вес у разных предметов?   

Макаров: Никакого разного веса не было. Неким фильтром были экзамены. В старой системе приема абитуриенты сдавали два-три-четыре экзамена. Но вступительные экзамены – это богатое поле для коррупции, в том числе для преподавателей, которые занимались репетиторством. Это резко сужало возможности детей и родителей из других городов или тех, у кого нет выходов на нужные университеты. И я напоминаю, что никто не мешает сейчас вузам вводить дополнительные экзамены, и эту возможность используют некоторые московские вузы.   

– Я не понимаю, почему они говорят именно об ухудшении качества абитуриентов.   

Макаров: Миф об ухудшении. Мы забыли, что в советское время высшее образование у нас в среднем получало всего лишь около 30% соответствующей когорты. Мы сейчас перешли на высшее образование практически для всех – в той или иной форме. Более того, когда мы порой смотрим, сколько вузов Москвы – сильных замечательных технических вузов Москвы – требуют ЕГЭ по физике и сколько москвичей сдают физику в качестве третьего экзамена, мы просто говорим: вам некого принимать! То есть, чтобы заполнить выделенные бюджетные места, вузы готовы на эти места всеми правдами и неправдами принимать кого угодно. Иначе вуз теряет эти бюджетные места, и вуз теряет финансирование, и вузу надо сокращать преподавателей.   

Я напомню, что это особенно стало остро буквально последний год, потому что мы наконец вползли в демографическую яму, которая у нас будет еще 4–5 лет. Что означает, что просто физически число детей, которые могут прийти в вузы, сократится на сотни тысяч человек. Представьте себе: 100 вузов просто не наберут никого на первый курс. Реальность такова, что число бюджетных мест объективно должно сокращаться, число преподавателей в вузах объективно должно сокращаться. Если этого не происходит, то брать надо кого угодно, и чего же тогда жаловаться, что эти люди не очень пригодны для дальнейшего обучения?   

– Вы говорите, что многие вузы не заинтересованы в честном ЕГЭ, так а правительство-то заинтересовано, чтобы все это расчистить.   

Макаров: Конечно, вот и идут нападки на Ливанова со всех сторон, хотя за проведение ЕГЭ отвечает Рособрнадзор.   

– Какие изменения ждут ЕГЭ в 2015 году?   

Макаров: В ближайшее время, насколько мне известно, Министерство образования и Рособрназдор, выполняя поручение президента, сформулируют свои предложения в этой области: банки задач ЕГЭ должны стать доступными для всех; возможно, надо предусмотреть возможность сдавать ЕГЭ не раз в году, а несколько раз в году – то есть пересдавать. И также есть идея, чтобы экзамен стал многоуровневым – не заставлять всех выпускников школ страны, которым это не нужно, терзать задачи по математике, которые нужны поступающим на мехмат МГУ. Предварительные финансовые расчеты показывают, что проведение двухуровневого экзамена даже выгоднее по деньгам. Часть предложений министерство уже объявило – например, насколько я знаю, скоро не будет больше тестовой части ни в одном экзамене. В математике ее нет с 2010 года – по результатам нашего анализа 2009 года поменяли формат этого экзамена.   

Ященко: Эти нововведения уже встречают некоторый идейный отпор. Недавно вышло интервью Виктора Болотова – бывшего руководителя Рособрнадзора, где он критикует министра Ливанова, мол, зря убрали тестовую часть. Но он сам путает причины со следствием. Он аргументирует необходимость тестов тем, что большая часть населения не в состоянии просчитать эффект от заполнения клеточек случайным образом. Но простой подсчет, доступный нынешнему школьнику, показывает, что в 2009 году, – когда в математике было 10 задач с выбором ответа из 4 вариантов, а «порог двойки» был 4 задачи, – вероятность «угадать», вообще ничего не зная, была выше 20%. А если умеешь решать хотя бы одну или две задачи, она вообще будет больше половины! То есть десятки тысяч выпускников тогда просто выигрывали свой результат в «лотерею».   

Но не все наши рекомендации уже услышаны. Уже много лет мы говорим, что оценка школьного учителя не должна быть непосредственно связана с результатами ЕГЭ.

http://slon.ru/economics/desyatki_tysya … 7425.xhtml

0