Галина Ковалева: «Управленческие решения, основанные на интерпретации данных, следует принимать очень осторожно»
В конце мая в Российской академии образования прошел семинар «Методологические основы оценки качества образования». Об особенностях международных сравнительных исследований качества общего образования (TIMSS, PIRLS, PISA) рассказала Галина Ковалева, руководитель отдела оценки качества общего и среднего образования ИСИМО РАО.
Чем обеспечено качество
международных исследований?
В основе международных исследований лежат модели, которые начали разрабатываться еще 40 лет назад. Модель системы образования IEA, по которой сопоставляется планируемый уровень образования (система), реализуемый (школа, класс) и достигнутый (ученик). Так называемая «кибернетическая» Модель системы образования, которая анализирует качество обучения вне связи с системой образования: «материальное обеспечение – профессиональная подготовка учителей – характеристика ученика». Модель образовательных возможностей TIMSS позволяет проводить исследования, отвечающие на ключевые вопросы образования: чему могут научиться школьники, кто осуществляет обучение, как организовано обучение, чему научились школьники? Обследуются все факторы: система образования, школа, класс, ученик. Модель PISA исследует навыки, необходимые для жизни.
Большое внимание уделяется планированию: каждый этап скрупулезно рассматривается специальными комитетами экспертов, и только после голосования по каждому начинается исследование. Наиболее существенными являются моменты, связанные с содержанием теста и методами формирования выборки, ведь изменяя именно эти параметры, можно легко замаскировать изменения образовательных результатов.
Строго соблюдаются критерии исследования: полнота охвата в сочетании с относительной простотой инструментария; необходимость и достаточность системы показателей; оперативность сбора и обработки информации; универсальность и надежность интерпретации значения показателей. Таким образом, международные исследования обеспечены высоким научным и техническим качеством.
Одна из общих целей разных международных исследований – выявление факторов, позволяющих объяснить различия в результатах. Всего в сравнительных исследованиях участвуют более 60 стран мира, и есть данные международного симпозиума о том, что кросс-национальные исследования вызывают больше доверия к результатам, чем национальные.
Все исследования находятся под строгим контролем международных экспертов – не только потому, что каждая страна-участница платит взнос, но и потому, что для половины стран мира анализ результатов является основанием для проведения образовательных реформ.
Например, в США на основании анализа результатов TIMSS, начиная с 1995 года, в 2009 году впервые введен образовательный стандарт, соответственно появились программы. Разработаны системы оценивания достижений учеников и переподготовки учителей. Принято решение о поддержке школ, показавших низкий результат. И – что для нас тоже архиважно – в стране реформируется система сбора информации с целью принятия решений в области образования.
Продвинутые, высокие,
средние и ниже среднего
В этих категориях описывается подготовка учащихся, но не ради этого проводятся международные исследования. Описывается все: структура, содержание, условия образования; продолжительность жизни в стране, ВВП, уровень благосостояния. Показатели многоаспектные: по группам, по тенденциям, по отдельным заданиям. В министерстве нас спрашивают: «На каком месте Россия?» Некорректный вопрос. Мы можем сказать, в какой группе показателей наши результаты сравнимо ниже или сравнимо выше других.
Например, сравнивая результаты России с другими странами, мы выявили такой факт: наши самые лучшие школьники превышают процент лучших из других стран (разница большая, до 20 баллов). То же касается худших, они много хуже. Например, по естествознанию мы занимаем 33–38 место, но 6% из самых лучших – это российские школьники.
А сравнивая результаты по математике одних и тех же детей, участников международных исследований 2003 и 2007 годов, мы обнаружили: будучи четвероклассниками, они превосходили международную шкалу на 32 балла, а став восьмиклассниками, продемонстрировали снижение результатов относительно международной шкалы.
В США, кстати, такая же ситуация, однако сравнение некорректно, потому что наши дети оказались слабы в работе с данными, с пространственными представлениями и доказательствами, в то время как теоретическую подготовку показали высокую. И по этим параметрам мы ближе к «востоку», чем к «западу».
Таким образом, управленческие решения, основанные на интерпретации данных, следует принимать очень осторожно. А без углубленного анализа и вовсе не принимать.
Однако есть и другая крайность: игнорирование результатов международных исследований. Среди работников образования бытует такое мнение: мало ли чему учат в других странах, мы не должны копировать чужой опыт. Очень долго у нас критиковали TIMSS, мол, не то у них изучают, не то спрашивают.
На самом деле мало кто представляет процесс создания заданий. Каждое из предложенных страной-участницей проходит экспертизу во всех других странах, и эксперты отмечают, в программе оно или нет. Например, 64% заданий по естествознанию входят в нашу школьную программу, в то же время подсчитано: если бы задания были только по программе, наши дети показали бы результат 56%, а реально – 51%, то есть ненамного выше, и дело не в программе, а в том, умеют ли дети думать.
Не случайно организаторы из некоторых стран просят: не нужно повторять в заданиях наши программы, нам интереснее посмотреть, как осваивают предмет в других странах, понять их опыт. То есть они видят и находят в исследовании лабораторию инновационного опыта. Но чтобы реализовать эту установку, необходимо тщательно изучить дизайн исследования, понять, какие факторы влияют на результат, какие могут повлиять. А уже потом принимать решения…
Записала Варвара ЧКАНИКОВА