• 04.10.2021 18:10:00

Специалисты Института Пушкина разработали методику оценки цифровых учебников

Среди учебных материалов, которые используются в школе, в кружках и на специализированных курсах, становится все больше цифрового контента. Более того, согласно Паспорту стратегии «Цифровая трансформация образования» Минпросвещения, к 2024 году 33% уроков должны проводиться с использованием цифрового образовательного контента. А к 2030 году все школьники должны иметь бесплатный доступ к такому контенту и сервисам для самостоятельной подготовки к урокам.

Насколько соответствуют нынешние цифровые учебники современным требованиям к образовательным материалам? Экспертизу на примере Яндекс.Учебника. провели специалисты Государственного института русского языка им. А.С. Пушкина.

 

Лингвистическая оценка Яндекс.Учебника

«Как прошли уроки? Было интересно? Ты все понял?» - спрашивают взрослые у школьников, встречая их после занятий. Занимательность и понятность — этими двумя общепринятыми критериями измеряется «хорошая учеба». И от хорошего учебника ждут того же — того, что он будет говорить с учениками на доступном им языке и на интересные для них темы.  

В начале каждого учебного года родители школьников открывают свежекупленные (или свежевыданные в библиотеке) учебники и… загораются от возмущения. И даже пишут саркастичные посты о том, как в учебниках «колхозы отправляют на элеватор пшеницу», а «старые воробьи и воробьихи поведут воробьят на гумно». Эти посты всегда собирают противоречивые комментарии и вызывают бурю эмоций. Именно поэтому очень важно при оценке учебника или учебного ресурса опираться на формальные объективные параметры.

Можно ли объективно оценить, насколько интересен и понятен детям учебник или учебный ресурс? Такую попытку предприняли исследователи из Института Пушкина под руководством ведущего научного сотрудника Марии Лебедевой. На основе формальных параметров текста была разработана методика лингвистической оценки учебников/учебных ресурсов. 

Методика опирается на корпусные методы анализа — это значит, что все тексты, которые входят в состав учебника или учебного ресурса, рассматриваются как большой «мешок слов» (bag-of-words). В этом «мешке» лингвисты обнаруживают объективные закономерности: например, какие слова в этих текстах встречаются неожиданно часто или, наоборот, редко, насколько сложны тексты учебника и пр. 

Методика также оценивает специфические требования, которые предъявляются к учебным ресурсам по русскому языку: тексты в них должны отражать современный русский язык во всем многообразии его жанров, стилей и ситуаций употребления, расширять словарный запас учащихся, подходить по уровню сложности. В идеале такие тексты должны развивать метапредметные навыки, интерес к учебе, изучению собственной страны и мира – и эти качества текста также могут быть, по мнению лингвистов, описаны объективно. 

Методика уже была применена для оценки школьных учебников по русскому языку для младшей школы (Лексический состав текстов учебников русского языка для младшей школы: корпусное исследование, Лексический состав учебников по русскому языку для носителей и инофонов: сопоставительный корпусный анализ, Corpus-Based Evaluation of Textbook Content: A Case of Russian Language Primary School Textbooks for Migrants). Но авторы полагают, что она может быть особенно полезна разработчикам цифровых образовательных ресурсов: такие ресурсы быстрее и проще менять, адаптировать и развивать. 

Специалисты из Института Пушкина проанализировали тексты из карточек Яндекс.Учебника для младшей школы и сравнили их с текстами школьных учебников по русскому языку. В анализ вошли только те карточки, которые содержат задания на основе текста, поскольку в ходе исследования оценивались параметры учебных текстов (сложность, разнообразие). Таким образом, всего в анализе приняли участие 1556 карточек по русскому языку из общего числа 24000 карточек. Приводим результаты этого исследования.

О доступности для школьников: анализ сложности текстов

Одним из ключевых требований к текстам учебника является их языковая доступность для данного возраста. Для того, чтобы рассчитать уровень сложности текстов, мы использовали специальную методику их оценки с двух позиций, разработанную специалистом по компьютерной лингвистике Антониной Лапошиной: структурной сложности (длинные предложения, сложные синтаксические конструкции) и лексической сложности (её мы рассчитываем как количество слов текста, не попавших в 5 000 самых частотных слов по произведениям детской литературы.) Для наглядности работы меры мы добавили в конец графика расчеты по текстам из учебников русского языка для 7 и 11 класса.

В целом видно, что все выбранные учебники соответствуют по уровню сложности показателям начальной школы. Материалы Яндекс.Учебника (далее — ЯУ) также соответствуют по сложности заявленной возрастной категории учащихся.

1.png


Некоторые тексты в материалах ЯУ выходят за пределы рекомендуемой для младших школьников сложности. Нам встретилось 4 такие карточки на весь объем текстов Яндекс.Учебника.

Пример задания со сложными формулировками:

2.png


Из примера видно, что сложность текста обусловлена особенностью учебной задачи: ученик знакомится со словарными статьями. Мы рекомендуем снабжать такие задания пометкой о повышенной трудности. В Яндекс.Учебнике эта карточка из раздела “Кружок”, где собраны нестандартные и сложные задания.

Пополняем словарный запас: сколько слов в учебниках?

Еще одна мера доступности учебного ресурса — объем его словарного состава. Эта мера также связана с задачей расширения словарного запаса школьника, которую, как ожидается, выполняет учебник по русскому языку. Для измерения словарного состава линейки учебника или учебного ресурса подсчитывается количество уникальной лексики, встретившейся в совокупности всех текстов. «Уникальной» — значит все встретившиеся употребления слова лес - леса, лесами, лесу — считаются как одна лексическая единица. При этом часть слов учебника, например, 2 класса, уже встречалась учениками раньше, в 1 классе – эта лексика отмечается как предположительно знакомая (выделено зеленым цветом на графике).

3.png


Яндекс.Учебник дает бОльший объем лексики: если традиционные учебники в 4 классе предлагают «на вход» +- 5 тысяч слов, то в ЯУ эта цифра больше 7 тысяч слов. При этом в материалах для 1 класса объем лексики в текстовых карточках ЯУ, попавших в исследование, ниже, чем в линейках учебников. Он находится на уровне порядка 1000 единиц и сопоставим с объемом лексики в текстах линейки Бунеева, где порядка 1100 единиц. Возможно, объем заданий этого класса меньше: ведь в 1 классе порядка полугода идет основная работа по обучению письму и чтению, значительная часть которой проходит в прописях. Также можно предположить, что разработчики намеренно ограничили объем текстовых карточек или лексическое разнообразие материалов для первоклассников, которые только учатся читать. В материала ЯУ для 2 класса происходит резкий прирост новых слов и значительно увеличивается количество текстовых заданий (1 класс - 85 карточек, 2 класс - 358).

Заметна и разница в динамике подачи материала: практически во всех анализируемых традиционных линейках наращивание словарного запаса между 3 и 4 классом заметно замедляется, а в некоторых случаях (например, линейка Граник) к 4 классу объем новой входящей лексики даже уменьшается по отношению к другим классам. ЯУ же продолжает активно вводить новую лексику и сильно вырывается вперед как раз в 4 классе.

Данные графика позволяют предположить, что материалы ЯУ содержат больше потенциала для наращивания словарного запаса, особенно в 4 классе. Если учителю или ребенку хочется выйти за границы, очерченные основным учебником (по крайней мере на уровне слов), ЯУ поможет в этом и предложит больше новых слов «на вход».

Пересечения и отличия: похож ли ЯУ на традиционные учебники?

ЯУ позиционируется как ресурс, дополняющий основной учебник. В таком случае интересно ответить на вопросы, насколько похож (или, наоборот, не похож) ЯУ на традиционные учебники и в чем именно состоят различия.

Мера, которая указывает на близость нескольких коллекций текстов (в нашем случае текстов учебников и ЯУ), называется расстоянием между этими коллекциями. Она рассчитывается путем последовательного сравнения частот каждого слова по всем линейкам. На этом графике вычислены расстояния между ЯУ и 6 линейками учебников для младшей школы. Чем число на пересечении двух коллекций меньше, тем ближе лексический состав и распределение частотных слов (а значит и доминирующих тематик текстов) этих двух учебников. Для методистов эта мера может показывать, к каким УМК ближе всего ЯУ по лексическому составу. На основании этих данных можно предположить, что использование ЯУ в комплексе с линейками наиболее далеко отстоящих учебников (Климанова, Канакина, Граник) является самым перспективным, т.к. дает возможность ученикам отрабатывать пройденный материал на принципиально других текстах. По нашим данным, по лексическому составу ЯУ наиболее близок к линейке Иванова.

4.png


Чтобы проверить способность ЯУ расширять репертуар учебных текстов из традиционных учебников, мы вычислили совпадающие и несовпадающие множества в лексическом составе учебников[1].

Очень наглядно разницу между традиционными учебниками и ЯУ демонстрируют результаты подсчета лексики, встреченной во всех линейках, но полностью отсутствующие в ЯУ: березка (73 употребления по всем линейкам), рябина (43), осина (47), метель (46), елочка (40), полянка (38), дрозд (35) и т.д. Всего таких слов около 60, и их подавляющее большинство принадлежат природной тематике. Это указывает на две возможные особенности материалов ЯУ: отказ от частого использования уменьшительной формы слов (береза, а не березка, в текста ЯУ все же присутствует), а также сознательное избегание текстов природной тематики — до сих пор самой популярной темы в современных учебниках (и вызывающей самые острые дискуссии: Детям плевать на утро в зимнем лесу).

5.png


Учебник по русскому языку без русской березки? О тематике учебных текстов

Сравнительный частотный анализ отдельных слов по различным учебникам также способен обозначить некоторые особенности тематического распределения текстовых материалов.

Мы сравнили частоты слов из традиционных учебников и ЯУ с данными двух корпусов русского языка: Национальный корпус русского языка (НКРЯ) условно представляет срез «взрослого» кодифицированного русского языка, ДетЛит — корпус детской литературы — такую же условную репрезентацию текстов, предназначенных для детей. Для того, чтобы сравнение разных учебников было честным, мы использовали относительную частотность, ipm. Приведем некоторые примеры таких сравнений.

Если в текстах традиционных учебников по русскому языку самым частотным оказывается слово лес, то в ЯУ ему уделяется значительно меньше внимания (мы уже поняли это по отсутствующим березкам и рябинам, а теперь подтверждаем).

6.png


Другой иллюстрацией очевидного чрезмерного смещения некоторых традиционных учебников в сторону текстов природной тематики является распределение слова почка (в значении термина ботаники): имея малую частотность по коллекциям взрослых и детских текстов, в некоторых линейках (например, Канакиной и Чураковой) она встречается необоснованно часто. А вот в ЯУ про почки почти ничего нет.

Вот прилетели тетерева, расселись по берёзам, клюют горькие почки. (Канакина, 4 кл.)

Понюхаешь черёмуховую почку и сразу вспомнишь, как, бывало, забирался наверх по дереву за ягодами. (Пришвин М. Бунеев, 4 кл.)

7.png


Зато в ЯУ существенно шире представлены реалии городской жизни: это демонстрирует, например, частотное распределение слов вокзал и аэропорт.

8.png


Видно, что частотность слова “вокзал” в ЯУ примерно соответствует корпусу детских текстов - и тот, и другой слегка опережают НКРЯ.

Вместо березки — бабушка

Значимо больше внимания в ЯУ уделяется семье и старшим родственникам. Такое же внимание отличает тексты детской литературы от «взрослых» текстов. Семейная лексика присутствует и в некоторых учебниках, однако в текстах ЯУ, например, любовь к бабушке добирается до самой высокой отметки: бабушка упоминается в ЯУ больше 120 раз. Аналогичная картина наблюдается почти со всеми старшими родственниками (дедушка, мама, папа), составляющими традиционный мир семьи ребенка. Скорее всего, это связано с более активным использованием в качестве источников детской художественной прозы.

Бабушка останавливается, прислушивается и, услышав храп, идёт в направлении доносящихся до неё звуков. (По Л. Бессону, “Артур и минипуты”) problem_ID 123484

9.png

10.png

           

Прилежный Олег пишет красиво.

«Прилежный Олег пишет красиво», - сообщает нам учебник 1 класса Нечаевой. Насколько похож образ ребенка, который создается в учебниках, на настоящего, живого младшего школьника?

Действительно, интересен и сам образ детей и детства, создающийся в учебниках: насколько он близок и понятен современным детям? Если самое частотное определение к слову ученик по коллекции традиционных учебников — прилежный, аккуратный и невнимательный, то ЯУ предлагает нам варианты сочетаний новых и галдящих учеников (хотя оговоримся, что частотность данных примеров мала).

Также для методистов и психологов может быть важна представленность эмоциональной лексики в учебных материалах для младших школьников: этот интерес вызван актуальной потребностью современного образования в развитии эмоционального интеллекта у детей. Одно из направлений такого развития связана с расширением языкового репертуара для вербализации различных эмоций, в том числе, негативных.

Анализ эмоциональной лексики дает интересные результаты: так, и в традиционных учебниках, и в ЯУ гораздо больше говорят про положительные эмоции и чувства, чем в коллекциях взрослой и детской письменной речи. Особенно эта разница заметна в сфере положительных эмоций: больше веселого, а не скучного и грустного происходит на страницах, связанных с русским языком. С одной стороны, это может быть логичным методическим и воспитательным решением, однако с другой стороны, это может сигнализировать о дисбалансе предложения ребенку языкового инструментария для выражения положительных и отрицательных эмоций.

11.png


Частота слов, выражающих крайние проявления эмоций – например, глаголов ненавидеть и обожать – также является индикатором разнообразия стилей и ситуаций употребления русского языка, представленных в учебных ресурсах. Так например, эмоциональный глагол ненавидеть, употребляющийся, по данным корпусов, как во взрослой, так и детской речи, присутствует в текстах лишь 2 линеек учебников (Климанова и Иванов) и материалах ЯУ.

12.png


Подобные точечные подсчеты частотности лексики могут быть использованы как в качестве самопроверки отобранных для учебника текстов, так и объективными аргументами в пользу корректировки тематического распределения текстов учебника.

Многоликий русский язык: о разнообразии учебных текстов

Если считать, что каждый учебник — это книга о русском языке, то интересно выяснить, в каких ситуациях мы видим жизнь героя. В обстановке парадного портрета — в безупречных текстах классиков? На фоне природы? Или в повседневных ситуациях, где русский язык похож на тот, что мы слышим и используем каждый день?

Для ответа на эти вопросы нами используется параметр текстового разнообразия. Прежде всего, рассчитывается соотношение специально сконструированных для этого учебника текстов и аутентичных или адаптированных текстов — в подавляющем большинстве случаев источником тут выступают произведения художественной литературы, но можно встретить в учебниках и фрагменты текстов энциклопедий, газет и журналов. Такое соотношение может служить индикатором разнообразия представленной в учебнике модели русского языка.

13.png


В случае аутентичных и адаптированных текстов может быть информативным распределение их авторов. Некоторые линейки (например, линейка Канакиной) представляет собой наиболее классическую картину распределения авторов текстов: на вершине списка короткие жанры УНТ (пословицы, поговорки, загадки), русская классика XIX-начала XX века (А. Пушкин, И. Тургенев, Л. Толстой), а также плеяда авторов - описателей природы (Скребицкий, Бианки, Паустовский, Соколов-Микитов). Изучение русского языка трудно представить без изучения образцов языка классической литературы, однако при отработке новой грамматической темы использование текста 19 века может стать дополнительной нагрузкой:

14.pngКонстантин Ушинский (1823-1871) *Чуракова, 3 класс


Состав текстов ЯУ значительно отличается — и это снова говорит в пользу ЯУ как ресурса, дополняющего основной учебник, расширяющего его границы. Первой заметной деталью является присутствие на вершине списка авторов аутентичных фрагментов «хитов» детской литературы, в том числе и переводных авторов. Так, самым часто упоминаемым автором с большим отрывом становится Астрид Линдгрен (68 упоминаний). Далее следуют другие яркие представители детской литературы (Г. Остер, С. Волков, С. Носов, У. Старк). Русская классика и народное творчество также присутствуют, но не занимают верхних позиций. Таким образом, тексты ЯУ в большей степени ориентированы в первую очередь на детскую литературу, вызывающую интерес школьника.

Во-вторых, на графике видно, что ЯУ использует достаточно много текстов, специально разработанных командой методистов и детских писателей. Это позволяет разнообразить массив аутентичных, в подавляющем большинстве художественных текстов, другими жанрами: в этой категории представлено больше научно-популярных текстов по сравнению с традиционными учебника, а также включены специфические письменные формы, такие как рецепт, дневник, прогноз погоды, отзыв, анонс. Уникальными жанрами ЯУ, не встретившихся в традиционных учебниках, можно назвать инструктивные тексты, перечисляющие порядок действия при опасной ситуации: пожар, ребенок потерялся и т.п.:

15.png


А также тексты повседневного детского общения:

16.png


Агроном или программист?

Крайне важным требованием к учебнику русского языка является актуальность языкового содержания. Для иллюстрации соответствия учебного материала реалиям современного общества мы обратились к упоминанию различных профессий в учебных пособиях. Поскольку здесь речь идет о совсем нечастотных единицах, мы приводим их абсолютные значения (т.е. сколько раз это слово встретилось в тексте пособия).

Первая пара лексем иллюстрирует сравнение сельскохозяйственных (агроном, тракторист, комбайнер) и «новых» профессий постиндустриального общества (программист, экономист, дизайнер).

Корпусные данные показывают, что лексема программист с начала 2000-х становится частотнее агронома. Банк вакансий HH на сегодняшнем рынке находит около 900 предложений по России о работе агрономом, программистом — более 74 тысяч.

Тем не менее, большинство традиционных учебников отдают предпочтение первой группе профессий.

17.png


Другой пример можно привести, когда теряет актуальность не сама работа, а её обозначение. Так, во всех традиционных учебниках встречается профессия шофера и почти не упоминается водитель. В ЯУ, наоборот, водители встречаются чаще. По данным же Национального корпуса, слово водитель стало чаще использоваться с середины 90-х годов и сейчас уверенно обгоняет шофера по частотности.

Получается, некоторая лексика традиционного учебника не успевает за изменениями жизни. Из этих данных можно сделать вывод, что языковой материал ЯУ в большей степени ориентирован на реалии современного общества и профессии, востребованные на рынке.

Учебник — это окно в мир?

Помимо предметных и метапредметных знаний, материалы учебника в своей совокупности создают ещё и некую картину мира, транслируемую авторами. Мы попытались визуализировать это, нанеся на карту мира точки, соответствующие упоминанию географических названий (стран, городов, рек, озер и т.п.), встреченные в текстах учебника. Чем точка больше и зеленее — тем чаще этот географический объект встречается в текстах. Так, по визуализации линейки Канакиной становится очевидно, что основное внимание авторов направлено на Россию. Интересно также, что второе место по употребимости названий локаций занимает слово Русь, т.е. фокус внимания авторов данной линейки по этому критерию направлен вглубь, на историческое прошлое.

18.png

Упоминание географических названий в линейке Канакиной.

В материалах ЯУ взгляд на мир представляется значительно шире: содержится больше упоминаний городов и локаций как других стран и континентов (Австралия, Северная и Южная Америка), так и географических объектов внутри России (Обь, Иртыш, Байкал).

19.png

Упоминание географических названий в ЯУ.


Выводы

В целом исследование позволило сделать несколько выводов.

  1. Сложность текстов, включенных в карточки Яндекс.Учебника, в целом соответствует рекомендациям для младшего школьного возраста. Мы рекомендуем обратить внимание на отдельные тексты, структурная и лексическая сложность которых выходит за пределы рекомендуемой.
  2. Объем словарного состава ЯУ превосходит средний объем традиционных учебников. Это говорит о возможности ЯУ быть дополнительным ресурсом, расширяющим границы основного учебного пособия.
  3. Заметна значительная разница в тематическом составе ЯУ по сравнению с традиционными учебниками. В целом тексты ЯУ показывают большую близость к текстам современного русского языка для взрослых (репрезентированного в НКРЯ) и для детей (репрезентированного корпусом ДетЛит).
  4. Анализ отдельных слов — например, входящих в семантическое поле «Эмоции» — демонстрирует традиционное для учебников соотношение положительных и отрицательных эмоций.
  5. Важным преимуществом ЯУ, выявленным статистически, является активное присутствие в нем текстов разных стилей и жанров: научно-популярного и разговорного стилей речи, таких жанров, как инструкция, рецепт, дневник, прогноз погоды, отзыв, анонс. Такого разнообразия мы не наблюдаем в традиционных учебниках по русскому языку.
  6. В материалах ЯУ преобладают тексты, взятые из «хитов» детской литературы, в том числе переводных авторов. Русская классика и народное творчество также присутствуют, но не занимают верхних позиций.

 




[1] Напомним, что мы сознательно анализировали только тексты - материалы упражнений, поэтому термины (существительное, падеж) и специфическая учебная лексика (подчеркнуть, списать) не входят в эти наборы лексики.


На официальном сайте ФГБОУ ВО "Гос. ИРЯ им. А.С. Пушкина" используются технологии cookies и их аналоги для качественной работы сайта и хранения пользовательских настроек на устройстве пользователя. Также мы собираем данные с помощью сервисов Google Analytics, Яндекс.Метрика, счётчиков Mail.ru и Спутник для статистики посещений сайта. Нажимая ОК и продолжая пользоваться сайтом, Вы подтверждаете, что Вы проинформированы и согласны с этим и с нашей Политикой в отношении обработки персональных данных, даёте своё согласие на обработку Ваших персональных данных. При несогласии просим Вас покинуть сайт и не пользоваться им. Вы можете отключить cookies в настройках Вашего веб-браузера.
The Pushkin Institute's official website uses cookies to ensure high-quality work and storage of users' settings on their devices. We also collect some data for site statistics using Google Analytics, Yandex.Metrika, Mail.ru and Sputnik counters. By clicking OK and continuing using our website, you acknowledge you are informed of and agree with that and our Privacy Policy. If you are not agree we kindly ask you to leave our website and not to use it. You may switch off cookies in your browser tools.