Роз’яснення Українського центру оцінювання якості освіти щодо «експерименту», проведеного репетиторкою з англійської мови Чи дійсно тест з англійської на НМТ заскладний навіть для носіїв мови? НМТ з англійської мови і «не змогли скласти його». Фахівці Українського центру оцінювання якості освіти розібрались, чи проведений «експеримент» дійсно про щось свідчить.
По-перше, проаналізуймо вибірку учасників «експерименту». Це всього двоє осіб: одна – з Великобританії, інша – зі США. За словами «організаторки експерименту» (української репетиторки з англійської мови), обоє учасників мають вищу освіту й досвід викладання англійської в Китаї.
По-друге, зважмо на умови проведення «експерименту». Репетиторка зазначає, що залучені до «експерименту» носії мови виконали тест на 32 завдання (який розрахований на годину сумлінної роботи) усього за 20 хвилин, тобто на кожне завдання витратили втричі менше часу, ніж передбачено стандартними умовами проведення НМТ.
Окрім того, ми нічого не знаємо про те, наскільки уважно і вдумливо учасники «експерименту» були налаштовані виконувати завдання і чи розуміли вони, що на основі даних про їхню роботу «організаторка експерименту» зробить глобальні висновки про складність усіх тестів НМТ з англійської мови.
Принагідно зауважимо також, що існування цих осіб та інформація про них підтверджується лише скрином листування репетиторки з кимось, хто відповідає англійською, тож у читача, який критично опрацьовує будь-які матеріали з інтернету, має виникнути сумнів у достовірності представлених матеріалів. Утім, відкиньмо думки про потенційну недоброчесність педагогині й розгляньмо питання по суті.
Із візуальних матеріалів, оприлюднених репетиторкою, ми знаємо, який саме тест з англійської мови НМТ виконували учасники «експерименту», а також яких помилок припустилася одна з учасниць, а саме пані Ізабель.
Цей тест з англійської мови — це тест п’ятої сесії НМТ 2024 року, оприлюднений Українським центром оцінювання якості освіти в томі 2 Офіційного звіту про результати НМТ 2024 року, тож надалі оперуватимемо даними саме за цей рік.
На діаграмі нижче показано розподіл результатів учасників НМТ–2024 з англійської мови.
Офіційний звіт про результати НМТ у 2024 році. Том 1, с. 117.
Як бачимо, загалом за всі сесії оцінювання у 2024 році майже 7% вступників, які, з високою ймовірністю, не є носіями англійської мови, отримали 180 і більше балів. Серед них 1513 осіб мають найвищий результат – 200 балів. Якщо проаналізувати результати саме п’ятої, надважкої, на думку репетиторки, сесії НМТ, завдання якої виконували «експериментатори», то з’ясуємо, що 150 і більше балів отримали майже 50% учасників цієї сесії (934 особи), а 200 балів набрали 27 вступників.
Така успішність вступників очікувана, адже зміст завдань тесту з англійської мови цілком відповідає Програмі зовнішнього незалежного оцінювання з іноземних мов, яку створено з урахуванням Загальноєвропейських рекомендацій з мовної освіти для рівня В1–В2, який є планованим показником опанування іноземної мови на етапі завершення здобуття повної загальної середньої освіти.
Згаданий тест НМТ з англійської мови 2024 року складається із двох частин «Читання» та «Використання мови», виконання яких передбачає активізацію відповідних знань і вмінь.
Так, завдання частини «Читання» передбачають уважне опрацювання текстового матеріалу, а не просто його поверховий перегляд задля розпізнавання використаних у ньому слів. Власне, це загальне вміння, яке потрібне під час читання текстів як іноземною, так і рідною мовою. І, на жаль, із цим умінням є чималі проблеми в багатьох. Наприклад, за результатами міжнародного дослідження PISA–2022, понад 40% українських підлітків не досягли навіть базового рівня читацької грамотності, попри те, що виконували тест рідною для себе мовою.
Національний звіт за результатами міжнародного дослідження PISA–2022, с. 51.
Окресливши загальний підхід до читання, який варто застосовувати, виконуючи тест з англійської мови в межах НМТ, розгляньмо результати п. Ізабель – уже згаданої раніше учасниці «експерименту», адже вона припустилася найбільшої кількості помилок саме в частині «Читання» тесту 2024 року, неправильно виконавши завдання 5, 6, 7, 8, 9, 12, 15, 17, 19 і 22.
Завдання 5.
звіт про результати НМТ–2024, с. 67–85.
За допомогою цього завдання перевіряли вміння розуміти основний зміст прочитаного. За статистичними даними, аналізоване завдання виявилося складним для багатьох учасників п’ятої сесії НМТ–2024: правильно його виконали 19,8% вступників. Причина вибору неправильних відповідей у тому, що для виконання завдання необхідно не просто роздивитися картинку оголошення, а й обов’язково прочитати текст, який наведено на цій «картинці». Щоб визначити основну тему тексту, треба було виділити ключові слова або фрази в цьому короткому рекламному тексті та з’ясувати, що це такі фрази: «global pet expo» (міжнародна виставка домашніх тварин), «a look at the latest pet products and trends» (ознайомитися з останніми тенденціями та товарами для домашніх тварин). На підставі цього одразу стає зрозуміло, що в тексті йдеться НЕ про придбання домашньої тварини, а про виставку. Ось чому варіант відповіді D visit a trade show (відвідати виставку) буде єдиним правильним з усіх запропонованих у завданні 5 варіантів відповідей.
Наступний блок завдань на читання, а саме завдання 6–10, п. Ізабель просто «провалила», відповівши правильно лише на одне завдання (№ 10), адже тут потрібно було опрацювати доволі великий за обсягом текст і надати відповіді до окремих його частин і до тексту загалом. До речі, саме такі завдання є найбільш подібними до тих, що їх пропонують учасникам у дослідженні PISA.
Ось текст, з яким працювали вступники.
А ось завдання, з якими не впоралася п. Ізабель.
Завдання 6.
Для успішного виконання завдань 6–10 потрібно дуже уважно прочитати текст, де розповідається про Йосі Гінзберга, його подорож до Венесуели й пригоди, що спіткали там чоловіка.
Як видно зі статистичних даних, 51,4 % учасників п’ятої сесії НМТ обрали правильну відповідь на завдання 6, зрозумівши, що для виконання завдання потрібно уважно прочитати перший абзац тексту й відповісти на запитання щодо того, що саме мотивувало головного героя до подорожування. Останнє речення абзацу прямо відповідає на це запитання, адже в ньому вказано, що мотивувала п. Гінзберга автобіографічна книга неправомірно засудженої людини. Звичайно, у першому абзаці тексту трапляються слова з інших варіантів відповіді, тож неуважний читач, як-от і п. Ізабель, обере саме їх. До речі, подібні помилки часто роблять українські 15-річні підлітки, виконуючи завдання PISA: замість аналізувати текст, вони просто шукають у варіантах відповіді слова, які бачили в тексті.
Завдання 7.
Відповідь на запитання 7 необхідно шукати в другому абзаці тексту, адже про це прямо сказано в умові: «Yossi Ginsberg felt a calling for adventure. He endured many bosses and tried many jobs to save up enough funds for the trip to explore the Amazon rainforest» (Йосі Гінзберг відчував поклик до пригод. Він витримав багатьох начальників і перепробував багато робіт, щоб накопичити достатньо коштів для подорожі в тропічні ліси Амазонки). Ознайомившись з відповідним абзацом, серед запропонованих варіантів відповіді вибираємо варіант C He worked hard to get money for his journey (Він важко працював, щоб зібрати гроші на подорож), адже саме це випливає з контексту. До речі, відповідно до статистики, це завдання для учасників тестування було легким, тож 62,4 % абітурієнтів успішно впоралися з ним.
Завдання 9, яке стосується того ж тексту, що й попереднє, також спрямоване на перевірку вміння розуміти прочитаний текст у деталях і робити логічні висновки.
Відповідь на запитання «Що допомогло Йосі Гінзбергу вижити в джунглях?», знаходимо в п’ятому абзаці тексту: «On his sixth day in the jungle, he woke to find a jaguar, ready to attack. With no weapon, he grabbed the only things he had to hand – a can of mosquito repellent and a lighter – and improvised the flame-thrower» (На шостий день перебування в джунглях він прокинувся і побачив ягуара, готового до нападу. Не маючи зброї, він схопив єдине, що було під рукою – балончик з репелентом від комарів і запальничку – і нашвидку зробив з них вогнемет). Відповідно, серед запропонованих варіантів відповіді вибираємо варіант B a flame-providing device (пристрій для подачі / забезпечення полум’я). Саме цей варіант відповідає контексту та є правильною відповіддю. І, як бачимо зі статистичних даних, для учасників тестування це завдання було легким: 62,8% абітурієнтів упоралися з ним.
Можна продовжувати і далі аналізувати текст про Йосі Гінзберга, однак уважний читач, який самостійно також опрацював ці завдання, бачить, що вся запитувана в завданнях інформація, представлена в тексті. Утім, щоб правильно виконати ці завдання потрібно уважно читати, повертатися до фрагментів тексту після відповіді на кожне із завдань, аналізувати представлені варіанти відповіді. У тексті є адекватна кількість потенційно незнайомих для вступника рівня В2 слів, значну кількість яких можна зрозуміти з контексту (звісно, якщо намагатися вчитуватися в зміст).
У блоці завдань 11–16 «носійка мови» припустилася всього двох помилок. Таку «високу успішність» у цьому разі, імовірно, можна пояснити тим, що фрагменти текстів до цих блоків є порівняно невеликими за обсягом, а отже, цілком посильними для «швидкісної роботи – за 20 хвилин».
Завдання 16, з яким не впоралася п. Ізабель, правильно змогли виконати понад 60% українських учасників п’ятої сесії тестування. У тексті до цього завдання розповідається про провідного полярника й дослідника світу Бена Сондерса. Ми дізнаємося, що п. Сондерсу належить рекорд найдовшої одиночної арктичної подорожі, яку коли-небудь здійснював британець (He also holds the record for the longest solo Arctic journey by a Briton). І саме тому правильною відповіддю на це завдання буде твердження B travelled alone to the coldest points on the earth (подорожував наодинці до найхолодніших точок на Землі), що відповідає контексту. Це завдання було легким для учасників тестування (див. табличку нижче).
Завдання 17–22 скеровані на перевірку розуміння структури тексту та вміння розпізнавати зв’язки між частинами тексту. У завданні треба заповнити пропуски частинами речень відповідно до контексту. Пані Ізабель не впоралась із завданнями 17 і 22, тож розгляньмо їх.
Перше речення в тексті, у якому є пропуск до завдання 17, містить доволі просту (побутову) лексику і перекладається так: Чай споживають більше, ніж будь-який інший напій у світі; і за цим повсякденним напоєм, за коробками на полицях чайних магазинів, ховається барвиста і захоплююча історія, яка пробивається крізь (17) __________ («Tea is consumed more than any other beverage in the world; and behind this everyday drink, beyond the boxes on the tea-store shelves, lies a colourful and fascinating story that makes its way through (17) __________»). Відповідно до змісту речення продовженням його, а отже, і правильною відповіддю є варіант C the social and cultural history of many nations (соціальну та культурну історію багатьох народів), який узгоджується з контекстом і за змістом, і граматично.
Завдання 22 також виявилося заскладним для учасниці «експерименту» з Великобританії.
Пропуск до завдання 22 є в реченні, яке можна перекласти так: Чай запрошує вас у цю довгу подорож з інноваційними купажами та упаковками, (22)__________ («Tea takes you on this long journey, with innovative blends and packaging yet, (22)__________»). Серед запропонованих варіантів відповіді вибираємо варіант B keeping the 5000-year-old traditions unbroken (зберігаючи 5000-річні традиції безперервними), який узгоджується зі змістом речення, де йдеться про «long journey», і, відповідно, є єдино можливим вибором. Як свідчить статистика, обидва ці завдання були оптимальними для учасників НМТ-2024: 54,9% та 49,3% вступників виконали їх правильно.
Помилки, які зробила п. Ізабель у частині «Читання», дають змогу зробити припущення, що вона неуважно читала тексти, виконувала завдання навмання, не опрацьовуючи варіанти відповідей та умови завдань, можливо, через брак часу, а можливо, через відсутність потреби докладати зусиль до виконання завдань тесту.
Як було зазначено раніше, окрім завдань на читання, у тесті НМТ з англійської мови є також блок завдань «Використання мови». Такі завдання можна виконати доволі добре, навіть не опанувавши на високому рівні навички читання з розумінням, але маючи уявлення про лексичні й граматичні конструкції англійської мови. Тож, було б логічно припустити, що тут п. Ізабель як носійка мови не припуститься помилок. Утім, як свідчать результати «експерименту», і тут були певні проблеми, а саме із завданням 30, за допомогою якого в тесті перевіряють уміння учасників НМТ правильно використовувати граматичні форми відповідно до контексту.
Для учасників тестування завдання 30 було легким: 77,8% абітурієнтів чудово впоралися з ним. У реченні на місці пропуску немає відносного займенника. Правильною є відповідь A who (хто), адже саме цей займенник вказує на особу й відповідає контексту.
Які висновки можна зробити з проведеного аналізу? Означимо лише два ключових.
«Бути носієм мови» автоматично не гарантує стовідсотково правильного виконання мовних тестів у межах НМТ й отримання максимального бала за підсумками тестування.
Так, з-поміж 20 206 носіїв української мови – учасників п’ятої сесії НМТ–2024 – лише 14 учасників виконали правильно всі завдання тесту з української мови й отримали максимальний результат – 200 балів.
Натомість тест з англійської мови тієї ж таки, п’ятої, сесії НМТ–2024 виконували всього 1933 учасники, і 27 з них отримали максимальний результат у 200 балів.
Будь-які дослідження в освіті мають відбуватися відповідно до адекватних методик.
Двоє випадкових людей, які проходять тест навмання та отримують випадковий результат, – достатній привід для хайпу, але аж ніяк не для змістовної розмови про якість тестів, процедур тестування чи інших питань, пов’язаних з освітніми оцінюваннями.
Щоб зробити висновки про свої освітні системи, про якість інструментів педагогічних оцінювань тощо, країни організовують складні дороговартісні дослідження. Так, у вже згадуваному дослідженні PISA, у якому беруть участь понад 80 країн / економік світу, дослідницький цикл триває три-чотири роки, усі процедури на всіх етапах контролюють фахівці тощо. І саме це дає змогу аналітикам робити виважені й обґрунтовані висновки для освітніх політик. Дослідження інструментів оцінювання передбачає вивчення змісту тесту відповідними експертами, аналіз результатів оцінювання, проведення апробацій тощо. Український центр щорічно публікує звіти за результатами ЗНО / НМТ, тож усі охочі, яких дійсно цікавить якість освіти та якість освітніх оцінювань, можуть ознайомитися з реальними даними тестувань і зробити свої висновки про ті чи ті тести.
І наостанок.
Хочемо відзначити креативність «організаторки експерименту», про який ішлося попередньо. Адже мінімальні ресурси, укладені репетиторкою в підготовку допису, дали їй змогу значно розширити коло осіб, які про неї тепер знають і потенційно можуть скористатися її допомогою або принаймні зацікавитися її контентом у соціальних мережах.
На жаль, недостатньо сформовані навички критичного читання в значної частини аудиторії соціальних мереж – легка пожива для таких креативників. Є над чим поміркувати нам, освітянам.
Українського центру оцінювання якості освіти.
Источник: osvita.ua