Запис Детальніше

Політомічні моделі мастерса та андерсена в аналізі якості тестових завдань

Журнал "Теорія та методика електронного навчання"

Переглянути архів Інформація
 
 
Поле Співвідношення
 
Title Політомічні моделі мастерса та андерсена в аналізі якості тестових завдань
Политомические модели Мастерса и Андерсена в анализе качества тестовых заданий
Politomic Masters and Andersen model in the analysis of quality of tests
 
Creator Диховичний, Олександр Олександрович
Шепель, Максим Олександрович
Удовенко, Анна Федорівна
 
Subject —
—
—
—
 
Description В роботі [1] було проінформовано про застосування політомічної моделі Г. Раша до статистичного аналізу якості тестових завдань комплекту «Вища математика», створеного в НТУУ «КПІ» на кафедрі математичного аналізу та теорії ймовірностей.Зробимо деяке пояснення щодо суті питання. Політомічна модель Partial Credit Scoring застосовує базову ідею моделі Г. Раша [2] і детально вивчена у роботі Дж. Мастерса [3]. В подальшому назвімо її моделлю Раша-Мастерса.Нехай N іспитників виконують тест, що складається з L завдань, кожне i-те завдання має mi підрівнів. Впроваджуються дві множини латентних параметрів: θn – параметри підготованості n-го іспитника, n = 1, 2, ..., N, де N – кількість іспитників; βij – параметри складності j-го рівня i-го завдання, де i = 1, 2, ..., L; j = 1, 2, ..., mі. Тут mi – максимальний рівень i-го завдання.Кожен іспитник отримує за i-те завдання j = 1, 2, ..., mi балів.Тоді ймовірність отримання n-м іспитником j балів за i-е завдання означується наступним чином: Для оцінювання відповідних латентних параметрів було застосовано методи роботи [3], згідно з якою оцінки параметрів можна отримати шляхом розв’язання наступної нелінійної системи рівнянь: де– кількість балів n-го іспитника за тестову роботу;Sij – кількість іспитників, які отримали за i-е завдання не менш як j балів.Систему можна розв’язати, приміром, методом Ньютона-Рафсона, який дає наступні ітераційні формули: за такої умови завершення ітераційного процесу: де ε – заздалегідь задана точність обчислення.Але широке впровадження в практику такого підходу виявило ряд проблем, що призводять до спотворення результатів оцінювання та розбіжності ітераційного процесу:вибір початкових значень;зсув розв’язків;поява тривіальних рівнів.1. Вказані в роботі [1] рекомендації щодо вибору початкових значень містили неточності. Встановлено наступне узагальнення відповідних початкових значень параметрів дихотомічної моделі на випадок політомічної: де M – максимальний бал за тестову роботу. Такі значення у більшості випадків при виконанні інших умов забезпечують збіжність ітераційного процесу.2. Специфіка системи рівнянь призводить до появи наступного ефекту: якщо θ=(θ1, θ2, ..., θN), – розв’язки системи рівнянь, то θ*=(θ1+C, θ2+C, ..., θN+C), , С – довільна стала, також є розв’язками системи рівнянь, тобто зсунуті параметри є розв’язками системи. Шляхом проведення процедури усереднення [3]: забезпечується вибір правильного значення оцінених параметрів.3. Якщо всі іспитники не досягли певного рівня, або всі подолали певний рівень, то виникає явище так званих тривіальних рівнів. Формально це визначається наступним чином.Нехай Rij ‑ кількість іспитників, які в i-му завданні здобули результат j. Тоді j-й рівень i-го завдання називається тривіальним, якщо Rij = 0. Відповідні ймовірності дорівнюють нулеві: Це спричиняє розбіжність ітераційного процесу: де t – номер кроку ітерацій.Найпростіший спосіб усунення цього явища – об’єднання тривіальних стовпців з сусідніми. Але, згідно [4], це призводить до спотворення результатів оцінювання.Альтернативним шляхом подолання вказаних проблем є впровад­ження іншої моделі Е. Андерсена [5], згідно якої ймовірність отримання n-м іспитником j-го рівня за i-е завдання визначається наступним чином: де ηi0≡0; θn, n=1, 2, ..., N – параметр підготованості n-го іспитника; ηij, i=1, 2, ..., L, j=1, 2, ..., mi – параметр складності j-го рівня i-го завдання; aij, i=1, 2, ..., L, j=1, 2, ..., mi ‑ бал за досягнення j-го рівня i-го завдання; d=aij–ai(j–1), i=1, 2, ..., L, j=2, 3, ..., mi.Якщо покласти aij=j, i=1, 2, ..., L, j=0, 1, ..., mi та то модель Андерсена збігається з моделлю Раша-Мастерса.Для тривіального рівня exp(–ηij)≡0, aij≡0. Окрім того, де bi – порядковий номер найнижчого нетривіального рівня i-го завдання. Таким чином, модель Андерсена охоплює випадок виникнення появи тривіальних стовбців у моделі Раша-Мастерса.Значення параметрів знаходяться з системи де xni – кількість балів n-го іспитника за i-е завдання.Ітераційні формули оцінювання параметрів набувають вигляду: За відповідної умови збіжності ітераційного процесу: де ε – заздалегідь задана точність обчислення.Наведені алгоритми разом із графічними засобами інтерпретації результатів покладено в основу комплексу програм для пакету MATLAB.Порівняння результатів обробки еталонних прикладів на підставі моделей Раша-Мастерса та Андерсена підтвердило з точністю ε=10–3 тотожність оцінок параметрів у випадку відсутності тривіальних стовпців та відмінність оцінок у випадку їх наявності.На підставі розроблених методик був проведений аналіз результатів електронних контрольних робот за різною тематикою, якими було охоплено більш як 200 студентів ІТС та ФАКС НТУУ «КПІ».Контрольна робота містила як дихотомічні, так і політомічні тестові завдання, які включали завдання з множинним вибором або завдання на відповідність. Кожне завдання мало по декілька підрівнів складності. На підставі такого аналізу можна зробити наступні висновки:1. Застосування IRT-методів дозволяє більш об’єктивно поглянути на тестові завдання, які в більшості складаються на підставі досвіду та інтуїції викладача, та суттєво спрощує первинний аналіз результатів тестів.2. Впровадження методики оцінювання параметрів за моделлю Андерсена доводить її зручність та ефективність у порівнянні з моделлю Раша-Мастерса.3. Збільшення кількості студентів, охоплених тестуванням підвищило вірогідність результатів.4. Автори вбачають подальшу перспективність втілення відповідних методик для аналізу контролю знань студентів різних форм навчання.
В работе было проанализировано применение политомической модели Г. Раша, Мастерса и Андерсена к статистическому анализу качества тестовых заданий комплекта «Высшая математика», созданного в НТУУ «КПИ» на кафедре математического анализа и теории вероятностей.
The paper analyzes the application of the politomic G. Rush, Masters and Andersen model to statistical analysis of quality of set of tests "Higher Mathematics"created in NTU "KPI" at the department of mathematical analysis and probability theory.
 
Publisher State institution of higher education «Kryvyi Rih National University»
 
Contributor —
—
—
 
Date 2014-02-10
 
Type info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
—
—
—
 
Format application/pdf
 
Identifier http://ccjournals.eu/ojs/index.php/e-learn/article/view/321
 
Source Теория и методика электронного обучения; Vol 3 (2012); 83-87
Теорія та методика електронного навчання; Vol 3 (2012); 83-87
Theory and methods of e-learning; Vol 3 (2012); 83-87
2309-1495
 
Language ukr
 
Relation http://ccjournals.eu/ojs/index.php/e-learn/article/view/321/308
 
Rights Copyright (c) 2014 Theory and methods of e-learning