Інформаційно-вимірювальне та алгоритмічне забезпечення моніторингу комп’ютеризованих систем тестування в професійній освіті
DSpace at NTB NTUU KPI
Переглянути архів Інформація| Поле | Співвідношення | |
| Title |
Інформаційно-вимірювальне та алгоритмічне забезпечення моніторингу комп’ютеризованих систем тестування в професійній освіті
|
|
| Creator |
Шведова, Вікторія Вікторівна
|
|
| Description |
Дисертація на здобуття вченого ступеня кандидата технічних наук за фахом – 05.13.05 – Комп’ютерні системи та компоненти. - Національний технічний університет України «Київський політехнічний інститут», Київ, 2010. Дисертаційна робота присвячена створенню інформаційно-вимірювального та алгоритмічного забезпечення моніторингу комп’ютеризованих систем тестування (КСТ). В роботі обґрунтовано необхідність проведення моніторингу КСТ з малими контингентами користувачів в процесі дослідної експлуатації системи; систематизовано методи та способи визначення показників якості (ПЯ) КСТ та обрано ті з них, що відповідають умовам тестування та режиму роботи реальних систем; обрано метрики для оцінювання ПЯ і отримано характеристики їх невизначеності, розраховано необхідний об’єм вибірки опитуваних, достатній для отримання заданої точності оцінок ПЯ; удосконалено класичні способи оцінювання ПЯ шляхом використання непараметричних оцінок. Створено нові методи обробки емпіричної інформації в рамках теорії моделювання та параметризації тестів, що забезпечують точність, інваріантність та стійкість ПЯ КСТ та оцінок опитуваних в умовах пілотного експерименту та дослідної експлуатації, які полягають в запропонованих способах поєднання даних декількох сеансів роботи КСТ, вибору умовного нуля на шкалі інтервалів, використанні адаптивного вінзорування та корегування оцінок опитуваних. Запропоноване забезпечення апробовано при багаторічному моніторингу КСТ в реальних умовах та має впровадження. Диссертация на получение ученой степени кандидата технических наук по специальности – 05.13.05 – Компьютерные системы и компоненты. – Национальный технический университет Украины «Киевский политехнический институт», Киев, 2010. Диссертационная работа посвящена созданию информационно-измерительного и алгоритмического обеспечения мониторинга компьютеризированных систем тестирования (КСТ) в профессиональном образовании. В роботе определены объективные причины и обоснована необходимость мониторинга КСТ с малыми выборками учащихся в процессе опытной эксплуатации системы, а именно: внесение рабочих корректив в системе, качественные изменения в составе выборки обучающихся, необходимость обновления и усовершенствования наполнения системы, тривиальная «утечка информации» и т.п. В диссертации систематизированы методы и способы определения показателей качества (ПК) КСТ, связанные с контрольно-оценочной функцией, а также выбраны те из них, которые соответствуют условиям тестирования и режиму работы реальных систем. Показатели качества КСТ в процессе пилотного эксперимента и опытной эксплуатации предложено оценивать по результатам одноразовой процедуры тестирования единой формой теста. При этом оценивание проводится с использованием следующих метрик: для определения надежности процедуры тестирования используются модифицированные формулы Кьюдера-Ричардсона и Спирмена-Брауна, для оценивания надежности заданий тестового пространства – усредненный коэффициент фи, для оценивания валидности заданий – модифицированный коэффициент бисериальной корреляции, для оценивания трудности заданий – уровень выполнения заданий в контрольной группе с учетом влияния центральных тенденций в отдельных группа опрашиваемых, для определения различительной способности – коеффициент Юла. Полученные показатели качества КСТ используются: на стадии стандартизации системы – для калибрования тестового пространства, на стадии эксплуатации – для контроля сохранения качества КСТ, повышения точности оценивания ПЯ, для корректирования уровней подготовленности опрашиваемых по результатам асинхронного тестирования. В работе развито теорию шкал в области педагогических измерений. При этом впервые разработано методы использования непараметрических статистик для оценивания ПК КСТ в терминах классической теории обработки результатов тестирования, что позволило учесть особенности выходной ординальной шкалы. В результате исследования усовершенствованы методы обработки данных на базе шкалы интервалов при условии использования теории моделирования и параметризации тестов путем разработки способа выбора условного нуля на шкале латентных параметров при асинхронном тестировании, что позволило получить инвариантные оценки трудности заданий тестового пространства. В диссертации впервые оценена неопределенность показателей качества КСТ в терминах классической теории обработки результатов тестирования, что позволило определить минимальный объем опрашиваемых для измерения ПК КСТ с приемлемой точностью и обосновано необходимость дополнения данных пилотного эксперимента данными, полученными при эксплуатации системы. Впервые предложено способы объединения результатов измерения ПЯ КСТ, полученных на стадиях пилотного эксперимента и эксплуатации, что позволяет повышать точность получаемых оценок ПЯ КСТ в условиях малых выборок в течение всего жизненного цикла КСТ. В работе впервые предложено способ введения индивидуальных корректирующих поправок при расчете уровней подготовленности тестируемых во время эксплуатации КСТ, что позволяет получать инвариантные оценки опрашиваемых в условиях асинхронного тестирования; предложены способы интерпретации результатов тестирования, полученные с использованием теории моделирования и параметризации тестов в терминах лингвистических переменных. Впервые предложено использование адаптивного винзорирования в процессе калибрования и опытной эксплуатации тестовых пространств КСТ, что позволяет повысить устойчивость оценивания ПЯ КСТ и уровней подготовленности тестируемых в условиях ограниченных выборок опрашиваемых в терминах теории моделирования и параметризации тестов. Предложено новое информационно-измерительное и алгоритмическое обеспечение КСТ позволяет повысить эффективность работы названых систем путем обеспечения точности, устойчивости и инвариантности оценок ПК КСТ и уровней подготовленности тестируемых в условиях пилотного эксперимента и опытной эксплуатации. Разработанное обеспечение апробировано в реальных условиях использования КСТ и внедрено на кафедре информационно-измерительной техники Национального технического университета Украины «Киевский политехнический институт». Получены результаты экспериментальных исследований при многолетнем мониторинге (в течение 6 лет) реальных КСТ, которые подтвердили теоретические положения, представленные в работе, эффективность и целесообразность их реализации на практике при мониторинге КСТ в профессиональном образовании. Thesis of competition of a scientific degree of candidate of engineering science on a specialty – 05.13.05 – Computer systems and components – National technical university of Ukraine «Kiev polytechnic Institute», Kiev, 2010. The thesis is devoted to the problems of creation data-measuring and algorithmic supplying for monitoring the computer-based testing system (CBTS). At the thesis grounded necessity of monitoring CBTS with short selection of respondents in the process of system exploitation; systematized methods and means of determination the quality metrics (QM) CBTS and were chosen such, that are corresponded to conditions during process of testing; derived the formulas for uncertainty of QM; estimated the minimal number of respondents for ensuring the prescribed precision of QM; pioneer the inserted nonparametric statistics in classic means of estimations the QM, that is more appropriate for ordinary quantities; offered and worked out new algorithms of processing and integration the experimental data, that are obtained in the process of exploitation of CBTS, algorithm of correction of the respondent grades, algorithm of choice the conventional zero on the scale of cryptic parameter in IRT, offered the algorithm of the adaptive grades use, that allowes to obtain the invariant and stable evaluation of QM and assessment of respondents in process of exploitation CBTS with short selection of respondents. The new information-measuring and algorithmic maintenance was applying and verifying during six years. |
|
| Publisher |
НТУУ "КПІ"
|
|
| Date |
2011-09-22T07:35:12Z
2011-09-22T07:35:12Z 2010 |
|
| Type |
Thesis
|
|
| Identifier |
http://library.kpi.ua:8080/handle/123456789/1103
|
|
| Language |
uk
|
|