Комп’ютерно орієнтована методика оцінювання якості тестів з вищої математики викладачами закладів вищої освіти
Електронна бібліотека НАПН України
Переглянути архів Інформація| Поле | Співвідношення | |
| Relation |
http://lib.iitta.gov.ua/716277/
|
|
| Title |
Комп’ютерно орієнтована методика оцінювання якості тестів з вищої математики викладачами закладів вищої освіти
Computer-oriented methodology of assessing the quality of tests in higher mathematics by teachers of higher education establishments |
|
| Creator |
Дудко, А.Ф.
|
|
| Subject |
004.4 Software
004.9 ІКТ ( Application-oriented computer-based techniques ) 37.01 Fundamentals of education. Theory. Policy etc. 37.01/.09 Special auxiliary table for theory, principles, methods and organization of education 378 Higher education. Universities. Academic study |
|
| Description |
Дисертація на здобуття наукового ступеня кандидата педагогічних наук (доктора філософії) за спеціальністю 13.00.10 «Інформаційно-комунікаційні технології в освіті» (01 «Освіта / Педагогіка»). ‒ Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Інститут інформаційних технологій і засобів навчання НАПН України, Київ, 2019. Дисертаційне дослідження присвячено проблемі оцінювання якості тестів з вищої математики викладачами закладів вищої освіти (ЗВО). Проаналізовано зарубіжний та вітчизняний досвід з теми дослідження та уточнено поняття «тест», «тестове завдання», «якість тесту», «оцінювання якості тесту», «комп’ютерно орієнтована методика оцінювання якості тестів». Обґрунтовано необхідність поєднання методів класичної теорії тестів (КТТ) та Item Response Theory (IRT) для оцінювання якості тестів з вищої математики. Визначено основні методи оцінювання якості тестів з вищої математики в рамках КТТ, які передбачають як аналіз окремих тестових завдань, так і тесту у цілому. Аналіз тесту у цілому полягає у такому: аналізі розподілу вибірки результатів; оцінюванні надійності тесту; оцінюванні критеріальної валідності тесту. Аналіз тестових завдань передбачає: аналіз кореляційної матриці завдань; оцінювання валідності окремих завдань; аналіз дистракторів завдань множинного вибору. Визначено моделі IRT для оцінювання якості тестів з вищої математики: Раша та Бірнбаума (для дихотомічних завдань), Андерсенена для політомічних завдань та Тіссена-Стейнберга для завдань множинного вибору. IRT-аналіз тестових завдань і тесту у цілому проводиться із використанням визначених моделей і передбачає: оцінювання значень латентних параметрів використовуваних IRT-моделей; аналіз ансамблю характеристичних кривих завдань тесту; аналіз характеристичних кривих рівнів політомічних тестових завдань; аналіз характеристичних кривих дистракторів завдань множинного вибору. Досліджено питання оцінювання латентних параметрів IRT-моделей. Для оцінювання латентних параметрів обрано метод максимальної вірогідності. Розглянуто його застосування на прикладі моделі Раша-Мастерса. Вирішено такі проблеми практичного оцінювання параметрів IRT-моделей: вибір початкових значень; зсув оцінок параметрів; наявність тривіальних рівнів політомічних тестових завдань. Розроблено авторську систему автоматизованого аналізу якості тестових завдань (СААЯТЗ). Основні функціональні можливості СААЯТЗ: гнучкий вибір алгоритму статистичного опрацювання результатів тестування; наочність графічного представлення результатів; формування та обслуговування бази каліброваних завдань. В основу статистичного аналізу системи покладено методи КТТ та IRT. Розроблено комп’ютерно орієнтовану методику оцінювання якості тестів з вищої математики викладачами ЗВО. Метою оцінювання якості тестів є покращення контролю знань студентів з вищої математики. Основним засобом оцінювання якості тестів є СААЯТЗ. Методами оцінювання якості тестів з вищої математики є дібрані методи теорії ймовірностей та математичної статистики, а саме методи КТТ та IRT. Змістовий компонент оцінювання відображає загальна схема, що включає в себе такі етапи: формування таблиці результатів; аналіз окремих тестових завдань і тесту в цілому; приймання остаточних рішень. Формування таблиці результатів тестування передбачає підготовку даних до подальшої роботи з ними в СААЯТЗ. Аналіз тесту у цілому полягає у такому: аналізі розподілу вибірки результатів; оцінюванні надійності тесту; оцінюванні критеріальної валідності тесту; оцінюванні ефективності тесту. Аналіз тестових завдань передбачає: аналіз кореляційної матриці завдань; оцінювання валідності окремих завдань; аналіз ансамблю характеристичних кривих завдань; аналіз політомічних завдань; аналіз дистракторів завдань множинного вибору. Приймання остаточних рішень здійснюється на підставі сумісного аналізу взаємодоповнюючих характеристик IRT та КТТ. При цьому робляться висновки щодо якості як окремих тестових завдань, так і тесту в цілому. Впровадження комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики доцільно здійснювати поетапно: розвиток компетентності викладачів щодо оцінювання якості тестів та безпосереднє застосування викладачами комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики у своїй професійній діяльності. Застосування викладачами комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики доцільно здійснювати відповідно до загальної схеми роботи викладача з тестами з вищої математики, яка передбачає: вирішення питання визначення підходу до розроблення тестів; створення тесту; оцінювання змістової валідності; завантаження тестів у систему комп’ютерного тестування (Moodle); проведення пробного тестування та вирішення питань, пов’язаних з його організацією та проведенням; імпортування результатів тестування та оцінювання якості тестів за розробленою методикою; прийняття рішення щодо якості тесту та подальшої роботи з ним; збереження тесту та завдання тесту разом з їх статистичними характеристиками у базі каліброваних завдань. Робота з тестами за описаною схемою вимагає від викладача високого рівня компетентності щодо оцінювання якості тестів з вищої математики. Визначено компетентність викладача щодо оцінювання якості тестів з вищої математики як готовність та здатність викладача із застосуванням ІКТ обчислювати характеристики тесту, тестових завдань та на основі цих характеристик оцінювати якість окремих завдань і об’єктивно складати висновки щодо якості тесту в цілому, його покращення та доцільності використання в освітньому процесі для контролю знань студентів з вищої математики. Визначено та описано основні критерії компетентності викладачів щодо оцінювання якості тестів з вищої математики: ціннісно-мотиваційний, когнітивний та операційно-діяльнісний. Представлено характеристики визначених критеріїв для трьох рівнів: базового, поглибленого та професійного. Розроблено модель розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики, яка складається з таких компонентів: мотиваційно-цільового, змістового, операційно-технологічного, діагностичного та результативного. На підґрунті даної моделі побудовано технологію розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики. Загальні результати педагогічного експерименту показали, що впровадження комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики сприятиме розвитку компетентності викладача щодо оцінювання якості тестів з вищої математики та покращенню контролю знань студентів. Результати впровадження розробленої комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики викладачами ЗВО підтверджують її ефективність. Наукова новизна та теоретичне значення полягає в тому, що вперше обґрунтовано комп’ютерно орієнтовану методику оцінювання якості тестів з вищої математики викладачами ЗВО на основі спільного застосування методів КТТ та IRT; визначено критерії та рівні розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики; розроблено модель розвитку компетентності викладача щодо оцінювання якості тестів з вищої математики; уточнено поняття тесту, тестового завдання, якості тесту, оцінювання якості тесту, комп’ютерно орієнтованої методики оцінювання якості тесту та компетентності викладача щодо оцінювання якості тестів з вищої математики; удосконалено методи розрахунку латентних параметрів тестових завдань; методи покращення якості тестів; дістали подальшого розвитку теоретико-методичні засади створення та використання комп'ютерно-орієнтованих систем і засобів навчання, теоретичні та методичні проблеми розроблення та використання інформаційно-комунікаційних технологій для вимірювання та оцінювання рівня навчальних досягнень і моніторингу освітньої діяльності, теорія та методика підвищення кваліфікації кадрів інформатизації освіти. Практичне значення одержаних результатів полягає в тому, що розроблено: основні компоненти комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики викладачами ЗВО; автоматизовану систему аналізу якості тестових завдань з вищої математики; технологію розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики; навчальну програму «Формування компетентності викладачів щодо оцінювання якості тестів з вищої математики» для підвищення кваліфікації наукових і науково-педагогічних працівників, розміщену на сайті Навчально-методичного комплексу «Інститут післядипломної освіти» КПІ ім. Ігоря Сікорського (http://ipo.kpi.ua/ua/pidvishchennja-kvalifikaciji.html); дистанційний курс за навчальною програмою «Формування компетентності щодо оцінювання якості тестів з вищої математики» в системі Moodle, розміщений на сайті Навчально-методичного комплексу «Інститут післядипломної освіти» КПІ ім. Ігоря Сікорського (https://do.ipo.kpi.ua/course/view.php?id=16); базу каліброваних завдань для тестів з вищої математики (1647 завдань); пакет тестів з вищої математики для студентів технічних спеціальностей ЗВО, що використовується викладачами фізико-математичного факультету КПІ ім. Ігоря Сікорського. Теоретичні та практичні результати дисертаційної роботи можуть бути використані: у ЗВО викладачами для аналізу та підвищення якості тестів з вищої математики, призначених для контролю знань студентів; у системі підвищення кваліфікації наукових та науково-педагогічних працівників для розвитку компетентності щодо оцінювання якості тестів з вищої математики, а також у процесі розроблення навчальних і методичних посібників з оцінювання якості тестів з вищої математики.Проведене дослідження не вичерпує всієї повноти проблеми і може бути продовжено за такими напрямами наукового пошуку: розроблення та впровадження методики комп’ютерно орієнтованого оцінювання якості тестів інших дисциплін; дослідження інноваційних методів IRT оцінювання якості тестів та вдосконалення засобів розробленої методики. The thesis for a Candidate Degree in Pedagogical Sciences (Philosophy Doctor) specialty 13.00.10. “Information and communication technology in education” (011 – Educational, pedagogical science). - National Technical University of Ukraine " Igor Sikorsky Kyiv Polytechnic Institute", Institute of Information Technologies and Learning Tools NAES of Ukraine, Kyiv, 2019. The paper studies the problem of assessing the quality of tests in higher mathematics by teachers of higher education establishments. The international and domestic experience on the research issue is analyzed and the concepts of "test", "test item", "quality of the test", "test quality assessment", "computer-oriented methodology of assessing the quality of tests" are specified. The necessity of combining methods of Classical Test Theory and Item Response Theory for assessing the quality of tests in higher mathematics is substantiated. The basic methods for assessing the quality of tests in higher mathematics in the context of CTT are determined. They include analysis of individual test items and the test in general. The test analysis consists in analysis of distribution of the results’ sample, estimation of the test reliability, validity and efficiency. The analysis of test items consists in analysis of the correlation matrix of items, analysis of the ensemble of characteristic curves of items, the analysis of polytomous items, the analysis of the distractors of the multiple choice items. The IRT-models for assessing the quality of tests in higher mathematics are determined: Rash and Birnbaum for dichotomous items, Andersen for polytomous items and Thyssen-Steinberg for multiple choice items. The IRT analysis of test items and the test in general is realized with the use of determined models and includes: evaluation of the latent parameters of IRT-models; analysis of the ensemble of characteristic curves of the test items; analysis of characteristic curves of levels of political test items; analysis of characteristic curves of distractors of multiple choice items. The issue of estimating of latent parameters of IRT-models is studied. The maximum likelihood is chosen for estimating of latent parameters. Its application is demonstrated by the example of the partial credit model. The following problems of practical parameter estimation of IRT-models are solved: the choice of initial values; the shift of estimated parameter; the presence of trivial levels of polytomous test items. The author's computer-based system of quality analysis of test items is developed. The fundamental functionality of this system: flexible choice of algorithm of statistical analysis of test results; visualization of graphical presentation of results; generation and support of the base of calibrated items. Statistical analysis of the system is based on the methods of CTT and IRT. The computer-oriented methodology of assessing the quality of the tests in higher mathematics by teachers of higher education establishments is developed. The purpose of assessing the quality of the tests is to improve the control of students' knowledge of higher mathematics. The main means of assessing the quality of tests is computer-based system of quality analysis of test items. Methods of assessing the quality of tests in higher mathematics are selected methods of probability theory and mathematical statistics, namely, methods of CTT and IRT. The general scheme reflects the content component of assessing. It includes the following steps: generation of test matrix; analysis of test and individual test items; final decision making. The generation of test matrix is the data preparation for follow-up analysis by computer-based system of quality analysis of test items. The analysis of the test in general includes: analysis of distribution of the results’ sample, estimation of the test reliability, validity and efficiency. Analysis of test items includes: analysis of the correlation matrix of items, analysis of the ensemble of characteristic curves of items, the analysis of polytomous items, and the analysis of the distractors of the multiple choice items. The final decisions are made on the basis of a consistent analysis of the complementary characteristics of IRT and CTT. At the same time, conclusions on the quality of both individual test items and the test in general are drawn. It is expedient to realize the introduction of a computer-based methodology of assessing the quality of tests in higher mathematics step-by-step: the development of teachers' competence in assessing the quality of tests and the application of a computer-oriented methodology for assessing the quality of tests in higher mathematics by teachers in their professional activities. It is expedient to realize the use of computer-oriented methodology for assessing the quality of tests on higher mathematics by teachers in accordance with the general scheme of the teacher's work with tests in higher mathematics. This scheme provides: solution of the problem of determining the approach to creation of tests; creation the test; estimation of content validity; test loading into the computer test system (Moodle); trial test administration; importation of test results and quality assessment of tests based on the developed methodology; decision making about the test quality and further actions with it; retention of test and test items together with their statistical characteristics in the base of calibrated items. The use of tests requires high level teachers’ competence concerning the quality of tests in higher mathematics. The teacher's competence concerning the quality of tests in higher mathematics is defined as teacher’s readiness and ability to calculate the characteristics of the test, test items with the use of ICT and on the basis of these characteristics to evaluate the quality of single item and objectively draw conclusions about the quality of the test, its improvement and the expediency of using in the learning process for knowledge control of higher mathematics. The basic criteria of teachers’ competence concerning the quality of tests in higher mathematics are defined and described: value-motivational, cognitive, and operational-activity. The characteristics of the defined criteria for basic, advanced and professional levels are presented. The development model of teachers' competence concerning the quality of tests in higher mathematics is proposed. It consists of the following components: motivational, content, technological, diagnostic and resultative. The development methodology of teachers' competence concerning the quality of tests in higher mathematics is based on this model. The general results of the pedagogical experiment gives evidences to confirm that the introduction of the computer-oriented methodology for assessing the quality of tests in higher mathematics will promote the development of teachers' competence concerning the quality of tests in higher mathematics and improvment of knowledge control. The result of introduction of the developed computer-oriented methodology of assessing the quality of tests in higher mathematics by teachers of higher education establishments confirms its effectiveness. Scientific novelty and theoretical meaning of the research: for the first time the computer-oriented methodology of assessing the quality of tests in higher mathematics by teachers of higher education establishments has been substantiated based on interaction of the methods of KTT and IRT; the criteria and levels of teachers’ competence concerning the quality of tests in higher mathematics has been defined; the development model of teachers' competence concerning the quality of tests in higher mathematics has been developed; the concepts of test, test item, quality of the test, test quality assessment and computer-oriented methodology of assessing the quality of tests have been specified; methods of test quality improvement and methods of estimation of latent parameters of test items have been improved; future developments of theoretical and methodical foundations of the creating and using of computer-based systems and tutorials, theoretical and methodical problems of development and use of information and communication technologies for measurement and evaluation of academic performance and monitoring of educational activities, the theory and methods of training, retraining and advanced training of informatization of education have been suggested. Practical meaning of the received results: the main components of the computer-oriented methodology of assessing the quality of tests in higher mathematics by teachers of higher education establishments has been developed; the computer-based system of quality analysis of test items has been developed; the development thechnology of teachers' competence concerning the quality of tests in higher mathematics has been developed; the curriculum "Development of the teachers’ competence concerning the quality of tests in higher mathematics" for the advanced training course of scientific, scientific and pedagogical staff has been developed and placed on the site of the Educational methodical complex "Institute of Postgraduate Education" of Igor Sikorsky Kyiv Polytechnic Institute (http://ipo.kpi.ua/ua/pidvishchennja-kvalifikaciji.html); the distance course "Development of the teachers’ competence concerning the quality of tests in higher mathematics" has been developed and placed on the site of the Educational methodical complex "Institute of Postgraduate Education" of Igor Sikorsky Kyiv Polytechnic Institute (http://ipo.kpi.ua/ua/pidvishchennja-kvalifikaciji.html); the base of calibrated items in higher mathematics (1647 items); the test package in higher mathematics for students of technical specialties higher education establishments, used by teachers of Faculty of Physics and Mathematics of Igor Sikorsky Kyiv Polytechnic Institute, has been developed. The materials and the results of the research can be used by teachers of mathematics in higher education establishments for analysis and improvement of the quality of tests in higher mathematics, in the system of advanced training of scientific, pedagogical and scientific staff for development of teachers' competence concerning the quality of tests in higher mathematics and in the process of developing educational and methodological manuals for the assessment of the quality of tests in higher mathematics. The research does not exhaust the completeness of the problem and can be proceeded in the following areas of scientific research: development and introduction of the computer-oriented methodology of assessing the quality of tests of other branches of science; research of innovative methods of IRT for assessing the quality of tests and improving the developed methodology |
|
| Date |
2019
|
|
| Type |
Thesis
NonPeerReviewed |
|
| Format |
text
text text |
|
| Language |
uk
uk uk |
|
| Identifier |
http://lib.iitta.gov.ua/716277/2/diss%20%D0%94%D1%83%D0%B4%D0%BA%D0%BE%20%D0%90.%D0%A4..pdf
http://lib.iitta.gov.ua/716277/3/%D0%92%D1%96%D0%B4%D0%B3%D1%83%D0%BA_%D0%A2%D1%80%D0%B8%D1%83%D1%81%20%D0%AE.%D0%92..pdf http://lib.iitta.gov.ua/716277/4/%D0%92%D1%96%D0%B4%D0%B3%D1%83%D0%BA%20%D0%9A%D0%B8%D1%81%D0%BB%D0%BE%D0%B2%D0%BE%D1%97%20%D0%9C.%D0%90..pdf - Дудко, А.Ф. (orcid.org/0000-0003-3858-7313 <http://orcid.org/0000-0003-3858-7313>) (2019) Computer-oriented methodology of assessing the quality of tests in higher mathematics by teachers of higher education establishments Dissertation candidate thesis, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Інститут інформаційних технологій і засобів навчання НАПН України. |
|