Реферати українською » Педагогика » Аналіз тестових завдань при використанні системи Moodle


Реферат Аналіз тестових завдань при використанні системи Moodle

Страница 1 из 2 | Следующая страница

Аналіз таки тестових завдань під час використання системиMoodle

Широке використання електронних системам управління навчанням над останню зумовлено наявністю у яких коштів, дозволяють зробити технологічнішою найважливішу складову частину процесу навчання, пов'язану з оцінкою рівня освоєння учнями досліджуваного навчального матеріалу. Йдеться про використання автоматизованих тестових систем як засіб виміру рівня підготовки учнів.

Для цього у системіMoodle, як та інших сучасних системах аналогічного призначення, є підсистема, що дозволяє формувати банки таки тестових завдань всіх основних форм – «у зачиненій формі», «>вичисляемие», «короткий відповідь», «числові», «щодо відповідності», «вкладені відповіді», і робити з них тести, призначені для самоконтролю і тренінгу, тематичні тести, тести для поточної і підсумковій оцінок рівня учнів та інших.

Для викладача, котрий використовує що така кошти за викладанні своїх навчальних курсів, велика частка його полягає у створенні банку таки тестових завдань, забезпечує вирішення завдання оцінки успішності освоєнняобучаемими представленого ним навчального матеріалу. У цьому неминуче виникає запитання якість розроблених і використовуваних таки тестових завдань з погляду їх спроможність адекватно вирішувати проблему виміру рівня підготовки піддослідних, правильно диференціювати в відповідність до дійсним рівнем їхньої підготовки. Річ у тім, що тестові завдання, задовольняють формальним вимогам, наприклад, правильність форми, логічна точність і несуперечність висловлювань та ін., практично можуть мати якостями, що дозволяє розглядати їх як повноцінний засіб виміру рівня підготовки піддослідних.

Власне кажучи, питання про здатність конкретних контрольно-вимірювальних матеріалів дійсності служити засобом виміру рівня підготовки учнів має місце під час використання будь-який системи оцінювання, зокрема і за використанні традиційних екзаменаційних випробувань в усній чи письмовій формах. Але саме за використанні автоматизованих тестових систем виникає можливість реального застосування з оцінки якості використовуваних контрольно-вимірювальних матеріалів формалізованих підходів, заснованих на виключно методології теорії педагогічних вимірів. Стають можливими накопичення і статистичне опрацювання результатів випробувань, і отримання кількісних характеристик, дозволяють оцінювати якість тестових контрольно-вимірювальних матеріалів.

Одне з відомих підходів для такого аналізу виходить з відомій у теорії педагогічних виміріводнопараметрической моделі Раша. Практичне використання запропонованих цієї теорією підходів полегшується тим, що у системи управління навчаннямMoodle є розвинені вбудовані кошти на автоматизації обчислення за результатами виконання таки тестових завдань статистичних показників, дозволяють здійснювати об'єктивна оцінка якості таки тестових завдань з погляду їх спроможність служити засобом виміру рівня підготовки піддослідних.

ДляMoodle такого опрацювання результатів тестування необхідно навкладке перегляду результатів тестування (рис. 1) можливість перейти до пункту Аналіз питань.

Обробка результатів випробувань, необхідна щоб одержати характеристик якості таки тестових завдань, ось у чому.

Відповідно до педагогічної теорією вимірів отримані піддослідними результати випробувань видаються як матриці наступного виду (рис. 2).


>Рис. 1.Скриншот системиMoodle з переліком піддослідних, минулих тестування, і збереження одержаних ними результатів

>Рис. 2. Матриця результатів таки тестових завдань

У шпальтах цієї матриці перебувають результати, отримані конкретними піддослідними в кожному тестовому завданням, а, по рядкам розміщуються результати кожного випробуваного з відповідного тестовому завданням. У нижньої рядку представлені сумарні значення балів, набраних кожним піддослідним за тест загалом (P.Sі = xіj). Ці значення йдуть на формування оцінки рівня підготовки піддослідних попроверяемому даним тестом навчальному матеріалу. У правом стовпці наведено суми балів, отриманих усіма піддослідними кожному за тестового завдання (дляj-го завдання –Pj = xі j). За величиною значеньPj вже можна оцінювати рівень реальної легкості (труднощі) конкретних таки тестових завдань для піддослідних у цій групі – що більше піддослідних правильно відповіло конкретну завдання, то це завдання на середньому легше до виконання. Для практичного використання, проте, як легкості (труднощі) завдань більш придатні відносні значення що така показників. Це індекс легкості завдання (Іл) і індекс труднощі завдання (ІТ):

де xпорівн – середнє балів, набраних усіма піддослідними у виконанніj-го завдання; x>максj – максимально можливу кількість балів у виконанніj-го завдання.

Ця характеристики (Іл і ІТ) таки тестових завдань є мірою легкості (труднощі) завдань для конкретної групи піддослідних. Значення цих параметрів залежать від міри підготовки піддослідних і залежить від їхньої кількості. Один із положень педагогічної теорії вимірів у тому, що у тесті повинно бути завдань невідомої труднощі. Важливість отримання кількісних характеристик легкості (труднощі) запропонованих піддослідним завдань у тому, що з здобуття права ці завдання мали здатністю диференціювати піддослідних за рівнем їхньої підготовки, тобто служити засобом виміру цього рівня, їх складність має відповідати середнього рівня підготовки піддослідних групи. Тест загалом має включати у собі комплекс завдань різної складності – від досить простих до важких, проте очевидно, що занадто прості завдання, куди правильно відповідають все до одного піддослідних, і дуже складні завдання, куди неспроможна відповісти ніхто з піддослідних, що немає здатністю диференціювати їх за рівню підготовки й у сенсі вони є справжніми тестовими завданнями. Такі завдання мають «>отбраковиваться» і виключатимуться з тіста.

Маючи впорядковані значення індексу легкості (труднощі) завдань тесту, як і представлене малюнку 3, можна оцінити рівень відповідності складових тест завдань середнього рівня підготовки випробовуваної групи.

>Рис. 3. Значення індексу легкості завдань длятестируемой групи

Подані дані свідчать, що яка у прикладі база таки тестових завдань досить рівномірно представляє питання різного рівня складності, у своїй дуже легких – «очевидних всім» і дуже складних – «ніким нерозв'язних» (тобтонетестових завдань) у тому, що свідчить про відповідність комплексу завдань цього тесту середнього рівня підготовкииспитуемой групи.

Інший характеристикою, яку дозволяють вираховуватимуть вбудовані до системиMoodle кошти аналізу результатів таки тестових завдань, є дисперсія цих результатів (чи його середньоквадратичне відхилення).Дисперсия результатів виконання таки тестових завдань обчислюється за такою формулою:


навчання електронний тестовий завдання

>Дисперсия результатів (чи середньоквадратичне відхилення ) характеризує розкид балів, отриманих усіма N піддослідними у відповідях конкретну (>j-е) завдання тесту. Якщо всі випробовувані відповідають завдання однаково, то характерне цим параметром розкид отриманих піддослідними балів дорівнюватиме нулю. Нульове чи низька значення розкиду одержуваних і під час конкретних таки тестових завдань успіхів у групі піддослідних свідчить про низькоюдифференцирующей здібності цих завдань, тобто їх слабку здатність розділяти піддослідних групи за рівнем їхньої підготовки. Такі завдання підлягають виключення з тесту. Щодифференцирующая здатність таки тестових завдань (більше величина розкиду результатів), які входять у тест, то вище якість тесту.

На малюнку 4 наведено приклад графіка упорядкованих значень середньоквадратичного відхилення результатів тестування, нормоване на максимально можливу кількість балів x>максj, тобто j/x>макс j, що можна отримати у виконанніj-го завдання.

>Рис. 4.Среднеквадратичное відхилення результатів виконання завдань


Як очевидно з малюнка 4, більшість як у прикладі таки тестових завдань середньоквадратичне відхилення має значення більше 0,3, що згідно з вимогами педагогічної теорії вимірів є гарним показникомдифференцирующей здібності таки тестових завдань. А завдання, котрим це значення менше 0,3, такий здатністю що немає, і тому вони мають виключатимуться з тесту.

Ще однією вагомою статистичної характеристикою якості таки тестових завдань, яку дозволяють вираховуватимуть коштиMoodle, є коефіцієнт кореляції безлічі значень відповідей, отриманих піддослідними і під час конкретного завдання, з результатами виконання цими самими піддослідними тесту загалом, який розраховується за такої формули:

де ; - дисперсія сумарних результатів піддослідних у виконанні всіх завдань тесту;sпорівн - середнє балів, отриманих усіма N піддослідними за тест загалом;sі - сума балівi-го випробуваного у виконанні всіх завдань тесту.

Це може приймати значення між –1 і +1 й у системіMoodle називаєтьсяКоеффициентомДифференциации (КБ). Його використання кронштейна як характеристики здібності конкретного тестового завдання правильно диференціювати піддослідних за рівнем їхньої підготовки, грунтується у тому, що у якісному тесті у середньому більше високі бали у відповідях кожне конкретне завдання тесту повинні будуть отримувати випробовувані, набираючі вищу суму балів у виконанні тесту загалом. Тобто стосунки між цими значеннями мусить бути позитивна кореляція. А негативні значення цього коефіцієнта свідчать, що з відповіді На цей завдання більш «слабкі» випробовувані загалом отримують вищі бали, що більш «сильні» випробовувані. Вочевидь, такі завдання, можливо, з допущених помилок у тому формулюванні або інших причин, не є справжніми тестовими завданнями, й також слід видаляти з тіста.

На малюнку 5 наведено приклад упорядкованих за величиною значень коефіцієнта диференціації, отримані тим ж таки тестових завдань, що у прикладі малюнку 6.

>Рис. 5. Коефіцієнт диференціації таки тестових завдань

>Cчитается прийнятним, якщо значення цієї коефіцієнта перевищує +0,3. З в прикладі малюнку 5 даних видно, що майже 30-ти як у експерименті таки тестових завдань не задовольняють наведеним вимогам (КБ < 0,3), більше, в кількох завдань значення цього коефіцієнта мають негативні значення, що свідчить про їх явних дефектах.

Вбудовані вMoodle кошти аналізу дозволяють також отримуватимуть важливу статистичну інформацію, що дозволить покращувати внутрішню структуру тестового завдання. Зокрема, одного з часто використовуваного типу таки тестових завдань, про завдань у зачиненій формі (вибір однієї чи кількох правильних відповідей з багатьох запропонованих), можна було одержати дані, що характеризують ефективності роботи кожногодистрактора такого тестового завдання.Дистрактори (від анг. todistract – відволікати) – це неправильні, але правдоподібні відповіді, пропоновані завданнях навчити подібного типу поруч із правильними відповідями.Moodle дозволяє визначати відносну частоту вибору піддослідними тих чи іншихдистракторов і під час конкретного тестового завдання. Вочевидь, щодистрактори, які вибираються рідко або зовсім не вибираються піддослідними, неефективні і, отже, повинні прагнути бути змінені чи віддалені зі спискудистракторов завдання.

На малюнку 6 представлений прикладскриншотаMoodle зі статистичними характеристиками однієї з таки тестових завдань.

>Рис. 6.СкриншотMoodle зі статистичними характеристикамидистракторов тестового завдання

Наведені вище приклади показують, що що у системіMoodle кошти дають можливість практичної реалізації автоматизованого контролю рівня підготовки учнів, а й надають викладачеві ефективного механізму поліпшення якості таки тестових завдань і підвищення точності й діють об'єктивності оцінки рівня піддослідних.

Можливість виявлення які відповідають з необхідними вимогами завдань тесту, саме: занадто легень і занадто важких завдань; завдань із малоїдисперсией результатів; завдань із низьким або негативним значенням коефіцієнта диференціації, як дозволяє покращувати якість тесту з допомогою винятки з нього таких проблемних завдань. Сам собою аналіз таких завдань, з'ясування причин, від яких вони потрапили до «проблемну» групу, також має для розробляє тест викладача великим методичним потенціалом. Наприклад, виявлення те, що деяке завдання виявилося занадто важким для групи піддослідних, може не про дефекті самого завдання, йдеться про недоліках в опрацюванні викладачем під час занять чи запропонованих студентам навчально-методичних матеріалах відповідного розділу навчального курсу. Аналіз самих «проблемних» таки тестових завдань чи його неефективнихдистракторов може спонукати для переробки форми та змісту таких завдань із метою усунення їх дефектів.

Говорячи про вплив якості таки тестових завдань на здатність тесту служити засобом виміру рівня підготовки учнів, слід пам'ятати, що у похибки тесту як засобу виміру практично можуть істотно впливати зовнішні чинники, пов'язані із дуже процедурою тестування. Це першу чергу, чинники, пов'язані з порушенням принципу рівності вимог, і умов проведення тестування всім піддослідних.

Однією з трьох чинників є розпізнавання піддослідними результатів таки тестових завдань. Для таки тестових завдань, особливо завдань закритого виду (вибір однієї чи кількох правильних відповідей з кінцевого числа запропонованих варіантів), існує ненульова ймовірність угадування піддослідним правильних відповідей за її випадковому виборі. Вочевидь, чим більше така ймовірність, тим більша похибка вимірювання під час використання тесту, яка веде до дискримінації сумлінних піддослідних, тобто піддослідних, не вдаються доугадиванию.Висказивается гіпотеза - про тому, що нижча рівень знань випробуваного, тим більше він мотивованою на розпізнавання, й у компенсації цього ефекту пропонується запровадження поправок на розпізнавання в вихідний тестовий бал випробуваного.

У зв'язку з цим як з найважливіших завдань, розв'язуваних під час складання тестового завдання, має бути максимальне зниження ймовірності угадування правильної відповіді нею. Цим цілям служить, зокрема, збільшити кількістьдистракторов в тестових завданнях навчити закритого типу, оскільки очевидно, що найбільшої вразливістю у плані мають тестові завдання малим числомдистракторов, особливо завдання з одного правильної відповіді з цих двох запропонованих, котрим ймовірність угадування становить. Це серйозним недоліком подібного типу таки тестових завдань, завдяки якому їх використання у тесті є їх украй небажаним. Проблема, проте, у тому, у цілому деяких випадках специфіка предметної області конкретного тестового завдання Демшевського не дозволяє вийти далеко за межі вибору однієї з двох станів. Наприклад, у разі перевірки знання піддослідним функціонування цифрових логічних схем, сигнали на входах і виходах яких принципово можуть міститися у одному з цих двох станів – 0 чи 1 (>true чиfalse). У разі можна рекомендувати об'єднання щодо одного тестовому завданні кількох питань з однієї з двох станів. СистемаMoodle дозволяє будувати що така ускладнені завдання, приклад якого наводиться малюнку 7.


>Рис. 7. Приклад об'єднання одному тестовому завданні кількох питань з однієї з двох станів

Великі можливості з погляду складання таки тестових завдань з низькою можливістю угадування правильних відповідей у системіMoodle надає тип завдання, званий Вкладені відповіді, дозволяє об'єднувати щодо одного завданні питання з відповідями різних типів. Завдання типу Вкладені відповіді складаються з тексту, у який вставляються відповіді спрямовані на цей текст питання типів –Множественний вибір, Короткі відповіді й Числові

Страница 1 из 2 | Следующая страница

Схожі реферати:

Навігація