A gyenge tesztkérdés ritkán a kérdés vagy helyes válasz megfogalmazása miatt gyenge. A rossz válaszlehetőségek miatt az. Ez nem szubjektív megítélés kérdése: a témának több évtizedes mérésmetodikai szakirodalma van, és a főbb megállapítások meglepően egy irányba mutatnak.

Mit mérünk valójában?

Ha négy válaszlehetőségből több nyilvánvalóan rossz, a kérdés nem tudást mér, hanem a kizárásos gondolkodást. A tanuló nem azért talál rá a helyes válaszra, mert ismeri az anyagot, hanem mert kizárja azokat, amelyek nem jöhetnek szóba. A teszt lefut, az eredmény jó, a mérés viszont fals információt ad.

A kérdés minősége nem csak azon múlik, hogy jól fogalmaztuk-e meg a kérdést vagy a helyes választ, legalább annyira fontos, hogy a többi válaszlehetőség hogyan sikerült.

Négy hiba, amit a szakirodalom következetesen azonosít

Egy 2002-es összefoglaló tanulmány (Haladyna, Downing és Rodriguez) átnézett 27 tudásmérésről szóló tankönyvet és megvizsgálta 27 kutatás eredményét. A helytelen válaszlehetőségekkel kapcsolatban az alábbiakra jutottak:

  • Az irreális válaszlehetőségű: a vizsgált tankönyvek 96 százaléka mondja ki, hogy minden elterelő válasznak hihetőnek kell lennie.
  • A nyelvtani illeszkedésből adódó nyom: a kérdés végződéséhez csak az egyik válasz illeszkedik. A tanulmány külön nevesíti ezt is a helyes válaszra utaló nyomok között.
  • A válaszlehetőségek aránytalan hossza: a leghosszabb, legrészletesebb válasz szinte mindig a helyes — a szerző ott fejtette ki magát. A tankönyvek 85 százaléka figyelmeztet erre.
  • A „mindegyik igaz” típusú válasz: kényelmes megoldás, de a kutatás szerint kulcsot ad a tanuló kezébe (a tanuló sejti, hogy ilyen lehetőség esetén ez a jó válasz), és rontja a teszt megbízhatóságát.

A hibás kérdés bukáshoz is vezet

Eddig arról beszéltünk, hogy a rossz válaszlehetőség segít annak, aki nem tudja az anyagot. A hiba azonban a másik irányba is működik, és ez a ritkábban tárgyalt eset.

Ha egy kérdés kettős tagadást használ, túlbonyolítja a felvezetést, vagy két olyan választ kínál, amelyek közül valójában mindkettő védhető, akkor valóban nehéz kérdés lesz — de nem arról az oldalról, amit mérni akarunk: Aki ismeri az anyagot, félreértheti, hogy mit kérdeztek tőle, és emiatt válaszol rosszul. Nem a tudása hiányzott, hanem a kérdés volt rossz.

Vállalati környezetben ennek közvetlen következménye van. Aki ilyen hibás kérdés miatt kerül „nem teljesített” státuszba, annak ismételnie kell a vizsgát, a riportokban pedig hibaként jelenik meg valami, ami valójában kérdésírási hiba volt.

Milyen egy valóban jó minőségű “rossz” válaszlehetőség?

A valódi eredményeket mutató „rossz válasz” olyan fogalom, tény vagy állítás, ami valóban szerepel a tananyagban, valóban kapcsolódik a kérdéshez — csak éppen nem az adott kérdésre válasz.

A kitalálásukhoz vissza kell lapozni a tananyagban, és meg kell keresni azokat, amiket a tanuló összekeverhet a helyes válasszal.

Ez a visszalapozás marad el a hetvenedik kérdésnél. Nem hanyagságból, hanem időhiány miatt.

A gépi kérdésgenerálás a teljes forrásanyagot egyszerre látja. A rokon fogalmakat, a hasonló határidőket, a könnyen összekeverhető eljárásokat abból az anyagból emeli ki, amiből a helyes válasz is jön. Ettől lesz a rossz válasz hihető — és ettől mér a kérdés valóban tudást.

A magyarázat, ami kézzel sosem készül el

Száz kérdés négy válaszlehetőséggel négyszáz magyarázatot jelentene: opciónként egy mondatot arról, miért helyes vagy miért nem. Kézzel ez nem készül el, nem is várható el.

Gépi generálásnál viszont a magyarázat és a tipp ugyanabban a lépésben keletkezik, mint maga a kérdés. Ettől a kérdésbank nem csak mérőeszköz lesz, hanem tanulási eszköz is: a tanuló nemcsak azt tudja meg, hogy hibázott, hanem megismerheti a helyes megoldás, rögtön korrigálva ezzel ismereteit.

A következő részben

A generált kérdés is lehet rossz. Lehet benne olyan állítás, ami a tananyagban nincs is benne — magabiztos megfogalmazásban. A következő cikkben azt nézzük meg, hogyan lehet ezt kiszűrni, mielőtt a szakértő elé kerül.