A gépi kérdésgenerálás legelső ellenvetése rendszerint nem technikai: „Ha géppel generáljuk a kérdéseket, akkor mi szükség rám?”

A mögötte lévő félelem akár jogos is lehetne: ha egy gép írja a kérdést, a szakmai munka látszólag lefokozódik jóváhagyó kattintássá. A gyakorlatban ennek az ellenkezője történik — de csak abban az esetben, ha a bevezetést jól csináljuk.

Mi tűnik el a munkából?

Semmi valóban szakértői szintű. A megfogalmazás, a beírás, a paraméterezés, a mentés — ezek adminisztratív, kivitelezési lépések, amelyeket eddig azért csinált a szakértő kollega, mert nem volt más megoldás.

Ami marad: annak eldöntése, hogy egy kérdés szakmailag helytálló-e, azt méri-e, amit mérni akarunk, és publikálhatjuk-e a tanulók elé. Ez az a munka, amiért valóban megéri a szakértőnek időt töltenie a feladattal.

Miért nehezebb ez, mint megírni a kérdéseket?

Mert sűrűbb. A kérdésírás perceiből másfél volt szakmai döntés, a többi gépelés — a szakmai figyelem szétterült a kivitelezésben. Lektorálásnál minden perc értékes döntés.

Ezen túl a lektor másképp néz egy kérdésre, mint aki írta azt. A szerző azt kérdezi magától, hogy jó-e, amit írt. A lektor azt is figyeli, hogy hol romolhat el. Ez a második nézőpont az, ami a kézi kérdésírásból rendszerint hiányzik — nem szakértelem hiányában, hanem mert ugyanaz az ember nem tudja egyszerre írni és kritikusan olvasni a saját munkáját.

A valódi kockázat: a „pecsételés”

Az igazi veszély nem az, hogy a szakértő feleslegessé válik, hanem az, hogy a jóváhagyás formalitássá üresedik: Ha valaki száz gépi kérdést kap egyben, és az első húsz rendben volt, a maradék nyolcvanra hajlamos lesz gépiesen rábólintani. Ez nem hanyagság, hanem emberi működés — a szakirodalom automatizálási elfogultságként ismeri.

Két módon tudjuk ezt kezelni. Az egyik, hogy a szakértő ne egyforma listát kapjon: ha látja, melyik kérdést jelölte meg az ellenőrzés és miért, a figyelme oda kerül, ahol szükség van rá. A másik, hogy legyen visszaút: a javítás és az elutasítás ugyanolyan könnyű legyen, mint a jóváhagyás. Ha a rendszer a jóváhagyást teszi kényelmessé, hajlamosak vagyunk könnyebben abba az irányba fordulni.

Végül

Cikksorozatunk elején onnan indultunk, hogy a vállalati tudástesztek jelentős része nem tudást mér, hanem teljesítés igazolást állít elő — és hogy ennek két oka van: nincs elég idő jó kérdést írni, illetve, hogy a rossz kérdés nem mér semmi releváns adatot a szervezeti tudásról.

A gépi kérdésgenerálás használata mindkettőt pozitív irányba tudja elmozdítani. Az adminisztratív terheket leveszi a szakértőről, és olyan releváns kérdéseket ad, amilyeneket kézzel, a hetvenedik megírt kérdés után már senki nem tud írni. Nem veszi ki a szakértőt a folyamatból, csak értékes munkát biztosít számára.

Amiről a példák szóltak

A sorozatban használt példákat és működést egy létező informatikai megoldás ihlette. Az ARTTQM egy, az ARTudásmenedzsment által fejlesztett Moodle-bővítmény: feltöltött nyersanyagból generál kérdéseket, egy második, független modellel ellenőrizteti őket a forrásanyaghoz mérve, majd a jóváhagyó felületen rangsorolva teszi a szakértő elé — besorolással, hibakategóriával és magyar nyelvű indoklással. A jóváhagyott kérdések a Moodle kérdésbankjába kerülnek, és onnantól ugyanúgy használhatók, mint bármelyik kézzel írt kérdés.

Keressetek meg — szívesen megmutatjuk részletesen a működését és közösen kiszámoljuk mennyi szakértői időt lehet megspórolni.