A vállalati tudás tesztek jelentős része nem tudást mér, hanem teljesítési igazolást állít elő. Az eredmény bekerül az oktatási keretrendszerbe, egy jelentésbe, az audit naplóba — de senki nem kérdezi meg, mit tudunk meg belőle a szervezet tudásáról. A kérdés nem az, hogy legyen-e teszt, hanem hogy megéri-e egyáltalán mérni, ha az eredményből nem vonjuk le a megfelelő következtetéseket.

Mi történik az eredménnyel?

Nézzünk egy konkrét példát: egy kötelező képzés lezárul, a teszt kitöltési aránya 98 százalék, az átlageredmény 77 pont – nem jó, de annyira nem rossz, hogy akciótervet kelljen rá készíteni. A szám bekerül a riportba, a riport a vezetői összefoglalóba, és ezzel a folyamat véget ér.

Amit ebből a folyamatból soha nem tudunk meg: melyik témakör húzta le az eredményt, és van-e olyan tartalom, amit senki nem ért. Pedig ezek az adatok elvileg benne vannak a rendszerben és hozzájárulhatnak a szervezet eredményesebb működéséhez — csak nem tesszük fel a megfelelő kérdést.

Mikor mond valamit egy teszteredmény?

Két feltétel kell hozzá:

  • Az első: a kérdésnek mérnie kell. Ha a válaszlehetőségek közül több nyilvánvalóan rossz, a tanuló kizárásos alapon is eltalálja a helyes megoldást — az eredmény szép lesz, de nem a tudásról szól.
  • A második: az eredményből következnie kell valaminek. Ha az alacsony pontszám nem indít el semmit — sem tartalomjavítást, sem ismétlést, sem célzott képzést —, akkor a mérés önmagáért történik.

Miért nem így működik a gyakorlatban?

Véleményünk szerint ennek két konkrét oka van:

Az egyik ráfordítás oldali. A kérdéseket többnyire a téma szakértője írja, akinek ez általában nem a legfontosabb feladata. Száz kérdés megírása olyan sok időt vesz igénybe, amit a szervezet ritkán tud kigazdálkodni — a kérdésbank ezért marad kicsi, és ezért nem frissül.

A másik minőség oldali. Ha a kérdéseket időhiányban állítottak össze, a nagy részük nem lesz alkalmas a valódi tudásszint mérésére. Ilyenkor hiába elemeznénk az eredményt: a kitöltött tesztek eredménye nem válaszol a cikk első részében feltett kérdésekre a szervezeti tudásra vonatkozóan.

Amíg ez a két akadály fennáll, a tudásellenőrzés ezekben a szervezetekben szükségszerűen adminisztratív marad. Ez nem szemlélet kérdése, hanem kapacitásé.

Miről szól ez a sorozat?

A következő hetekben azt járjuk körül, hogy a gépi kérdésgenerálás hogyan bontja le ezeket az akadályokat. Először a ráfordítás oldaláról: konkrét számokkal nézzük meg, hol gyorsul a folyamat. Aztán a kérdésminőséget vizsgáljuk: mitől lesz egy tesztkérdés egyáltalán alkalmas a használatra. Majd az ellenőrzésről lesz szó: hogy a nem megfelelő gépi kérdés hogyan szűrhető ki, mielőtt bárki elé kerül. Végül a szerepekről: mi az, ami továbbra is a szakértő dolga, és mit érdemes egyáltalán automatizálni a tesztelési folyamatban.

A következő részben

Száz kérdés, egy tananyag, egy szakértő. Megnézzük, mennyi idő megy el rá valójában — és mennyi marad belőle, ha a kivitelezést gépre bízzuk.