Az AI kérdés generálás is lehet hibás, és ami rosszabb: magabiztosan az. Az AI nem jelzi, ha bizonytalan — ugyanolyan gördülékeny kérdést ír akkor is, ha a tananyagban benne van, amit állít, és akkor is, ha nincs. Miért? Mert az AI-t arra programozták, hogy mindenképpen adjon választ. A kapott kérdés így semmit nem árul el arról, honnan származik az információ. A modell ugyanúgy meggyőző mondatot ír akkor is, ha valós forrásanyagból dolgozik, és akkor is, ha a hiányzó részt a saját általános tudásából egészíti ki – ez lehet pontatlan vagy elavult. Ezért a gépi kérdésgenerálásnál nagyon fontos, hogy mi történik a kérdéssel, mielőtt valódi felhasználó képernyőjére kerül.
Mit vizsgálunk az AI generált kérdésen?
Nem elgépelést és nem stílust. Két szempont számít:
- Alátámasztja-e a forrásanyag? A kérdés olyasmire kérdez rá, ami a tananyagban ténylegesen szerepel — vagy a megfogalmazás hibátlan, de nincs köze a forrásanyaghoz.
- Egyértelmű-e? A kérdés, a válaszok és az esetleges magyarázatok egyértelműek-e vagy túl általánosak ahhoz, hogy a tanuló jól tudjon választani a lehetőségek közül.
Ebben a cikkben nem az AI által generált jó vagy rossz válaszokkal foglalkozunk (azt megtettük az előző cikkben), hanem általában foglalkozunk a kérdéssel.
Miért nem elég, ha a rendszer megkérdezi önmagát?
Kézenfekvő lenne az eredeti promptban (azaz az AI-nak adott utasításban) megerősítést kérni a generálást végző AI-tól, hogy ellenőrizze magát. Ez azonban ugyanaz a nézőpont lenne: ha a generáláskor félreértette az anyagot, az ellenőrzéskor ugyanúgy van erre esély. A saját hibáját nehezen veszi észre egy modell.
Mi következik ebből? Az ellenőrzést tehát egy másik AI modellel kell elvégeztetni. Nem azért, mert az fejlettebb (mert akkor azzal generáltattunk volna), hanem mert minden modell máshol téved. A feladata sem ugyanaz: nem azt kell eldöntenie, hogy a kérdés igaz-e általánosságban, hanem hogy a megadott forrásanyag alátámasztja-e a kérdést.
Az AI kérdés generálás ellenőrzése rangsorol, nem dönt
A gépi ellenőrzés nem hitelesíti a kérdést, és nem is egyszerű igen-nem szűrő. Minden kérdés négy adatot kap:
- Besorolást: változtatás nélkül használható, javítást igényel, vagy eldobandó.
- Hibakategóriát: rendben van, tartalmi hiba, félreérthető megfogalmazás, vagy egyéb.
- Szöveges indoklást: egy-két mondatot arról, hogy pontosan mi a probléma az adott kérdéssel.
- Megbízhatósági értéket: mennyire határozott maga a besorolás.
Ettől lesz a szakértő elé kerülő kérdés egy rangsorolt lista része, nem nyers gépi kimenet. A száz kérdésből tudni fogja, melyikkel kell először foglalkoznia, és miért.
A hibakategóriának ezen túl is van haszna. Ha egy generálásból sok a tartalmi hiba, az a forrásanyagról árul el valamit — talán túl vékony, vagy nem arról szól, amiről a kérdéseket vártuk. Ha sok a félreérthető megfogalmazás, az gyakran azt jelzi, hogy maga a tananyag nem határolja el elég élesen egymástól a fogalmakat — ilyenkor a gép sem tud jól megkülönböztethető válaszokat adni. Egyetlen kérdésnél ez semmit nem mond, száznál viszont már látszik a minta.
A döntés viszont változatlanul emberi. Ez nem túlzott óvatosság: a második modell azt tudja megállapítani, hogy egy állítás szerepel-e a forrásanyagban, azt nem, hogy érdemes-e számon kérni, megfelelő nehézségű-e, és jól méri-e azt, amit mérni akarunk. Ezek szakmai döntések.
AI kérdésgenerátorok használata
Ha gépi kérdésgenerálást választotok, három kérdés többet mond bármilyen demónál:
- Ellenőrzi-e valami a generált kérdést, mielőtt képernyőre kerül — ha igen mi ez az ellenőrzési pont?
- Az ellenőrzés a forrásanyaghoz méri a kérdést, vagy csak általános helyességet vizsgál?
- Mi történik a hibásnak megjelölt kérdéssel: eltűnik, vagy a szakértő látja, hogy miért lett gyanús?
A harmadik a legárulkodóbb. Ha a generáló program csendben eldobja a kétes kérdéseket, akkor a szakértő nem tudja megítélni, mennyire bízhat a maradékban.
A következő részben Ha a gép megírja a kérdést, a gép ellenőrzi, és a szakértő már csak jóváhagy — mi marad a szakmai munkából? A következő cikkben azt nézzük meg, hogy az AI kérdés generálás hogyan változtatja meg a szerepeket, és miért lesz szakmailag igényesebb attól, hogy kevesebb időt vesz igénybe a feladat.
No Comments Yet