8.3.1. A tudásszintmérő tesztek készítésének folyamata
A tudásszintmérő teszteket egy jól meghatározható folyamat eredményeként tudjuk elkészíteni. Ennek a folyamatnak a legfontosabb lépéseit mutatja a 8.1. ábra.
A tananyagelemzés fázisai
A 8.1.2. fejezetben már részletesen tárgyaltuk a lehetséges mérési célokat és helyzeteket. A tesztkészítéskor ezeknek a tisztázását követően szükséges a tananyag többszempontú elemzése: egyrészt egy tartalmi, másrészt pedig egy funkcionális elemzés, amelyekből kiindulva lehet meghatározni a mérési követelményeket.
Szövegfeldolgozási feladatok
8.17. Olvassa el figyelmesen Orosz (1995, 93–100. o.) kifejtését a tananyagelemzés fázisairól, majd válaszolja meg a következő kérdéseket!
- Milyen lépésekben végezhetjük el a tananyag tartalmának elemzését?
- Milyen feltételeknek kell egy tananyagstruktúrának megfelelnie?
- Milyen információkkal szolgálhat, milyen előnyei vannak a tanár számára a fogalom- és tananyagstruktúra létrehozásának?
8.18. Olvassa el figyelmesen Einhorn (2012, 83–88. o.) tárgyalását a mérési követelmények meghatározásának lépéseiről, majd válaszolja meg a következő kérdéseket!
- Indokolja meg, miért lényeges a fejlesztési célok figyelembevétele a tesztkészítés folyamatában! Milyen problémákat okozhat, ha a mérési követelmények nem illeszkednek a fejlesztési célokhoz?
- Melyek a mérési követelmények meghatározásának lépései?
A tananyag elemzésekor lényeges feladat annak beazonosítása, hogy milyen szinten kellett elsajátítaniuk a tanulóknak a tudáselemeket a tanítási-tanulási folyamat adott szakaszában. Ez a lépés azért fontos, mert ennek megfelelően lehet meghatározni azt, hogy milyen szinten szükséges a tanulóknak a tudásukat alkalmazniuk a tesztfeladatok megoldásakor. Ez alapján lehet tehát azt eldönteni, hogy a feladatok felismerés, kapcsolás, kivitelezés vagy értelmezés követelményszintet mérjenek-e. Mérési hiba adódik akkor, ha a tanulóknak bizonyos tudáselemeket felismerés, illetve kapcsolás szintjén tanítottunk meg, a tesztfeladatokban viszont alkalmazási feladatok szerepelnek. De az is problémát jelent, ha (például idegen nyelvből vagy matematikából) a tanulóknak kivitelezés és értelmezés szinten kellett elsajátítaniuk az adott tananyagrész tartalmát, a tesztben viszont csak felismerés és kapcsolás szintű feladatok szerepelnek.
A feladatlap tervezése
A tananyag elemzését követően tudjuk megtervezni a feladatlapot, vagyis azt állapíthatjuk meg, hogy a teszttel milyen tartalmat, követelményt akarunk mérni, hogy elvárásaink szerint milyen szinten alkalmazzák a tanulók a tudásukat. Ez határozza meg azt is, hogy milyen típusú feladatokkal és milyen feladatmegoldó tevékenységgel vizsgáljuk a tanuló tudását. Célszerű mindezt egy tartalom- és követelményrendszerben rögzíteni. Ehhez használhatunk egy négy oszlopból álló táblázatot, ami megadja, hogy mit, milyen szinten, milyen típusú feladattal és a teszten belül hol akarunk mérni. Az alábbi táblázat példaként a 7. fejezet végén szereplő teszt tartalom- és követelményrendszerét mutatja.
A feladatok készítése
A feladatírási folyamatban lényeges mozzanat, hogy a készített feladatok megfeleljenek a feladattipológiai szabályoknak, alapelveknek. A mellékelt fájlban (8_Feladatírás.doc) összegeztük a legfontosabb tudnivalókat.
Tesztelemzés
A teszt alkalmazásának utolsó fázisa az eredmények feldolgozása, értelmezése. Ennek a lépésnek a szemléltetésére példaként a 7. fejezet végén lévő diagnosztikus teszt eredményeit használjuk (8_Tesztelemzés.xls). A mellékelt adatbázis azt mutatja, hogy az összegyűjtött adatokat hogyan célszerű elrendezni az elemzéshez. Függőlegesen látható minden diák eredménye, vízszintesen pedig az, hogy a hallgató milyen eredményeket ért el az itemeken, a feladatokon és a teszt egészén. Itemszinten a helyes válasz
Ebből a táblázatból néhány fontos következtetést már meg tudunk fogalmazni az itemek, a feladatok és a teszt szintjén, valamint a tanulócsoport teljesítményét illetően. Az itemeket jellemző nehézségi indexet az átlag segítségével fejezhetjük ki, és azt várjuk, hogy az érték 0,25 és 0,80 között legyen; az ez alatti itemek túl nehezek, az efölöttiek pedig túl könnyűek az adott csoportban. Ezek az itemek általában nem szolgáltatnak pontos információt a tanulókról, jellemzően a differenciáló erejük is alacsony. Ez utóbbi paramétert a szórással számíthatjuk ki. Az itemek megbízhatóságát jelölő korrelációs együttható értéke -1 és 1 között van, és azt várjuk, hogy legalább 0,3 fölött legyen. Az ez alatti értékkel rendelkező itemek általában mást is mérnek, mint a teszt egésze, például tippeléssel megoldható az item, vagy félreérthetően fogalmaztuk meg. Feladat- és (szub)tesztszinten általában az átlagot és a szórást vizsgálva láthatjuk, hogyan teljesítettek a tanulók. Ezeket a paramétereket célszerű százalékpontban kifejezni, hogy az eredmények összehasonlíthatók legyenek. Az eredményeket egyszerűen, Excel függvények alkalmazásával is ki tudjuk számítani.
Szövegfeldolgozási feladatok
8.19. Olvassa el figyelmesen Csapó (2004, 289–290. o.) ismertetését! Milyen paraméterekkel tudjuk jellemezni az itemek minőségét?
8.20. Vizsgálja meg a 7. fejezet végén szereplő diagnosztikus teszt eredményeit tartalmazó adatbázist (8_Tesztelemzés.xls), és válaszoljon az alábbi kérdésekre! (A feladat megoldása előtt olvassa el újra a feladatokat és a javítókulcsot!)
- Vizsgálja meg a tesztszintű eredményeket! Mennyire volt nehéz a teszt a diákoknak? Mekkorák a különbségek a hallgatók teljesítménye között? Milyen a csoport összetétele?
- Vizsgálja meg a feladatszintű eredményeket! Melyik feladat volt a legkönnyebb? Ennek mi lehet az oka? Melyik feladatok mentek nehezebben? Mely feladatok esetében heterogén a csoport összetétele?
- Vizsgálja meg az itemszintű eredményeket! Válaszoljon a következő kérdésekre!
-
- Azonosítsa a teszten belül a problémás itemeket! Melyek bizonyultak túlságosan könnyűnek, melyek túl nehéznek? Mely itemeknek alacsony a differenciáló ereje? Mely itemek megbízhatósága problémás a korreláció alapján?
- Az 1. feladatban a definíció mely elemét ismerték a tesztkitöltők leginkább, melyiket kevésbé?
- Milyen nehézségű itemekből áll a 2. feladat?
- Mely itemek tekinthetők problémásnak a 3. feladatban? Melyik paraméterrel van probléma, és ennek mi lehet az oka?
- Milyen nehézségű itemeket tartalmaz a 4. feladat? Mi lehet a 4b) item esetében az alacsony korreláció hátterében?
- Mi lehet az oka annak, hogy az 5. feladat a), b) és c) iteme könnyebb volt a d), e) és f) itemnél?
Önálló feladatírás, tesztfejlesztés
Alkalmazási feladatok
8.21. Készítsen egy tananyagrészt lefedő, 25–30 itemből álló diagnosztikus tesztet, és készítse el a hozzá kapcsolódó dokumentumokat (tananyagstruktúra, tartalom- és követelményrendszer, javítókulcs)! A feladatot a következő lépésekben végezze el!
- Válassza ki egy tantárgy valamely témakörét és annak egy tematikus egységét. Ügyeljen arra, hogy ne válasszon ki túl nagy tananyagrészt, hiszen csupán 25–30 itemet kell írnia önállóan, amely maximum 8–10 feladatot jelent.
- Írja ki a tananyagrészben szereplő fogalmakat és a hozzájuk tartozó tényeket! Készítse el a tananyagstruktúrát!
- Azonosítsa a kiválasztott tananyagrészben a fejlesztési célokat! Ehhez használja az Einhorn (2012, 86–88. o.)-szövegrészben szereplő kérdéseket!
- Állapítsa meg az egyes, mérni kívánt tudáselemekről, hogy milyen szinten kellett a diákoknak elsajátítani őket! Határozza meg az alkalmazási kritériumokat!
- Tervezze meg a feladatlapot, hozzon létre egy tartalom- és követelményrendszert!
- Készítse el a feladatokat! Ügyeljen arra, hogy a feladatok összhangban legyenek a követelményekkel! A feladatokkal párhuzamosan készítse el a javítókulcsot! Gondolja alaposan végig és rögzítse, milyen szempontok szerint értékeli a válaszokat!
8.22. Vitassa meg társaival a feladatsorát, a tapasztalatok alapján javítsa a tesztjét!
8.23. Lektorálja a társainak a tesztjét! Ezt a következő lépésekben végezze el!
- Oldja meg a feladatokat úgy, mintha diákként töltené ki a tesztet! Ekkor a következőkre figyeljen: Elegendő-e az instrukció? Egyértelmű-e a feladat megfogalmazása, elegendő-e az utasítás, a kérdés? Van-e elég hely a tesztfeladat kitöltésére?
- Javítsa ki a saját megoldásait! Ekkor a következőkre figyeljen: Egyértelmű-e és elegendő-e a feladat megoldásáról az információ a javítókulcsban? Ezt a kérdést különösen a feleletalkotó feladatoknál vizsgálja meg! Összhangban vannak-e az itemek és a kódkockák egymással? Egyértelműen be tudja-e kódolni (0/1) a saját megoldásait?
- Vizsgálja meg a feladatokat feladatírói szempontból! Megfelelő-e a feladat feladattipológiai szempontból? Összhangban van-e a követelmény a feladattípussal?
- Azonosítsa, melyek azok a problémák, amelyek javíthatók a feladatban, a javítókulcsban vagy tartalom- és követelményrendszerben! Tegyen konkrét javaslatokat a javításra! A hibára vonatkozó észrevételeit minden esetben úgy fogalmazza meg, hogy az segítse a feladatírót a további munkájában!