12.1.2. A rendszerszintű mérések módszerei
A rendszerszintű felmérések jellemzőit alapvetően a pedagógiai mérés alapkérdései mentén célszerű szemlélni. Tehát először azt érdemes vizsgálni, hogy mi a mérési cél, majd azt, hogy milyen tudásterületet milyen jellegű feladatokkal, milyen tanulói populáción vizsgálnak. Ezt követheti a mérés módszertanának (feladatainak, mérési-értékelési eljárásainak) megismerése. Ezután érdemes az eredményeket elemezni, valamint azt, hogy azokból milyen következtetéseket lehet levonni.
Bár a különböző rendszerszintű felmérések között a céljaikban, tartalmukban, az alkalmazott feladatok jellegében, így az azokból levonható következtetésekben is jelentős különbségek vannak, de a rendszerszintű vizsgálatok fejlesztésének, lebonyolításának módszertanában sok közös elem is van. Ezeknek a jellemzőit fogalja össze a 12.1. ábra.
A rendszerszintű felmérések céljait, a vizsgált követelményeket, a tudásterület jellemzőit a tartalmi keret összegzi. A technikai keretben a felmérés lebonyolítására, a mintavétel alapelveire, az adatok kódolására, elemzésére és az eredmények értelmezésére vonatkozó szempontokat kell rögzíteni. Ezzel biztosítják a mérés validitását és objektivitását.
A tartalmi keret alapján készítik a szakképzett feladatírók a feladatokat, amelyeket több körben lektorálnak, fejlesztenek. A nemzetközi vizsgálatok esetében nagyon fontos, hogy a feladatok kultúrafüggetlenek legyenek, vagyis különböző országok eltérő kulturális közege ne befolyásolja az eredményeket (így például a mértékegységeket az adott országra jellemző módon adják meg, a feladatokban gyakran használnak kitalált országneveket). Ezt követi a feladatok kipróbálása, működésük részletes elemzése, majd a tapasztalatok alapján történő továbbfejlesztése. Ezzel a ciklikusan ismétlődő folyamattal garantálják a mérőeszközök érvényességét, megbízhatóságát, a pontos kiértékelési útmutatók elkészítésével az objektivitást.
A kipróbált feladatokból több tesztfüzetet állítanak össze, vagyis nem minden tanuló ugyanazokat a feladatokat tölti ki. A tesztfüzetek összeállításának módszerei nagyon érdekesek, a feladatok között vannak ún. horgonyfeladatok. Ezeknek a közös feladatoknak kettős funkciójuk van: egyrészt ezek kapcsolják össze az adott mérési éven belül a teszteket. Ilyenre az OKM-ben láthatunk példákat, a nyilvánosan közzétett feladatsorokban a 6. 8. és 10. évfolyamos tesztek között vannak átfedő feladatok. Másrészt azért, hogy az időbeli tendenciák vizsgálatát a rendszerszintű felmérések lehetővé tegyék, vannak olyan, nem nyilvánosságra hozott horgonyfeladatok is, amelyek korábbi mérési ciklusokban szerepeltek. Ezeknek a feladatoknak a segítségével van lehetőség arra, hogy közvetlenül összehasonlítsuk az eredményeket a korábbiakkal.
A technikai keret tartalmazza a mintaválasztás szempontjait. A minta kialakítása az OKM-en többnyire teljes körű. A nemzetközi vizsgálatokban viszont egy statisztikailag reprezentatív mintát választanak ki. Ez a minta általában intézményi szinten reprezentatív. A PISA-vizsgálatok esetében például a magyar kb. 5000 fős minta úgy jön létre, hogy kb. 150 iskolát választanak ki úgy, hogy azok jellemzőikben leképezzék a populációt, majd az intézményen belül kb. 30–35 tanuló tölti ki a feladatsorokat. Az adatok kódolása, rögzítése központilag történik a technikai keretben megadott eljárásoknak megfelelően.
A rendszerszintű mérésekben az eredményeket egy közös standard képességskálán fejezik ki, norma- és kritériumorientált értékeléssel értelmezik (l. 7.3. és 11.3. fejezet).
Az eredményeket többféle módon teszik közzé. A nemzetközi rendszerszintű vizsgálatokban például nemzetközi és nemzeti jelentések készülnek, az eredményeket tartalmazó, a nyilvánosság és a szakértők számára készített adatbázisokat elérhetővé teszik az adott mérés nemzetközi oldalán.