Projektbeschreibung:

Durch die zunehmend computerbasierte Testdarbietung auch bei Large Scale Assessments wie dem Programme for International Student Assessment (PISA) oder dem Programme for the International Assessment of Adult Competencies (PIAAC) werden erstmals prozessbezogene Daten verfügbar, die sich für die Modellierung von Kompetenzen und die Vorhersage und Erklärung kompetenter Testbearbeitung nutzen lassen.
Dies betrifft zum einen Informationen über Bearbeitungszeiten und zum anderen Informationen über Bearbeitungswege. Bearbeitungszeiten liefern wichtige Informationen für die Beschreibung von Kompetenzen insofern, als dass sie die Ausprägung von Fähigkeiten im Hinblick auf ihre Effizienz oder ihren Prozeduralisierungsgrad feststellbar machen. 

In diesem Projekt wird anhand von Daten aus der PIAAC-Studie die Struktur von Kompetenzen in drei Domänen (Literacy, Numeracy, Problem Solving) im Hinblick auf die Trennung von Geschwindigkeits- und Akkuratheitskomponenten bei der Aufgabenbearbeitung untersucht. Bearbeitungswege sind sowohl beim Problemlösen als auch beim Lesen nicht-linearer Texte ein zentraler Prädiktor für den Erfolg bei der Aufgabenbearbeitung.

In diesem Projekt werden zum einen theoretisch als funktional herleitbare Prozessmerkmale, wie die semantische Kohärenz von Navigationpfaden, oder die Anzahl von Rücksprüngen, hinsichtlich ihrer tatsächlichen Prädiktionskraft für die Qualität der Aufgabenbearbeitung untersucht. Zum anderen werden explorativ (datengetrieben) mit Hilfe von Petri-Netzen modale Navigations- und Prozessverläufe abgebildet (process mining).

Diese werden erstens daraufhin untersucht, inwieweit Prozess- und Navigationspfade von kompetenten Personen Eigenschaften aufweisen, die theoretisch als funktional ableitbar sind (z.B. hohe semantische Kohärenz). Zweitens wird untersucht, inwieweit sich die Kompetenzen von Personen mit unterschiedlichen datengetrieben identifizierten Prozessverläufen in den jeweiligen Domänen (Literacy und Problem Solving) unterscheiden. Dabei interessiert auch, wie die relative Prädiktionskraft von datengetrieben (‚bottom up’) gegenüber theoretisch hergleiteten (‚top-down’) Prozessindikatoren in Bezug auf erfolgreiche Problemlösung ist.