Adaptive Testverfahren bzw. adaptives Testen bezeichnet ein Vorgehen, mit dem Personenmerkmale (z.B. Kompetenz) und ihre Ausprägung gemessen werden können. Dabei werden die einer Testperson vorgelegten Aufgaben nach ihrem bisherigen Antwortverhalten ausgewählt. So soll sichergestellt werden, dass eine Testperson nur solche Aufgaben erhält, die einen zusätzlichen Informationsgewinn über ihre Merkmalsausprägung liefern können. Bei diesem Vorgehen erhalten also nicht alle Testpersonen dieselben Testaufgaben. Alle möglichen zur Bearbeitung vorgelegten Testaufgaben entstammen jedoch einem zuvor entwickelten Aufgaben-Pool. Die Vorteile des adaptiven Testens liegen in einer gesteigerten Testpräzision und Testökonomie. Durch die optimierte Aufgaben-Auswahl kann die Messpräzision bei gleicher Testdauer gesteigert werden bzw. die Testdauer bei gleicher Messpräzision gesenkt werden. Weil die Berechnungen zur optimierten Aufgaben-Auswahl komplex sind, kommt adaptives Testen vor allem bei computerbasierten Tests zum Einsatz.

Als Grundlage für eine geordnete und einheitliche Berufsausbildung im dualen System werden Ausbildungsberufe staatlich anerkannt und hierfür Ausbildungsordnungen mit bundeseinheitlichen Standards erlassen. Die Ausbildungsordnung regelt in Deutschland den Teil der dualen Berufsausbildung, der am Lernort Betrieb absolviert wird. Mindestinhalte einer Ausbildungsordnung sind nach Berufsbildungsgesetz (BBiG) bzw. der Handwerksordnung (HWO) die offizielle Bezeichnung des Ausbildungsberufes, die Ausbildungsdauer, die beruflichen Fertigkeiten, Kenntnisse und Fähigkeiten, die durch die Ausbildung erworben werden, eine sachliche und zeitliche Gliederung der Ausbildung (Ausbildungsrahmenplan) sowie die Darlegung der Prüfungsanforderungen. Ausbildungsordnungen bilden gemeinsam mit Rahmenlehrplänen für die schulische Seite der Berufsausbildung die Grundlage für die Ausbildung im dualen System.

Zum BIBB-Film auf Youtube: Wie eine Ausbildungsordnung entsteht

Das Konzept der beruflichen Handlungskompetenz bzw. Handlungsfähigkeit nimmt in der deutschen Berufsbildung eine zentrale Rolle ein. Das Berufsbildungsgesetz (BBiG) sieht das Ziel der Berufsausbildung darin, berufliche Handlungsfähigkeit zu vermitteln (§ 1 Abs. 3 BBiG). Auch die Kultusministerkonferenz (KMK) definiert das Erlangen von Handlungskompetenz als das Leitziel der schulischen Berufsausbildung.

Definitionen der (beruflichen) Handlungskompetenz untergliedern diese häufig in Fach-, Sozial- und Selbstkompetenz und gehen oft über rein berufliche Kontexte hinaus, indem sie zum Beispiel Konzepte der Mündigkeit und der gesellschaftlichen Teilhabe einschließen.

Die Definitionen finden sich im Wortlaut hier:

• Berufsbildungsgesetz, § 1 Abs. 3
• Handreichung für die Erarbeitung von Rahmenlehrplänen der Kultusministerkonferenz für den berufsbezogenen Unterricht in der Berufsschule und ihre Abstimmung mit Ausbildungsordnungen des Bundes für anerkannte Ausbildungsberufe, S. 14-15
• Empfehlung des Hauptausschusses des Bundesinstituts für Berufsbildung vom 26. Juni 2014 – geändert am 21. Juni 2016 – zur Struktur und Gestaltung von Ausbildungsordnungen – Ausbildungsberufsbild, Ausbildungsrahmenplan

Gütekriterien stellen sicher, dass psychometrische Messverfahren geeignet sind, ein zu untersuchendes Merkmal (z.B. berufliche Kompetenz) zuverlässig und fehlerfrei abzubilden. Gütekriterien können in diesem Zusammenhang als Qualitätskriterien verstanden werden, die ein Messinstrument erfüllen muss. Neben den Hauptgütekriterien Objektivität, Reliabilität und Validität gibt es eine Reihe Nebengütekriterien wie beispielsweise Testfairness und Testökonomie.

IT-gestützte Messinstrumente sind Messinstrumente, die den Einsatz eines Computers oder ähnlicher elektronischer Geräte (Tablets, Smartphones etc.) erfordern. Der Umfang und die Art der IT-Komponente in der Messung ist nicht näher definiert. Sowohl die Durchführung von Papier-und-Bleistift-Tests mittels eines Computers wie auch Messverfahren unter Einsatz von Computersimulationen fallen in die Kategorie der IT-gestützten Messinstrumente.

Eine allgemeingültige, einheitliche Definition des Kompetenzbegriffs gibt es nicht. In der berufs- und wirtschaftspädagogischen Tradition wird Kompetenz als umfassende berufliche Handlungsfähigkeit verstanden. Dem gegenüber steht in der empirischen Bildungsforschung die Definition von Kompetenz als kognitive Leistungsdisposition.

Die Initiativen ASCOT+ und ASCOT orientieren sich an einem kognitionspsychologischen Kompetenzverständnis, das sich vor allem auf die Definition Franz E. Weinerts sowie auf verwandte, darauf aufbauende Definitionen beruft.

Kompetenzen sind nach Weinert „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“

(WEINERT, F. E. (2001): Vergleichende Leistungsmessungen in Schulen – eine umstrittene Selbstverständlichkeit. In: WEINERT, F. E. (Hrsg.): Leistungsmessungen in Schulen. Weinheim und Basel: Beltz, 17-31, 27f.)

Um Kompetenzen beschreiben und empirisch erfassen zu können, müssen zunächst Modelle entwickelt werden, die die Struktur und Niveaus einer Kompetenz erklären. Theoretisch begründete und empirisch geprüfte Kompetenzmodelle sind die Grundlage für die Entwicklung von Messverfahren. Es wird zwischen zwei Arten von Kompetenzmodellen unterschieden: Kompetenzstrukturmodelle und Kompetenzniveaumodelle.

Kompetenzstrukturmodelle zielen darauf ab, Kompetenzen detailgenauer auszudifferenzieren, und beschäftigen sich mit der Frage, in wie viele verschiedene Kompetenzdimensionen eine Kompetenz untergliedert werden kann. Sie bilden die Binnenstruktur von Kompetenzen ab und ermöglichen somit die Diagnostik von Teilkompetenzen.

Kompetenzniveaumodelle geben innerhalb eines abgegrenzten Lernbereichs Auskunft darüber, über welche Kompetenzausprägung verschiedene Testpersonen verfügen. Über verschiedene Kompetenzstufen kann somit abgebildet werden, welche situativen Anforderungen eine Testperson bei Erreichen eines bestimmten Kompetenzniveaus bewältigen kann.

Kompetenzorientierung ist das Leitziel der (beruflichen) Bildung und beschreibt die Ausrichtung der (Berufs-) Bildung an den im Bildungsverlauf zu erwerbenden Kompetenzen. Eine zunehmende Orientierung der beruflichen Bildung an den anzustrebenden Kompetenzen hat weitere Entwicklungen zur Folge, wie die Gestaltung von kompetenzorientierten Lehr-/Lernprozessen im beruflichen Unterricht sowie die Entwicklung geeigneter Messverfahren- und Instrumente, um Kompetenzen abbilden zu können.

Objektivität ist eines der Hauptgütekriterien in psychometrischen Verfahren (neben Validität und Reliabilität). Die Objektivität einer Messung ist gewährleistet, wenn ihre Ergebnisse unabhängig von Einflüssen der Untersuchenden (wer die Messung durchführt) und der Untersuchungssituation sind. Es wird unterschieden zwischen Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität:

Durchführungsobjektivität ist gewährleistet, wenn die Bedingungen einer Messung (etwa die Informationen, die Testteilnehmenden zur Verfügung stehen) für alle Testpersonen gleich sind und sich somit nicht auf die Messergebnisse auswirken können.

Auswertungsobjektivität ist gewährleistet, wenn bei der Auswertung der erhobenen Informationen für alle Testpersonen die gleichen Auswertungskriterien gelten, also die Auswertung von der auswertenden Person unabhängig ist.

Interpretationsobjektivität ist gewährleistet, wenn Testwerte verschiedener Testpersonen auf die gleiche Weise interpretiert werden, wenn also klare Regeln bestehen, wie Testwerte zu interpretieren sind. Die Interpretationsobjektivität wird durch die Normierung eines Testverfahrens gesichert.

Das Prüfungswesen befasst sich in Deutschland mit der Zertifizierung der Ausbildungsergebnisse durch die jeweils zuständigen Stellen und so auch mit Fragen zu Prüfungsanforderungen, verwendeten Prüfungsverfahren und Formalia der Prüfungsgestaltung.

Psychometrische Verfahren sind Messverfahren (z.B. Tests, Fragebögen etc.), mit denen psychische Merkmale einer Person gemessen werden können, wie Kompetenz, Interessen oder Motive. Diese sind in der Regel nicht direkt beobachtbar und müssen deshalb mittels solcher Verfahren erschlossen werden. Durch den Einsatz standardisierter psychometrischer Messverfahren (siehe Standardisierung) können nicht direkt beobachtbare psychische Merkmale erfasst und in Zahlen ausgedrückt werden. Um derlei Aussagen zuverlässig treffen zu können, müssen die verwendeten psychometrischen Verfahren Gütekriterien erfüllen.

Rahmenlehrpläne sind durch die Ständige Konferenz der Kultusminister und -senatoren der Länder (KMK) beschlossene Lehrpläne, welche für die duale Berufsausbildung in Deutschland den berufsbezogenen Unterricht am Lernort Berufsschule regeln. Rahmenlehrpläne beschreiben beispielsweise Unterrichtsinhalte für den Unterricht an Berufsschulen und die in der Ausbildung angestrebten Kompetenzen. Die konkrete Umsetzung eines Rahmenlehrplans obliegt den einzelnen Bundesländern, welche den Lehrplan unverändert übernehmen oder in einen eigenen Lehrplan umsetzen können. Rahmenlehrpläne bilden gemeinsam mit der Ausbildungsordnung für den betrieblichen Teil der Ausbildung die Grundlage für die Ausbildung im dualen System.

Reliabilität ist eines der Hauptgütekriterien in psychometrischen Verfahren (neben Validität und Objektivität). Die Reliabilität beschreibt die Zuverlässigkeit eines Verfahrens bzw. die weitestgehende Freiheit des Verfahrens von Messfehlern. Ein Test mit hoher Reliabilität ist imstande, das zu messende Konstrukt (z.B. die Kompetenz eines Lernenden) mit sehr geringem Messfehler abzubilden.

Standardisierung bedeutet im Rahmen psychometrischer Verfahren, dass die verwendeten Verfahren oder Instrumente auf eine Weise angewendet werden können, die für alle Testteilnehmerinnen und -teilnehmer einheitlich ist. Dies bedeutet, dass sowohl die bereitgestellten Informationen, die Testmaterialien, die Antwortmöglichkeiten und die Auswertung der Antworten für alle Teilnehmenden gleich sind. Ein hoher Standardisierungsgrad sorgt dafür, dass alle Testteilnehmenden unter gleichen Bedingungen getestet werden, sodass die beobachteten Testergebnisse tatsächliche Unterschiede in der Merkmalsausprägung verschiedener Testteilnehmerinnen und -teilnehmer zeigen und nicht durch unterschiedliche Testbedingungen begründet sind. Ein hoher Standardisierungsgrad ist Voraussetzung für die Objektivität eines Tests.

Testtheorien erlauben, anhand der Ergebnisse eines psychologischen Tests Rückschlüsse auf das zu erfassende Merkmal (z.B. Kompetenz) und dessen Ausprägung zu ziehen. Testtheorien sind Grundlage für die Entwicklung von psychologischen Testverfahren und beinhalten Annahmen, wie individuelle Merkmalsausprägungen das Testergebnis einer Person beeinflussen.

Die in der psychologischen Diagnostik am häufigsten angewendeten Testtheorien sind die Klassische Testtheorie (KTT) und die Probabilistische Testtheorie oder auch Item-Response Theorie (IRT).

Die Klassische Testtheorie (KTT) geht davon aus, dass die Ergebnisse eines psychologischen Tests aus zwei Komponenten bestehen: Einem „wahren“ Wert, der die tatsächliche Merkmalsausprägung widerspiegelt, und einem zufällig auftretenden Messfehler. Beide Werte sind nicht direkt beobachtbar. In der KTT wird daher auf Mehrfachmessungen zurückgegriffen (z.B. die Messung eines Merkmals mit mehreren Fragen in einem Fragebogen) und anschließend ein Mittelwert gebildet, sodass sich zufällige Abweichungen ausgleichen. Die Merkmalsausprägung ergibt sich aus dem Gesamtergebnis einer Testperson, also dem Mittelwert über verschiedene Fragen oder Aufgaben.

In der Probabilistischen Testtheorie oder auch Item-Response Theorie (IRT) wird dagegen nicht das Gesamtergebnis einer Testperson betrachtet, sondern deren Antwortmuster bei jeder einzelnen Frage. Es wird angenommen, dass das (beobachtbare) Antwortverhalten Indikator ist für die dem Verhalten zugrundeliegende (nicht beobachtbare) Merkmalsausprägung (z.B. Kompetenz). Der Zusammenhang zwischen Testverhalten und Merkmalsausprägung wird durch Wahrscheinlichkeiten („probabilistisch“) hergestellt. So haben etwa Testpersonen mit einer höheren Kompetenz eine größere Wahrscheinlichkeit, bestimmte Aufgaben zu lösen. Die probabilistische Testtheorie kommt unter anderem bei der Konstruktion adaptiver Testverfahren zum Einsatz.

Transfer wird im Rahmen von ASCOT+ definiert als ein kontinuierlicher interaktiver und iterativer Austauschprozess zwischen den Akteuren aus Wissenschaft, Praxis und Politik. Ziel des Transfers ist die Übertragung und Nutzbarmachung von fachlichem, methodischem und technischem Wissen sowie qualitativ hochwertigen Mess- und Lerninstrumenten sowie Instrumenten zur Unterstützung der Prüfungspraxis. Damit soll die Lehr-Lernpraxis sowie das Prüfungswesen und die Ordnungsarbeit in der beruflichen Bildung nachhaltig unterstützt werden.

Validität ist eines der Hauptgütekriterien in psychometrischen Verfahren (neben Objektivität und Reliabilität). Die Validität eines Messverfahrens beschreibt dessen Gültigkeit zur Erfassung des gewünschten Merkmals bzw. die Frage, ob ein Messverfahren tatsächlich das Konstrukt misst, das erfasst werden soll. Insbesondere in der Erfassung von (psychologischen) Konstrukten wie Kompetenz, ist es eine zentrale Aufgabe, die Validität der verwendeten Messinstrumente sicherzustellen. Ein Testverfahren, das beispielsweise die mathematischen Fähigkeiten einer Testperson erfassen soll, sollte somit nicht durch etwaige Einschränkungen in den sprachlichen Fähigkeiten dieser Person beeinträchtigt werden.

Es bestehen verschiedene Formen der Validität, als Beispiel sei hier die Inhaltsvalidität genannt. Die Inhaltsvalidität befasst sich mit der Frage, wie gut die in einem Testverfahren enthaltenen Aufgaben die Vielfalt aller möglichen Aufgaben abdecken, also wie repräsentativ der Inhalt des Tests für den Inhalt des zu erfassenden Konstrukts ist. Die Inhaltsvalidität für berufliche Kompetenzen wird häufig ermittelt über die Analyse von Ausbildungsordnungen, Lehrplänen und Unterrichtsmaterialen sowie über Interviews mit Fachexpertinnen und -experten.