Künstliche Intelligenz und Simulationen im Prüfungsprozess einsetzen

Ob in kaufmännischen oder Kfz-Berufen: Die Möglichkeit, KI und Simulationen im Prüfungsprozess einzusetzen, wird für viele Berufszweige diskutiert. Aus den ASCOT+-Projekten trugen Wissenschaft und Praxis ihre Erkenntnisse zum Thema zusammen und loteten Chancen und Grenzen aus.

Prof. Viola Deutscher spricht im Fachforum
Prof. Viola Deutscher © BIBB

Um zu erfassen und zu messen, wie es mit den Reparatur- und Diagnosekompetenzen angehender Kfz-Mechatroniker/innen bestellt ist, hat das ASCOT+-Projekt DigiDIn-Kfz eine Simulation und sogenannte Videovignetten entwickelt, die Projektmitarbeiter Dr. Stefan Hartmann im Plenum vorstellte. Die Vignetten - in diesem Fall Video-Reparaturtests- wurden im Frühjahr 2022 erstmalig in praktischen Abschlussprüfungen eingesetzt; 2023 soll dann eine Simulation folgen.

Viele berufsbezogene, praktische Fertigkeiten können digital erfasst werden, erklärte Hartmann und zeigte dabei Möglichkeiten und Grenzen der digitalen Kompetenzmessung auf: In einer Simulation könne man etwa die korrekte Auswahl eines Werkzeugs oder Messinstruments, deren Einsatz an der richtigen Stelle im Motor oder auch das Ablesen und Analysieren von Messergebnissen unmittelbar erfassen. Die korrekte Handhaltung jedoch kann digital nicht ermittelt werden.

Herausforderung Prüfungsort und Prüfungsdurchführung

Die Digitalisierung des Prüfungswesens bedeutete zunächst eine 1:1-Umsetzung der papiergebundenen Aufgaben in ein digitales Format. Joachim Syha vom Zentralverband Deutsches Kraftfahrzeuggewerbe zeigte sich erfreut, dass inzwischen auch Simulationen und Videovignetten Einzug halten. Die „digitale Prüfung“ bringe allerdings technische Herausforderungen mit sich, betonte Syha: Mehrere Hundert Prüflinge müssten zugleich auf digitale Endgeräte zugreifen; außerdem seien eine ausreichende Datenrate sowie Systemadministrator/-innen vor Ort erforderlich, um die Durchführung sicherzustellen. Für schriftliche Prüfungen hätten sich inzwischen Dienstleister etabliert, die am Prüfungstag und -ort Equipment sowie Expertise für die Planung und Durchführung bereitstellen.

Bild von Joachim Syha, Zentralverband Deutsches Kfz-Gewerbe
Joachim Syha, Zentralverband Deutsches Kfz-Gewerbe e.V.

Wenn der technische Rahmen gesetzt ist, sind für die praktischen Prüfungen Lösungen, wie sie bei DigiDIn-Kfz erarbeitet werden, willkommen. Auch ein Blick nach Frankreich und in die Niederlande lohnt sich: Hier setzt man vorprogrammierte Boxen oder Autos in den praktischen Prüfungen der Kfz-Mechatroniker ein. Für die Nutzung künstlicher Intelligenz sind allerdings noch weitere Entwicklungsschritte notwendig. In diesem Zusammenhang werden dann auch rechtliche Rahmen eine wichtige Rolle spielen.

Lösungen für Prüfungen in kaufmännischen Berufen in Sicht?

Mit der Bürosimulation LUCA des ASCOT+-Projekts PSA-Sim stellte Prof. Viola Deutscher ein digitales Instrument vor, das für die Kompetenzförderung - also das Lernen - entwickelt wurde. Durch die hohen Gütestandards z.B.in Bezug auf Objektivität, Reliabilität, Authentizität und Prozessorientierung kann das Projekt auch einen Beitrag zur Qualität beruflicher Prüfungen leisten. Lehrkräfte an Berufsschulen können jetzt schon über die LUCA-Software Tests erstellen und auswerten. Mittels KI können beispielsweise die von den Auszubildenden erstellten Texte wie Bewerbungsschreiben auf die Verwendung von Höflichkeitsformeln ausgewertet werden.

Magnus Brömel
Magnus Brömel hat als Lehrkraft praktische Erfahrungen mit der LUCA Bürosimulation gesammelt. © BIBB

Magnus Brömel und Heidi Mößner vom Institut für Bildungsanalysen Baden-Württemberg berichteten, dass im Frühjahr 2023 in ihrem Bundesland eine Initiative zur Digitalisierung des Prüfungswesens im kaufmännischen Bereich starten werde. Beide lehren an der Berufsschule, haben LUCA im Unterricht eingesetzt und können berichten: Für die Durchführung und Konzeption der Prüfung, die komplett digital abgewickelt werden soll, bietet die Bürosimulation potenzielle Modelle.

Diskussion im Plenum zu Chancen und Grenzen digitaler Prüfungen

Die Digitalisierung bringt viele Möglichkeiten mit, betonte BIBB-Forschungsdirektor Prof. Hubert Ertl. Mit zunehmender Komplexität steige allerdings auch die Störanfälligkeit. Weitere Diskutanten wiesen darauf hin, dass auch das Alter sowie die digitale Affinität der Prüfenden eine Rolle spiele und mitgedacht werden sollte.

Neue Entwicklungen erfordern neues Denken

Pankraz Männlein vom Bundesverband der Lehrkräfte für Berufsbildung forderte schließlich dazu auf, in neuen Schienen zu denken: „Wir sind auf dem Weg in eine neue Situation, mit neuen Ideen, Formaten und Möglichkeiten. Aber wir engen uns ein, weil es ein paar organisatorische Schwierigkeiten gibt und weil wir in alten Schienen denken,“ so Männlein. Es gelte bei diesen neuen Entwicklungen auch neu zu denken und eine neue Organisation zu fördern.

Fachforum 3: Künstliche Intelligenz und Simulationen im Prüfungsprozess einsetzen

Moderation: Barbara Schürger und Sabina Fernandes Olah, BIBB

Referent/innen:

PSA-Sim, Prof. Dr. Viola Deutscher
DigiDIn-Kfz, Dr. Stefan Hartmann
Praxispartner Joachim Syha (Zentralverband Deutsches Kraftfahrzeuggewerbe)
Praxispartner Magnus Brömel und Heidi Mößner, Institut für Bildungsanalysen Baden-Württemberg