Künstliche Intelligenz und Simulationen im Prüfungsprozess einsetzen
Ob in kaufmännischen oder Kfz-Berufen: Die Möglichkeit, KI und Simulationen im Prüfungsprozess einzusetzen, wird für viele Berufszweige diskutiert. Aus den ASCOT+-Projekten trugen Wissenschaft und Praxis ihre Erkenntnisse zum Thema zusammen und loteten Chancen und Grenzen aus.
Um zu erfassen und zu messen, wie es mit den Reparatur- und Diagnosekompetenzen angehender Kfz-Mechatroniker/innen bestellt ist, hat das ASCOT+-Projekt DigiDIn-Kfz eine Simulation und sogenannte Videovignetten entwickelt, die Projektmitarbeiter Dr. Stefan Hartmann im Plenum vorstellte. Die Vignetten - in diesem Fall Video-Reparaturtests- wurden im Frühjahr 2022 erstmalig in praktischen Abschlussprüfungen eingesetzt; 2023 soll dann eine Simulation folgen.
Viele berufsbezogene, praktische Fertigkeiten können digital erfasst werden, erklärte Hartmann und zeigte dabei Möglichkeiten und Grenzen der digitalen Kompetenzmessung auf: In einer Simulation könne man etwa die korrekte Auswahl eines Werkzeugs oder Messinstruments, deren Einsatz an der richtigen Stelle im Motor oder auch das Ablesen und Analysieren von Messergebnissen unmittelbar erfassen. Die korrekte Handhaltung jedoch kann digital nicht ermittelt werden.
Herausforderung Prüfungsort und Prüfungsdurchführung
Die Digitalisierung des Prüfungswesens bedeutete zunächst eine 1:1-Umsetzung der papiergebundenen Aufgaben in ein digitales Format. Joachim Syha vom Zentralverband Deutsches Kraftfahrzeuggewerbe zeigte sich erfreut, dass inzwischen auch Simulationen und Videovignetten Einzug halten. Die „digitale Prüfung“ bringe allerdings technische Herausforderungen mit sich, betonte Syha: Mehrere Hundert Prüflinge müssten zugleich auf digitale Endgeräte zugreifen; außerdem seien eine ausreichende Datenrate sowie Systemadministrator/-innen vor Ort erforderlich, um die Durchführung sicherzustellen. Für schriftliche Prüfungen hätten sich inzwischen Dienstleister etabliert, die am Prüfungstag und -ort Equipment sowie Expertise für die Planung und Durchführung bereitstellen.
Wenn der technische Rahmen gesetzt ist, sind für die praktischen Prüfungen Lösungen, wie sie bei DigiDIn-Kfz erarbeitet werden, willkommen. Auch ein Blick nach Frankreich und in die Niederlande lohnt sich: Hier setzt man vorprogrammierte Boxen oder Autos in den praktischen Prüfungen der Kfz-Mechatroniker ein. Für die Nutzung künstlicher Intelligenz sind allerdings noch weitere Entwicklungsschritte notwendig. In diesem Zusammenhang werden dann auch rechtliche Rahmen eine wichtige Rolle spielen.
Lösungen für Prüfungen in kaufmännischen Berufen in Sicht?
Mit der Bürosimulation LUCA des ASCOT+-Projekts PSA-Sim stellte Prof. Viola Deutscher ein digitales Instrument vor, das für die Kompetenzförderung - also das Lernen - entwickelt wurde. Durch die hohen Gütestandards z.B.in Bezug auf Objektivität, Reliabilität, Authentizität und Prozessorientierung kann das Projekt auch einen Beitrag zur Qualität beruflicher Prüfungen leisten. Lehrkräfte an Berufsschulen können jetzt schon über die LUCA-Software Tests erstellen und auswerten. Mittels KI können beispielsweise die von den Auszubildenden erstellten Texte wie Bewerbungsschreiben auf die Verwendung von Höflichkeitsformeln ausgewertet werden.
Magnus Brömel und Heidi Mößner vom Institut für Bildungsanalysen Baden-Württemberg berichteten, dass im Frühjahr 2023 in ihrem Bundesland eine Initiative zur Digitalisierung des Prüfungswesens im kaufmännischen Bereich starten werde. Beide lehren an der Berufsschule, haben LUCA im Unterricht eingesetzt und können berichten: Für die Durchführung und Konzeption der Prüfung, die komplett digital abgewickelt werden soll, bietet die Bürosimulation potenzielle Modelle.
Diskussion im Plenum zu Chancen und Grenzen digitaler Prüfungen
Die Digitalisierung bringt viele Möglichkeiten mit, betonte BIBB-Forschungsdirektor Prof. Hubert Ertl. Mit zunehmender Komplexität steige allerdings auch die Störanfälligkeit. Weitere Diskutanten wiesen darauf hin, dass auch das Alter sowie die digitale Affinität der Prüfenden eine Rolle spiele und mitgedacht werden sollte.
Neue Entwicklungen erfordern neues Denken
Pankraz Männlein vom Bundesverband der Lehrkräfte für Berufsbildung forderte schließlich dazu auf, in neuen Schienen zu denken: „Wir sind auf dem Weg in eine neue Situation, mit neuen Ideen, Formaten und Möglichkeiten. Aber wir engen uns ein, weil es ein paar organisatorische Schwierigkeiten gibt und weil wir in alten Schienen denken,“ so Männlein. Es gelte bei diesen neuen Entwicklungen auch neu zu denken und eine neue Organisation zu fördern.
Fachforum 3: Künstliche Intelligenz und Simulationen im Prüfungsprozess einsetzen
Moderation: Barbara Schürger und Sabina Fernandes Olah, BIBB
Referent/innen:
PSA-Sim, Prof. Dr. Viola Deutscher
DigiDIn-Kfz, Dr. Stefan Hartmann
Praxispartner Joachim Syha (Zentralverband Deutsches Kraftfahrzeuggewerbe)
Praxispartner Magnus Brömel und Heidi Mößner, Institut für Bildungsanalysen Baden-Württemberg