Digitale Klausurkorrektur - Die letzten 30 Prozent

Da ist er noch, der Stapel Klausuren von vorletzter Woche. Gar kein Bock. Wer kennt das nicht. Kein Wunder, dass die Frage schnell kommt: Kann das nicht die KI? Kann sie, so halb.

Zuerst der Datenschutz

Bevor irgendetwas hochgeladen wird, muss eine Sache geklärt sein: Keine KI der Welt darf jemals den Namen eines Schülers oder einer Schülerin sehen. Niemals.

Für dieses Problem gibt es zwei Lösungsansätze, nachdem der Stapel Arbeiten eingescannt wurde:

a) Anonymisierung. So lief das bei mir bis vor ein paar Wochen. Die Arbeit wird ganz normal geschrieben und eingescannt, danach schwärze ich digital alles weg, wo ein Name steht. Erst dann geht sie hoch. Funktioniert, kostet aber einen Arbeitsschritt.

b) Pseudonymisierung. Alle, die bei mir Mathe haben, arbeiten mit meiner Selbstlernplattform selbr. Jede und jeder hat dort einen Code, damit gar keine personenbezogenen Daten verarbeitet werden. Genau diesen Code schreiben sie seit diesem Schuljahr auch oben auf die Arbeit, statt ihren Namen. Wer hinter welchem Kürzel steckt, steht in meinem Klassenbuch und bleibt auf meinem Rechner.

Beachten: Das handgeschriebene Kürzel liest die Maschine natürlich auch, und da habe ich gelernt, vorsichtig zu sein: O und 0, I und 1, S und 5, Z und 2 wirft jede Erkennung mal durcheinander. Zugeordnet wird deshalb nur, wenn genau ein erwartetes Kürzel der Klasse passt.

Und dann wird es einfach

Ist der Datenschutz geklärt, könnte man seine Arbeit theoretisch in jedes beliebige Chatfenster hochladen. Ein paar Minuten später hat man eine erste Einschätzung, und die ist erstaunlich brauchbar. Nach meiner Erfahrung liegt so etwas bei 50 bis 70 Prozent: Die Handschrift wird überwiegend richtig gelesen, die Punkte gehen in die richtige Richtung, und bei den einfachen Aufgaben stimmt es sogar meistens.

Für eine Tendenz reicht das. Mehr aber nicht. Eine Note, die zu zwei Dritteln stimmt, ist keine Note.

Also müssen wir uns mal genauer angucken, wie wir auf die restlichen 30 Prozent kommen. Fünf Stellschrauben haben bei mir den größten Unterschied gebracht.

1. Erst lesen, dann bewerten

Der erste Reflex ist, dem Modell alles auf einmal zu geben: Seiten, Musterlösung, Punkteverteilung. Genau das ist der Fehler. Wer vorher sagt, was dastehen müsste, bekommt es öfter zu lesen, als es dasteht - das Modell repariert die Schülerantwort im Kopf, bevor es sie bewertet.

Forschende der ETH Zürich haben das 2024 an handschriftlichen Mathematikklausuren untersucht und daraus zwei Stufen gemacht: erst abschreiben, dann gegen die Rubrik bewerten, und die Musterlösung sieht die Lesestufe gar nicht. Dasselbe Prinzip kennt die Forensik seit Jahren unter dem Namen Linear Sequential Unmasking - erst die Spur lesen, dann die Referenz danebenlegen, nie umgekehrt.

Bei mir läuft die Korrektur deshalb zweistufig. In der ersten Runde bekommt die Maschine die Seiten und die Angabe, welche Teilaufgabe wo steht, mehr nicht. Sie schreibt ab, was sie sieht, und sagt zu jeder Zeile, wie sicher sie sich ist. Erst danach kommt die Bewertung, und die bekommt die Bilder nur noch dann zu sehen, wenn die Abschrift unsicher war. Wo sicher gelesen wurde, bewertet sie über dem Text und kann gar nicht mehr ins Bild hineinlesen, was zur Musterlösung passt.

2. Den Zufall rausnehmen

Sprachmodelle würfeln. Das ist beim Texten erwünscht und bei einer Bewertung eine Katastrophe: Dieselbe Klausur konnte bei mir zweimal hintereinander zwei verschiedene Punktzahlen ergeben. Der Grund war eine Voreinstellung, die ich nie angefasst hatte - die Temperatur, also der eingebaute Zufall, stand auf dem Standardwert.

Sie steht jetzt bei allen Aufrufen auf null. Damit ist die Korrektur reproduzierbar, also reproduzierbarer. Zu 100 Prozent kann man sich da nämlich nie sicher sein.

Es sei denn, wir lassen KI außen vor, wo sie keinen Sinn ergibt (eh eine ganz gute Idee). Beispiel: Ob ein Aufsatz gut ist, muss jemand beurteilen. Ob 12x + 1 richtig ist, muss niemand beurteilen - das kann man ausrechnen. Ein KI-Modell zu fragen, wo eine Formel reicht, ist ein teurer und sehr unsicherer Weg zur Antwort.

Deshalb läuft der Vergleich bei mir gespalten. Für jede Teilaufgabe, bei der es ein eindeutiges Ergebnis gibt, liegt dieses Ergebnis maschinenlesbar vor: der Wert, die Einheit und die Toleranz, die ich noch durchgehen lasse. Der Abgleich mit der Schülerantwort ist dann reine Rechnung und passiert ohne KI. Sie bleibt für das zuständig, was sie kann: Handschrift lesen und beurteilen, was in einer Begründung steht.

Bei Gleichungen geht es noch einen Schritt weiter. Die Musterlösung wird als Kette aus Umformungsschritten hinterlegt, ausgerechnet von einem Computeralgebrasystem, nicht von einem Sprachmodell. Liegt so eine Kette vor, kann die Korrektur die abgeschriebene Schülerrechnung Zeile für Zeile dagegenhalten und die erste Stelle markieren, an der eine Zeile nicht mehr aus der vorherigen folgt. Punkte vergibt das nicht, aber es zeigt mir, wo ich hinschauen muss.

Das setzt allerdings voraus, dass diese Angaben überhaupt existieren, und genau deshalb schreibe ich Arbeiten inzwischen teilweise nicht mehr in Word. Ich baue sie in prüfr, einer Software, die ich dafür geschrieben habe. Dort steht bei jeder Teilaufgabe neben dem Aufgabentext auch das Sollergebnis, die Toleranz, der zu prüfende Lehrplaninhalt und die Übungsstation, an der man das übt. Die Arbeit geht von dort direkt in die Korrektur, mitsamt allem, was diese wissen muss. Was man beim Schreiben der Arbeit einmal festlegt, muss beim Korrigieren niemand mehr raten.

3. Fehler vorher benennen

Fragt man ein Modell, warum es Punkte abgezogen hat, schreibt es einen Satz. Mit Sätzen kann man nichts weiter machen. Aus "hat das Minus nicht gedreht" wird keine Statistik und keine Übung.

Also lege ich vor der Arbeit fest, welche Fehler es überhaupt geben kann. Bei der letzten Arbeit zu Termen in Klasse 8 waren das sechs: Vorzeichen, Distributivgesetz, Zusammenfassen, Sachbezug, Flüchtigkeit, Begründung. Jede Teilaufgabe mit Abzug bekommt genau einen davon.

Dabei bin ich in eine Falle gelaufen, die vermutlich jeder einmal mitnimmt: Die Liste stand im Auftrag, die Regel stand im Auftrag, und zurück kam trotzdem kein einziger Code. Der Grund lag im Antwortschema, also in der Struktur, die die Antwort einhalten muss - dort war das Feld nicht aufgeführt. Ein Modell füllt das Formular, das man ihm hinlegt, und überliest die Bitte am Rand. Seit das Feld im Schema steht, tragen 166 von 188 Abzügen einen Buchstaben.

4. Aufgabe für Aufgabe statt Arbeit für Arbeit

Am Ende muss ein Mensch drüber gucken, klar. Dabei gilt: Aufgabe für Aufgabe oder eine Arbeit nach der anderen - in die zwei Lager lassen sich Lehrkräfte recht zuverlässig einteilen. Fairer ist die Aufgabe-für-Aufgabe-Version auf jeden Fall, aber sie endet schnell im Zettelchaos. Aber digital? Da wird es spannend.

Digital wird der Stapel Arbeiten bei mir folgendermaßen aufbereitet: alle Antworten zu einer Teilaufgabe untereinander, gleiche Antworten zusammengefasst. Wo dreimal dasselbe steht und einmal eine andere Punktzahl, springt das sofort ins Auge, und mit einem Klick sind alle vier gleich bewertet. Eine Prüfung quer über die Klasse markiert solche Fälle von sich aus, bevor ich überhaupt hinsehe. Kein Blättern, kein ständig neu reindenken in die Aufgaben.

5. Korrekturlauf

Kleiner Hebel, große Wirkung. Wenn die erste Runde fertig ist, einfach noch mal die Sinnhaftigkeit der Bewertungen gegen die Musterlösung laufen lassen. So lässt sich die ein oder andere Halluzination doch noch einfangen.

Ausblick

Logische Frage: Johannes, wo finde ich dieses Tool. Ich will das auch mal ausprobieren.

Da muss ich leider enttäuschen. Ich baue dieses Werkzeug selbst, seit gut einem Jahr, und es ist in geschlossener Erprobung - kein Produkt, das man sich installieren kann.

All diese Erkenntnisse sind das Produkt zahlloser Tests (von denen die meisten wirklich schiefgegangen sind. Aber dadurch lernt man ja bekanntlich am meisten).

Eines Tages soll es das auf jeden Fall für alle geben. Aber dazu muss es halt funktionieren. Und dazu brauche ich noch ein bisschen. Vor allem soliden Datenschutz. Und den gibt es am elegantesten durch lokal laufende Modelle. Aber das ist aktuell eher Zukunftsmusik.

Was übrigens noch dabei herauskommt, wenn die Korrektur einmal sauber durchläuft, steht im Beitrag über das 27-fach differenzierte Arbeitsblatt: Aus den Fehlercodes wird für jedes Kind ein eigenes Übungsblatt.

Quellen

• Liu, T. / Chatain, J. / Kobel-Keller, L. / Kortemeyer, G. / Willwacher, T. / Sachan, M. (2024): AI-assisted Automated Short Answer Grading of Handwritten University Level Mathematics Exams. arXiv 2408.11728 - ETH Zürich, zweistufig: erst transkribieren, dann gegen die Rubrik bewerten.
• Dror, I. E. u.a. (2015): Context Management Toolbox. A Linear Sequential Unmasking (LSU) Approach for Minimizing Cognitive Bias in Forensic Decision Making. Journal of Forensic Sciences 60(4), 1111-1112.

Geschrieben von Johannes Hohls.