AI Act in der Schule: Welche KI-Anwendungen hochriskant sind

Was Anhang III zur Bildung sagt

Anhang III des AI Act nennt die Bereiche, in denen ein KI-System als hochriskant gilt. Für allgemeine und berufliche Bildung sind es vier Fälle:

• Über den Zugang oder die Zulassung zu Bildungseinrichtungen entscheiden oder Personen einer Einrichtung oder einem Bildungsgang zuweisen.
• Lernergebnisse bewerten, auch wenn sie zur Steuerung des Lernprozesses dienen.
• Das angemessene Bildungsniveau bewerten, das eine Person erhalten wird oder zu dem sie Zugang erhält.
• Verbotenes Verhalten von Schülern bei Prüfungen überwachen und erkennen, etwa mit videogestützten Anti-Schummel-Systemen.

Die Logik ist einfach: In diesen Fällen kann das Ergebnis des Systems den Bildungsweg und damit die Lebenschancen eines Menschen beeinflussen, oft eines Minderjährigen.

Praxisbeispiele: was darunter fällt und was nicht

• Klassenarbeiten mit KI korrigieren und benoten: der typische Einsatz, den die Verordnung als hochriskant einstuft.
• Eine Plattform, die entscheidet, wer zu einem Kurs zugelassen wird oder in welche Klasse ein Schüler kommt: hohes Risiko.
• Ein System, das Schüler bei einer Online-Prüfung überwacht, um Schummeln zu erkennen: hohes Risiko.
• Ein Wiederholungsquiz erstellen, ein Bild für ein Arbeitsblatt erzeugen, sich beim Formulieren der Deskriptoren eines Bewertungsrasters helfen lassen: in der Regel kein hohes Risiko, weil die KI Material vorbereitet und die Bewertung bei der Lehrkraft bleibt.
• Ein Chatbot, der Fragen von Schülern beantwortet: kein hohes Risiko, aber die Schüler müssen wissen, dass sie mit einer KI sprechen (Artikel 50).

Was verboten ist

Seit dem 2. Februar 2025 ist der Einsatz von Emotionserkennungssystemen in Bildungseinrichtungen verboten, außer aus medizinischen oder Sicherheitsgründen. Software, die aus dem Gesichtsausdruck Aufmerksamkeit, Langeweile oder Stress von Schülern messen will, ist im Unterricht nicht erlaubt. Es gelten auch die übrigen nach Artikel 5 verbotenen Praktiken, etwa die Ausnutzung altersbedingter Schwächen.

Die Ausnahme: wann ein System aus Anhang III nicht hochriskant ist

Nach Artikel 6 Absatz 3 ist ein in Anhang III genanntes System nicht hochriskant, wenn es Entscheidungen nicht wesentlich beeinflusst: etwa wenn es eine eng begrenzte Verfahrensaufgabe erfüllt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert oder nur eine vorbereitende Aufgabe übernimmt. Die Ausnahme gilt nie, wenn das System Profiling von Personen vornimmt. Ein Werkzeug, das der Lehrkraft Rechtschreibfehler anzeigt, ist etwas ganz anderes als ein System, das die Note vergibt.

Was Lehrkräfte und Schulen tun sollten

• Personal schulen: Die Pflicht zur KI-Kompetenz gilt bereits heute für alle, die KI-Systeme nutzen, auch für Schulen.
• Die Bewertung bei der Lehrkraft lassen: KI kann Vorschläge machen, aber Note und Urteil bleiben eine menschliche, begründete und überprüfbare Entscheidung.
• Geeignete Werkzeuge wählen: Für hochriskante Einsätze braucht es Systeme, die für diesen Zweck entwickelt und als konform erklärt wurden, nicht einen allgemeinen Assistenten außerhalb seiner Zweckbestimmung.
• Die Daten der Schüler schützen: Es gelten die DSGVO und die internen Regeln dazu, was in KI-Werkzeuge eingegeben werden darf.
• Schüler und Familien informieren, wenn KI-Systeme eingesetzt werden, die sie betreffen.

Nationales Recht kann weitere Regeln vorsehen, etwa zum Zugang Minderjähriger zu KI-Werkzeugen: Prüfen Sie die Vorgaben in Ihrem Land.

Die Fristen

Die Verbote gelten seit dem 2. Februar 2025, die Transparenzpflichten seit dem 2. August 2026. Die Pflichten für Hochrisiko-Systeme aus Anhang III, einschließlich Bildung, gelten ab dem 2. Dezember 2027, nach der Verschiebung durch den Digital Omnibus. Wer solche Systeme einsetzt, muss unter anderem die Anweisungen des Anbieters befolgen, die Aufsicht kompetenten Personen übertragen, die Protokolle aufbewahren und die Betroffenen informieren. Öffentliche Stellen wie staatliche Schulen müssen zusätzlich eine Grundrechte-Folgenabschätzung durchführen.