KI-Lernassistent

Studierende lernen längst mit KI – meist mit einem Chatbot im zweiten Tab, der das Kursmaterial nicht kennt, keine Quellen nennt und im Zweifel überzeugend danebenliegt. Lernplattformen wie Moodle bieten dagegen nur vereinzelte KI-Funktionen. In meiner Bachelorarbeit „Moodle meets ChatGPT: Generative KI zur kontextsensitiven Unterstützung von Studierenden in der Prüfungsvorbereitung“ habe ich deshalb einen Lernassistenten gestaltet und evaluiert, den Studierende selbst für ihren Kurs aufsetzen und steuern.

Was er kann

• Chat mit Fundstellen: Jede Aussage trägt einen nummerierten Marker. Ein Klick öffnet die zitierte Folie mit markierter Textstelle. Fehlt im Kurs eine Quelle, sagt der Assistent das und kennzeichnet den Rest als Modellwissen.
• Karteikarten: entstehen aus genau einem Dokument, nennen Dokument, Seite und Folientitel und lassen sich bearbeiten. Im Lernmodus wird erst die eigene Antwort abgerufen, dann aufgedeckt.
• Übungsaufgaben: Jeder Lauf erzeugt eine neue, klausurähnliche Aufgabe im Format der vorhandenen Übungen – gebunden an ihre Fundstelle.
• Probeklausuren: Aufbau, Teilaufgaben und Punkteverteilung werden aus einer Altklausur übernommen. Jede Teilaufgabe hat eine separat geprüfte Musterlösung. Die eingescannte, handschriftliche Bearbeitung bewertet ein bilderkennendes Modell mit Punkten, Note und Lernempfehlungen.

Wie er gebaut ist

Herzstück ist eine Retrieval-Augmented-Generation-Kette mit Herkunftsverfolgung in sechs Schritten: Auslesen, Zerlegung, Indexierung, Suche, Frage-Umformulierung und Generierung.

Unterlagen ─▶ Chunks entlang der Folien, mit Seitenkarte ─▶ Vektorindex (Chroma)
Frage ─▶ Umformulierung mit Gesprächsverlauf ─▶ 12 Kandidaten
      ─▶ Cross-Encoder-Reranking (Top 5) ─▶ Relevanz-Schwellwert 0,5
      ─▶ Claude mit Belegpflicht ─▶ dreistufige Belegprüfung ─▶ Antwort mit Fundstellen

• Seitenkarte: Chunks folgen Folien- und Aufgabengrenzen und wissen, von welchen Seiten sie stammen – wichtig, weil 92 % von ihnen über mehr als eine Seite reichen.
• Reranking und Schwellwert: Das Reranking fängt verpasste Top-Treffer ab, der Schwellwert hält irrelevanten Kontext und kursfremde Fragen fern.
• Belegpflicht: Das Modell muss jede Aussage einem Chunk zuordnen. Über die Citations-Funktion der API liefert es je Aussage ein wörtliches Belegzitat, und der Assistent prüft, ob es wirklich auf der genannten Seite steht. Gelingt das nicht, legt er sich auf keine Seite fest.
• Zweite Meinung: Ein zweites Modell prüft Karteikarten, Übungen und Musterlösungen am Quelltext, bevor sie angezeigt werden.

Gebaut habe ich den Prototyp iterativ im Dialog mit dem Coding-Agenten Claude Code: Ich habe jeden Schritt spezifiziert, die Designentscheidungen getroffen, die Ergebnisse geprüft und freigegeben – der Agent hat den Code geschrieben. Damit beim „Vibe Coding“ nicht verloren geht, warum etwas so gebaut ist, dokumentiert die Arbeit zu jeder Anforderung Umsetzung, verworfene Alternative und Prüfweg.

Was die Evaluation gezeigt hat

Gearbeitet habe ich nach Design Science Research. Aus Nutzungspraxis, Risiken, bestehenden Lösungen und Lerntheorie entstanden vier Meta- und acht Designanforderungen; evaluiert wurde in zwei Episoden am Kurs „Kommunikationspsychologie“ (20 Materialien, 328 Seiten).

Technisch mit einem Gold-Set aus 41 Testfragen, darunter 16 Grenzfragen zu den Rändern des Systems:

• Mit Reranking findet die Suche bei allen 25 Kursfragen eine richtige Seite (Hit@5); die Präzision steigt von 46 auf 57 %.
• Die Antworten bleiben ihrer Quelle treu: Faithfulness 0,919 nach RAGAs, ohne offen gekennzeichnetes Modellwissen 0,986. Nur 8 von 630 ungekennzeichneten Aussagen sind nicht durch das Material gedeckt.
• Themenfremde Fragen bekommen dank Schwellwert gar keinen Kontext mehr; die Frage-Umformulierung verdoppelt die Treffer bei Anschlussfragen.

Mit Menschen in sieben Think-Aloud-Interviews (rund 5,5 Stunden, 209 codierte Beiträge) und zwei Experteninterviews:

• Die Fundstellen kamen in allen sieben Fällen gut an – als Prüfhilfe und als Suchersparnis.
• Die Kennzeichnung von Modellwissen war dagegen nicht selbsterklärend: übersehen, im Bezug unklar oder als „speziell trainiertes Modell“ missverstanden.
• Der Autor des Kurses hielt die Musterlösungen für teilweise mindestens so gut wie seine eigenen – fand aber einen gravierenden inhaltlichen Fehler, der trotz passender Fundstelle durchgerutscht war.

Die wichtigste Lektion daraus: Eine Fundstelle macht eine Aussage prüfbar, aber nicht richtig. Ehrlich eingeordnet stützt die Arbeit die wahrgenommene Nützlichkeit, nicht die Lernwirksamkeit – dafür bräuchte es eine längere Studie.

Acht Designprinzipien

Am Ende stehen acht Prinzipien für kursgebundene Lernassistenten, kurz gefasst:

1. Jede materialgestützte Aussage mit einer Fundstelle verknüpfen, die die Originalseite direkt zeigt.
2. Nicht belegte Aussagen verständlich, auffällig und am betroffenen Satz kennzeichnen.
3. Auch für Modellwissen eine externe Quelle angeben.
4. Freien Chat und geführte Lernformate als getrennte Wege anbieten.
5. Erst eine eigene Antwort verlangen, dann die Lösung aufdecken.
6. Die eigene Antwort im Werkzeug erfassen und dort mit der Musterlösung abgleichen.
7. Generierung nachvollziehbar, steuerbar und alle Ausgaben bearbeitbar machen.
8. Automatische Punkte und Noten ausdrücklich als Orientierung ausweisen.

Nach der Abgabe

Aus dem Prototyp ist eine Web-App für mehrere Nutzer geworden, die auf einem eigenen Server läuft: Konten über Keycloak (OIDC), Start direkt aus Moodle per LTI 1.3, eine Kostenbremse mit Kontingenten je Konto, Datenexport und Kontolöschung. Dazu kamen eine Aussagenprüfung Satz für Satz – direkte Antwort auf den Fehler aus dem Experteninterview –, das Lesen von Abbildungen und Formeln, ein Lernplan bis zur Klausur und über 1.000 automatisierte Tests.