Entwicklung von LLM-Fähigkeiten für die Leistungsbeurteilung und personalisiertes Feedback

Die Lernenden bereiten ein Telefonat mit ihrer Wohnungsgesellschaft in der Zielsprache vor und führen es durch, um einen Rohrbruch zu melden – dabei üben sie praxisnahe Kommunikation für Alltagssituationen.

DigCompEdu-Kompetenzbereich(e)

Digital resources, Assessment, Empowering learners, Facilitating learners’ digital competence

Zeit

Vorbereitung: 30 Min.

Umsetzung: 90 Min.

Progressionsniveau der Lehrkräfte

Expertinnen und Experten

Zielgruppe

Fortgeschrittene Lehrkräfte · Alle Themen · Alle Sprachniveaus · Beliebige Gruppengröße

Niveau der digitalen Kompetenzen

Mittelstufe

Sprachniveau der Lernenden

A2

🎓 Lernziele

Nach Abschuss der Unterrichtseinheit können Lehrkräfte:

  • die Architektur einer effektiven LLM-Funktion (LLM Skill) verstehen: Rollendefinition, Kontext, Einschränkungen, Bewertungsraster, Kodierung und Ausgabeformat
  • einen vollständigen System-Prompt, der ein LLM als personalisierten Feedback-Assistenten für eine spezifische Bewertungsaufgabe konfiguriert, erstellen
  • ein Bewertungsraster in einen System-Prompt integrieren, damit das LLM kriterienbasiertes und dem Niveau angemessenes Feedback generiert
  • eine LLM-Funktion mithilfe strukturierter Methoden zur Prompt-Evaluation testen, überarbeiten und verfeinern
  • LLM-Funktionen innerhalb eines Teams oder einer Institution unter Verwendung von ChatGPT Custom Instructions, Claude Projects oder einer gemeinsamen Prompt-Bibliothek teilen und implementieren
  • das vom LLM generierte Feedback kritisch hinsichtlich Genauigkeit, Verzerrungen (Bias) und pädagogischer Angemessenheit bewerten, bevor es an Lernende weitergegeben wird

Zutaten

Ressource Anzahl Zweck
ChatGPT (Plus/Team), Claude.ai (Pro) oder Gemini Advanced 1 Konto pro Lehrkraft LLM-Plattform zum Aufbau und Testen von Fähigkeiten
Vorhandene Bewertungsmatrix oder Bewertungskriterien 1 pro Aufgabe Kerninhalte zur Kodierung in die LLM-Fertigkeit
Beispielarbeiten von Lernenden (anonymisiert) 3–5 Beispiele Testmaterial zur Bewertung der Qualität der Skill-Ausgabe
LLM-Kompetenzvorlage (siehe Abschnitt „Vorbereitung“) 1 Kopie Strukturiertes Framework zum Schreiben der Systemeingabeaufforderung
Gemeinsames Dokument oder Prompt-Bibliothek (z. B. Google Doc, Notion) 1 pro Team Speichern und Teilen der Fähigkeiten in der gesamten Abteilung oder Institution
Checkliste zur Feedback-Qualität (siehe Abschnitt „Bewertung“) 1 pro Lehrkraft Auswertung des von LLM generierten Feedbacks, bevor es mit den Lernenden geteilt wird
Optional: ChatGPT GPT Builder oder Claude Projects 1 Nutzerkonto Verpackung des Skills als wiederverwendbaren, benannten KI-Assistenten

Zubehör

  • Computer mit Internetzugang
  • LLM-Konto mit Zugriff auf System-Prompts bzw. benutzerdefinierte Anweisungen (ChatGPT Plus, Claude Pro oder Gemini Advanced)
  • Texteditor oder gemeinsam genutztes Dokument zum Entwerfen und Speichern von Prompts
  • anonymisierte Arbeitsbeispiele von Lernenden zu Testzwecken
  • Beamer oder Bildschirmfreigabe für die Durchführung von Gruppen-Workshops

🥣 Vorbereitung – Vor dem Einsatz im Unterricht

  • Bereiten Sie sich auf die Sitzung vor, indem Sie Ihren vorhandenen Bewertungsraster sowie 3 bis 5 anonymisierte Arbeiten von Lernenden bereitlegen. Machen Sie sich mit der untenstehenden LLM-Kompetenzvorlage (LLM Skill Template) vertraut – sie dient als struktureller Rahmen für die Erstellung Ihres System-Prompts.
  • Struktur der LLM-Kompetenzvorlage:
  • ROLLE: Sie sind [Rollenbeschreibung – z. B. „eine erfahrene Sprachlehrkraft, der sich auf die Bildung erwachsener Migranten auf dem GER-Niveau B1 spezialisiert hat“]. 

AUFGABE: Ihre Aufgabe besteht darin, [eine bestimmte Beurteilungsaufgabe – z.B. „Bewerten Sie die schriftliche E-Mail eines Lernenden und geben Sie strukturiertes, personalisiertes Feedback“]. 

Rubrik: Bewerten Sie die Arbeit anhand der folgenden Kriterien: 
  - [Kriterium 1]: [Beschreibung für Ausgezeichnet / Gut / Verbesserungswürdig] 
  - [Kriterium 2]: [Beschreibung für Ausgezeichnet / Gut / Verbesserungswürdig] 
  - [Kriterium 3]: [Beschreibung für Ausgezeichnet / Gut / Verbesserungswürdig] 

LERNERPROFIL: Der/Die Lernende ist [Profil – z.B. „ein erwachsener Migrant auf B1-Niveau, Muttersprache Arabisch, der Deutsch aus beruflichen Gründen lernt“]. 

TON & SPRACHE: Das Feedback muss [Tonfall sein – z. B. „Ermutigend, spezifisch und in einfachem Englisch auf dem Leseniveau B1 verfasst.“ Vermeiden Sie Fachjargon.']. 

AUSGABEFORMAT: Strukturieren Sie Ihre Antwort wie folgt: 
  1. Gesamteindruck (2–3 Sätze) 
  2. Feedback für jedes einzelne Kriterium (ein Absatz pro Kriterium) 
  3. zwei spezifische Stärken 
  4. zwei spezifische, umsetzbare Verbesserungsbereiche 
  5. ein Vorschlag für den nächsten Lernschritt vor 

EINSCHRÄNKUNGEN: Weisen Sie keine numerische Note zu. Schreiben Sie die Arbeit des Lernenden nicht um. Verwenden Sie keine Formulierungen wie „Großartige Arbeit!“ ohne besondere Begründung.
  • Wählen Sie Ihre Bewertungsaufgabe – eine schriftliche, mündliche oder projektbasierte Aufgabe, die Sie regelmäßig bewerten. Verwenden Sie Ihre bestehende Bewertungsmatrix oder erstellen Sie eine mit 3–4 Kriterien.
  • Anonymisieren Sie 3–5 Arbeiten von Lernenden unterschiedlicher Qualität – diese dienen als Testfälle zur Bewertung der Kompetenz.
  • Entwerfen Sie Ihre LLM-Kompetenz anhand der obigen Vorlage – füllen Sie jeden Abschnitt mit Ihrer spezifischen Rolle, Aufgabe, Bewertungsmatrix, dem Lernerprofil, dem gewünschten Tonfall, dem Ausgabeformat und den Rahmenbedingungen aus.
  • Geben Sie Ihre Systemaufforderung in Ihre gewählte LLM-Plattform ein (ChatGPT Benutzerdefinierte Anweisungen, Claude Projektanweisungen oder Gemini-Systemaufforderungsfeld).
  • Führen Sie Ihre 3–5 Testbeiträge durch die Kompetenz und bewerten Sie die Ergebnisse anhand der Feedback-Qualitätscheckliste im Bewertungsbereich.
  • Optimierung – verfeinern Sie die Aufforderung basierend auf den Fehlern der LLM-Kompetenz. Häufige Probleme: eine zu vage Bewertungsmatrix, fehlender Kontext zum Lernerprofil oder fehlende Vorgaben zum Ausgabeformat.

🔥 Umsetzung (Im Unterricht / Synchron )

Dieses Rezept ist für einen CPD-Workshop oder eine selbstgesteuerte Fortbildungssitzung konzipiert. Die folgenden Phasen führen Pädagogen durch die Erstellung, das Testen und die Bereitstellung ihres ersten LLM-Skills für die Bewertung und das Feedback.

  • Phase 1 – Analyse (15 Min.)
    • Untersuchen Sie zunächst 2–3 Beispiele für von einem LLM generiertes Feedback – eines gut, eines mittelmäßig, eines schlecht. Diskutieren Sie in der Gruppe: Was macht Feedback pädagogisch wertvoll? Was macht das LLM falsch? Identifizieren Sie die Schlüsselfaktoren: Spezifität, Ausrichtung an Bewertungskriterien, Tonfall, Umsetzbarkeit und Angemessenheit für die Lernenden.
  • Phase 2 – Entwurf (25 Min.)
    • Mithilfe der „LLM-Kompetenzvorlage“ entwirft jede Lehrkraft einen System-Prompt für eine eigene Bewertungsaufgabe. Achten Sie besonders auf eine präzise Formulierung der Bewertungskriterien (Rubrik) – vage Kriterien führen zu vagem Feedback. Bilden Sie Paare und begutachten Sie gegenseitig Ihre Prompts, bevor Sie diese testen.
  • Phase 3 – Testen & Überarbeiten (30 Min.)
    • Geben Sie Ihren Skill in die LLM-Plattform ein und lassen Sie Ihre anonymisierten Test-Einreichungen darüber auswerten. Nutzen Sie die Checkliste zur Feedback-Qualität, um jedes Ergebnis zu bewerten. Identifizieren Sie die Schwachstelle Ihres Prompts und überarbeiten Sie ihn. Führen Sie den Test erneut durch. Streben Sie mindestens zwei Überarbeitungszyklen an.
  • Phase 4 – Bereitstellung & Austausch (20 Min.)
    • Speichern Sie Ihren fertigen Skill in einer gemeinsamen Prompt-Bibliothek des Teams. Wenn Sie ChatGPT verwenden, können Sie ihn mit dem GPT Builder als benannten GPT speichern. Bei Claude speichern Sie ihn als Projekt. Erläutern Sie der Gruppe, wie der Skill im Live-Unterricht oder bei der Korrektur von Arbeiten aktiviert und genutzt wird.
  • Phase 5 – Reflexion (10 Min.)
    • Diskussion in der Gesamtgruppe: Wo bietet dieser Skill den größten Mehrwert? Wo muss die Lehrkraft stets die letzte Entscheidungsgewalt behalten? Wie kommunizieren Sie den Lernenden, dass das Feedback KI-gestützt ist? Welche institutionellen Vorgaben müssen dabei beachtet werden?

🧂 Differenzierung & Inklusion

  • Lehrkräfte auf der Stufe „Entdecker“ Stellen Sie eine bereits ausgefüllte Skill-Vorlage mit einer integrierten, einfachen Bewertungsmatrix (Rubrik) zur Verfügung – bitten Sie sie lediglich, das Lernendenprofil und den Tonfall anzupassen.
  • Lehrkräfte auf der Stufe „Insider“: Fordern Sie sie heraus, eine mehrstufige Bewertungsmatrix (A2/B1/B2) in einen einzigen Skill zu integrieren, der das Feedback basierend auf einem Parameter des Lernendenprofils anpasst.
  • Lehrkräfte auf der Stufe „Experte/Vorreiter“: Experimentieren Sie mit der Verkettung von Skills – z. B. ein erster Skill, der Fehler identifiziert, und ein zweiter, der auf Basis dieser Fehler eine gezielte Grammatikübung erstellt.
  • Mehrsprachige Kontexte: Entwickeln Sie Skills, die Feedback sowohl in der Muttersprache der Lernenden als auch in der Zielsprache generieren, indem Sie einen Sprachparameter im Prompt verwenden.
  • Große Klassen: Entwerfen Sie Skills, die Feedback für mehrere Einreichungen gleichzeitig auf Basis eines strukturierten Eingabeformats erstellen, um den Zeitaufwand für die Korrektur erheblich zu reduzieren.
  • Institutioneller Einsatz: Arbeiten Sie mit der IT- oder Verwaltungsabteilung zusammen, um genehmigte Skills in einer gemeinsamen Bibliothek für System-Prompts zu speichern, auf die alle Mitarbeitenden zugreifen können; dies gewährleistet Einheitlichkeit innerhalb der gesamten Institution.

🥄 Evaluation & Feedback

Instrument/Kriterium Ausgezeichnet Gut Verbesserungswürdig
Kriterienbezug Jedes Feedback ist direkt einem benannten Bewertungskriterium zugeordnet und enthält konkrete Belege aus der Arbeit des Lernenden. Der Großteil des Feedbacks ist kriterienbezogen; ein oder zwei Kommentare sind allgemeiner Natur. Das Feedback ist größtenteils allgemein gehalten; die Bewertungskriterien werden nicht klar referenziert.
Spezifität & Belege Das Feedback führt konkrete Wörter, Sätze oder Beispiele aus der eingereichten Arbeit an, um jedes Urteil zu begründen. Der Großteil des Feedbacks ist spezifisch; einigen Anmerkungen fehlen direkte Belege aus der Arbeit. Das Feedback ist vage; es werden keine konkreten Beispiele aus der eingereichten Arbeit angeführt.
Tonfall & Angemessenheit für Lernende Der Tonfall ist durchgehend ermutigend und professionell; die Sprache ist präzise auf das Niveau der Lernenden abgestimmt. Der Tonfall ist weitgehend angemessen; gelegentliche Unstimmigkeiten bei Register oder Komplexität. Der Tonfall ist unangemessen (zu schroff, zu überschwänglich oder zu komplex für die Lernenden).
Umsetzbarkeit Jeder Verbesserungsbereich beinhaltet einen konkreten, erreichbaren nächsten Schritt, auf den der Lernende sofort reagieren kann. Die meisten Verbesserungen sind umsetzbar; ein oder zwei davon sind zu vage, um darauf reagieren zu können. Verbesserungspotenziale werden identifiziert, es werden jedoch keine umsetzbaren Leitlinien bereitgestellt.
Genauigkeit & Zuverlässigkeit Alle sachlichen Aussagen und sprachlichen Einschätzungen im Feedback sind korrekt; es wurden keine Halluzinationen festgestellt. Überwiegend korrekt; ein kleiner Fehler oder eine Übertreibung, die korrigiert werden muss. Enthält sachliche Fehler, fehlerhafte sprachliche Einschätzungen oder halluzinierte Inhalte.

⚠️ Ethik, Datenschutz & Schutzmaßnahmen

 

  • Datenschutz & DSGVO: Übermitteln Sie niemals identifizierbare Arbeiten von Lernenden (Namen, Identifikationsnummern, persönliche Daten) an eine LLM-Plattform. Anonymisieren Sie Eingaben stets, bevor Sie einen „Skill“ testen oder einsetzen. Prüfen Sie die Vereinbarungen Ihrer Institution zur Datenverarbeitung – viele LLM-Anbieter verarbeiten Daten auf Servern außerhalb der EU, was den Abschluss einer Vereinbarung zur Auftragsverarbeitung (AVV) erforderlich machen kann.
  • Transparenz gegenüber Lernenden: Lernende haben ein Recht darauf zu erfahren, wenn KI an der Erstellung ihres Feedbacks beteiligt war. Erstellen Sie eine klare Erklärung Ihrer Institution hierzu und integrieren Sie diese in Ihre Feedback-Kommunikation.
  • Verantwortung der Lehrkraft: Von LLMs generiertes Feedback muss vor der Weitergabe stets von der Lehrkraft überprüft und freigegeben werden. Die Lehrkraft trägt weiterhin die fachliche und rechtliche Verantwortung für sämtliches Feedback, das an Lernende gegeben wird. KI ist ein Werkzeug, kein Ersatz für professionelles Urteilsvermögen.
  • Voreingenommenheit & Fairness: LLMs können kulturelle, sprachliche und demografische Verzerrungen (Biases) widerspiegeln, die in ihren Trainingsdaten enthalten sind. Testen Sie Ihren Skill aktiv mit unterschiedlichen Lernendenprofilen und achten Sie auf Qualitätsunterschiede im Feedback hinsichtlich sprachlicher Hintergründe, Schreibstile und Themenbereiche.
  • Institutionelle Richtlinien: Stellen Sie sicher, dass Ihre Schule, Ihr Programm oder Ihre Institution über eine Richtlinie zur KI-gestützten Leistungsbeurteilung verfügt, bevor Sie LLM-basierte Skills bei echten Lernenden einsetzen. Sollte keine solche Richtlinie existieren, setzen Sie sich für deren Einführung ein.

🍱 Erweiterungen / Weiterverfolgung

  • Verknüpfte Skills: Erstellen Sie einen zweistufigen Arbeitsablauf – Skill 1 identifiziert Fehler und erstellt eine Diagnose; Skill 2 nutzt diese Diagnose, um eine gezielte Übungsaufgabe für den Lernenden zu generieren.
  • Mündliches Feedback: Kombinieren Sie Ihre LLM-Anwendung mit einem Text-to-Speech-Tool (z. B. ElevenLabs, Microsoft Azure TTS), um personalisiertes, gesprochenes Feedback zu geben – besonders wertvoll für Lernende mit geringer Lese- und Schreibkompetenz.
  • Selbsteinschätzung der Lernenden: Stellen Sie den Lernenden eine vereinfachte Version der Anwendung direkt zur Verfügung, damit sie ihre Entwürfe vor der Abgabe selbst beurteilen können; dies fördert das metakognitive Bewusstsein.
  • Abteilungsweite Prompt-Bibliothek: Organisieren Sie einen Workshop, um gemeinsam eine Bibliothek bewährter LLM-Anwendungen für die häufigsten Prüfungsaufgaben Ihrer Institution zu erstellen – so vermeiden Sie Doppelarbeit und gewährleisten Einheitlichkeit.
  • Forschung & Reflexion: Dokumentieren Sie die Weiterentwicklung Ihrer Anwendung sowie die Ergebnisse der Lernenden über ein Semester hinweg. Nutzen Sie diese Unterlagen als Grundlage für ein praxisorientiertes Forschungsprojekt oder einen Eintrag in Ihr Portfolio zur beruflichen Weiterbildung (CPD) im Bereich KI-gestützte Leistungsbeurteilung.

🔗 Fächerübergreifender Bezug

  • Staatsbürgerkunde / Mieterrechte in Deutschland, Funktionsweise der Wohnungsbehörde
  • Digitale Kompetenz – Nutzung von Online-Portalen für Wohnungsangelegenheiten (z. B. Mieterbund, Verbraucherzentrale)

📚 Weiterführende Literatur & Ressourcen

OpenAI ChatGPT – Benutzerdefinierte Anweisungen: https://help.openai.com/en/articles/8096356-custom-instructions-for-chatgpt

Anthropic Claude-Projekte: https://www.anthropic.com/claude

Google Gemini System Instructions: https://ai.google.dev/gemini-api/docs/system-instructions

DigCompEdu – Europäischer Rahmen für die digitale Kompetenz von Lehrenden: https://joint-research-centre.ec.europa.eu/digcompedu_en

UNESCO Guidance for Generative AI in Education and Research (2023): https://www.unesco.org/en/digital-education/artificial-intelligence

Mollick, E. & Mollick, L. (2023). Assigning AI: Seven Approaches for Students, with Prompts. SSRN: https://ssrn.com/abstract=4475995

Europäische Kommission — Ethik-Leitlinien für vertrauenswürdige KI : https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai