Skapa LLM-färdigheter för bedömning och personlig feedback

Eleverna förbereder och genomför ett telefonsamtal på målspråket till sitt bostadsbolag för att anmäla en läckande vattenledning — de övar på verklig kommunikation för vardagliga behov.

DigCompEdu-Kompetensområde(n)

Digital resources, Assessment, Empowering learners, Facilitating learners’ digital competence

Tid

Förberedelse: 30 minuter

Genomförande: 90 min

Utbildningspersonals Nivå

Leader

Målgrupp

Advanced educators · Any subject · Any  language level · Any group size

Minimikrav på Elevernas Digitala Färdigheter

Mellannivå

Minimikrav på Elevernas Språknivå

A2 – B2

🎓 Lärandemål

Teachers will be able to…

  • Förstå uppbyggnaden av en effektiv LLM-färdighet: rolldefinition, sammanhang, begränsningar, bedömningskriterier kodning och utdataformat.
  • Skriva en fullständig systemprompt som konfigurerar en LLM som en personlig feedbackassistent för en specifik bedömningsuppgift.
  • Koda in en bedömningsrubrik i en systemprompt så att LLM:en genererar kriteriebaserad, nivåanpassad återkoppling
  • Testa, iterera och förfina en LLM-funktion med hjälp av strukturerade utvärderingstekniker för prompter.
  • Dela och distribuera LLM-färdigheter inom ett team eller en institution med hjälp av ChatGPT Custom Instructions, Claude Projects eller ett delat promptbibliotek.
  • Critically evaluate LLM-generated feedback for accuracy, bias, and pedagogical appropriateness before sharing with learner

Ingredienser

Objekt / Resurs Antal Syfte
ChatGPT (Plus/Team), Claude.ai (Pro) eller Gemini Advanced 1 konto per lärare LLM-plattform för att skapa och testa färdigheter
Befintlig bedömningsmatris eller bedömningskriterier 1 per uppgift Kärninnehåll som ska kodas in i LLM-färdigheten
Exempel på elevernas inlämningar (anonymiserade) 3-5 exempel Testmaterial för utvärdering av färdighetens utdatakvalitet
Mall för LLM-färdighet (se avsnittet Förberedelser) 1 exemplar Strukturerat ramverk för att skriva systemprompten
Delat dokument eller promptbibliotek (t.ex. Google Doc, Notion) 1 per team Lagra och dela färdigheter inom avdelningen eller institutionen
Checklista för feedbackkvalitet (se avsnittet Bedömning) 1 per lärare Utvärdera LLM-genererad feedback innan den delas med eleverna
Valfritt: ChatGPT GPT Builder eller Claude-projekt 1 konto Paketera färdigheten som en återanvändbar, namngiven AI-assistent

Utrustning

  • Dator med internetanslutning
  • LLM-konto med åtkomst till systempromptar/anpassade instruktioner (ChatGPT Plus, Claude Pro eller Gemini Advanced)
  • Textredigerare eller delat dokument för att skriva utkast och spara prompter
  • Anonymiserade exempel på elevernas arbeten för teständamål
  • Projektor eller skärmdelning för genomförande av gruppworkshops

🥣 Förberedelser – före genomförandet

  • Before the session, gather your existing assessment rubric and 3-5 anonymised learner submissions. Familiarise yourself with the LLM Skill Template below – this is the structural framework you will use to write your system prompt.
  • Struktur för LLM-kompetensmallen:
  • ROLE: You are [role description - e.g. 'an experienced language teacher specialising in adult migrant education at B1 CEFR level']. 

TASK: Your task is to [specific assessment task - e.g. 'assess a learner's written email and provide structured, personalised feedback']. 

RUBRIC: Use the following criteria to assess the work: 
- [Criterion 1]: [descriptor for Excellent / Good / Needs Work] 
- [Criterion 2]: [descriptor for Excellent / Good / Needs Work] 
- [Criterion 3]: [descriptor for Excellent / Good / Needs Work] 

LEARNER PROFILE: The learner is [profile - e.g. 'an adult migrant at B1 level, first language Arabic, studying Swedish for work purposes']. 

TONE & LANGUAGE: Feedback must be [tone - e.g. 'encouraging, specific, and written in plain English at B1 reading level. Avoid jargon.']. 

OUTPUT FORMAT: Structure your response as follows: 1. Overall impression (2-3 sentences) 2. Criterion-by-criterion feedback (one paragraph per criterion) 
3. Two specific strengths 4. Two specific, actionable areas for improvement 5. One suggested next learning step 

CONSTRAINTS: Do not assign a numerical grade. Do not rewrite the learner's work. Do not use phrases like 'Great job!' without specific justification.
  • Select your assessment task – choose a written, oral, or project-based task you regularly assess. Gather your existing rubric or create one with 3-4 criteria.
  • Anonymise 3-5 learner submissions at different quality levels – these will be your test cases for evaluating the Skill.
  • Draft your LLM Skill using the template above – fill in each section with your specific role, task, rubric, learner profile, tone, output format, and constraints.
  • Ange din systemprompt i den valda LLM-plattformen (ChatGPT Custom Instructions, Claude Project Instructions eller Gemini-fältet för systemprompt).
  • Kör dina 3–5 testinlämningar genom LLM-färdigheten och utvärdera utdata med hjälp av checklistan för feedbackkvalitet i avsnittet Bedömning.
  • Iterate – refine the prompt based on what the LLM gets wrong. Common issues: too vague a rubric, missing learner profile context, or no output format constraints.

🔥 Steg för implementering (i klassrummet/synkront)

Denna guide är utformad för en CPD-workshop eller en självstyrd fortbildningssession. Följande faser guidar lärare genom att bygga, testa och implementera sin första LLM-skill för bedömning och feedback.

  • Phase 1 – Deconstruct (15 min)
    • Begin by examining 2-3 examples of LLM-generated feedback – one good, one mediocre, one poor. Discuss as a group: what makes feedback pedagogically useful? What does the LLM get wrong? Identify the key variables: specificity, criterion-alignment, tone, actionability, and learner-appropriateness.
  • Phase 2 – Design (25 min)
    • Using the LLM Skill Template, each educator drafts a system prompt for one of their own assessment tasks. Focus on encoding the rubric precisely – vague criteria produce vague feedback. Pair up and peer-review each other’s prompts before testing.
  • Phase 3 – Test & Iterate (30 min)
    • Lägg in din färdighet i LLM-plattformen och kör dina anonymiserade testinlämningar genom den. Använd checklistan för feedbackkvalitet för att utvärdera varje resultat. Identifiera det svagaste elementet i din prompt och revidera den. Kör testet igen. Sträva efter minst två iterationscykler.
  • Phase 4 – Deploy & Share (20 min)
    • Spara er färdigställda Skill i ett gemensamt promptbibliotek för teamet. Om ni använder ChatGPT kan ni överväga att paketera den som en namngiven GPT med hjälp av GPT Builder. Om ni använder Claude sparar ni den som ett projekt. Visa gruppen hur man aktiverar och använder Skillen i en live-lektion eller rättningssession.
  • Phase 5 – Reflect (10 min)
    • Diskussion med hela gruppen: Var tillför denna färdighet mest värde? I vilka situationer måste läraren alltid behålla det slutgiltiga omdömet? Hur kommer du att informera eleverna om att återkopplingen är AI-stödd? Vilka skyldigheter har din institution enligt gällande policy?

🧂 Anpassning och inkludering

  • Explorer-level educators: Provide a pre-filled Skill template with a simple rubric already encoded — ask them to adapt the learner profile and tone only.
  • Integrator-level educators: Challenge them to encode a multi-level rubric (A2/B1/B2) into a single Skill that adapts its feedback based on a learner profile parameter.
  • Expert/Pioneer educators: Explore chaining Skills — e.g. a first Skill that identifies errors, a second that generates a targeted grammar exercise based on those errors.
  • Multilingual contexts: Build Skills that generate feedback in the learner’s first language alongside the target language, using a language parameter in the prompt.
  • Large classes: Design Skills that generate feedback for batches of submissions using a structured input format, reducing marking time significantly.
  • Institutional deployment: Work with IT/admin to store approved Skills in a shared system prompt library accessible to all staff, ensuring consistency across the institution.

🥄 Bedömning och återkoppling

Kriterium Utmärkt Bra Behöver förbättras
Criterion Alignment Every piece of feedback maps directly to a named rubric criterion with specific evidence from the learner’s work. Most feedback is criterion-aligned; one or two comments are generic. Feedback is largely generic; rubric criteria are not clearly referenced.
Specificity & Evidence Feedback cites specific words, sentences, or examples from the submission to justify every judgement. Most feedback is specific; some comments lack direct evidence from the work. Feedback is vague; no specific examples from the submission are cited.
Tone & Learner-Appropriateness Tone is consistently encouraging and professional; language is pitched precisely at the learner’s level. Tone is mostly appropriate; occasional mismatch in register or complexity. Tone is inappropriate (too harsh, too effusive, or too complex for the learner).
Actionability Every area for improvement includes a concrete, achievable next step the learner can act on immediately. Most improvements are actionable; one or two are too vague to act on. Areas for improvement are identified but no actionable guidance is provided.
Accuracy & Reliability All factual claims and language assessments in the feedback are correct; no hallucinations detected. Mostly accurate; one minor error or overstatement that requires correction. Contains factual errors, incorrect language assessments, or hallucinated content.

⚠️ Etik, integritet och säkerhet

 

  • Data Privacy & GDPR: Never submit identifiable learner work (names, ID numbers, personal details) to any LLM platform. Always anonymise submissions before testing or using a Skill. Check your institution’s data processing agreements — many LLM providers process data on servers outside the EU, which may require a Data Processing Agreement (DPA).
  • Transparency with Learners: Learners have a right to know when AI has been involved in generating their feedback. Develop a clear institutional disclosure statement and include it in your feedback communications.
  • Educator Accountability: LLM-generated feedback must always be reviewed and approved by the educator before sharing. The educator remains professionally and legally responsible for all feedback given to learners. AI is a tool, not a substitute for professional judgement.
  • Bias & Fairness: LLMs can reproduce cultural, linguistic, and demographic biases present in their training data. Actively test your Skill with diverse learner profiles and check for differential quality in feedback across language backgrounds, writing styles, and topics.
  • Institutional Policy: Verify that your school, programme, or institution has a policy on AI-assisted assessment before deploying LLM Skills with real learners. Where no policy exists, advocate for one.

🍱 Fördjupning / Uppföljningar

  • Chained Skills: Build a two-step workflow – Skill 1 identifies errors and generates a diagnosis; Skill 2 uses that diagnosis to generate a targeted practice exercise for the learner.
  • Oral feedback: Combine your LLM Skill with a text-to-speech tool (e.g. ElevenLabs, Microsoft Azure TTS) to deliver personalised spoken feedback – particularly valuable for low-literacy learners.
  • Learner self-assessment: Share a simplified version of the Skill directly with learners so they can self-assess their drafts before submission – building metacognitive awareness.
  • Departmental prompt library: Facilitate a team session to build a shared library of approved LLM Skills for your institution’s most common assessment tasks – reducing duplication and ensuring consistency.
  • Forskning och reflektion: Dokumentera dina Skill-iterationer och elevernas resultat under en termin. Använd detta som underlag för ett forskningsprojekt för praktiker eller ett bidrag till en CPD-portfölj om AI-stödd bedömning.

🔗 Ämnesövergripande koppling

  • Civics / samhällskunskap – tenant rights in Sweden, how bostadsföretag work
  • Digital literacy – how to use online felanmälan portals (e.g. Mitt Boende, Riksbyggen app)

Referenser och resurser

OpenAI ChatGPT Custom Instructions: https://help.openai.com/en/articles/8096356-custom-instructions-for-chatgpt

Anthropic Claude Projects: https://www.anthropic.com/claude

Google Gemini System Instructions: https://ai.google.dev/gemini-api/docs/system-instructions

DigCompEdu — European Framework for the Digital Competence of Educators: https://joint-research-centre.ec.europa.eu/digcompedu_en

UNESCO Guidance for Generative AI in Education and Research (2023): https://www.unesco.org/en/digital-education/artificial-intelligence

Mollick, E. & Mollick, L. (2023). Assigning AI: Seven Approaches for Students, with Prompts. SSRN: https://ssrn.com/abstract=4475995

European Commission — Ethics Guidelines for Trustworthy AI: https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai