Abstract
Assessing essays is complex and time-consuming, hindering diagnostics in language classes and educational monitoring. Large Language Models (LLMs) offer new possibilities for automated essay scoring, yet research on their performance on German texts remains limited. In this study, 1,000 argumentative essays by secondary students were evaluated by human raters and various LLMs using a rubric-based approach. We analyzed LLM-human alignment (quadratic-weighted kappa, ±1 agreement), scoring tendencies, and fairness. Results show LLMs achieve good alignment with human ratings for holistic scores. However, analytic dimensions (especially language) are harder for LLMs to capture. While model-dependent scoring tendencies emerged, no systematic bias regarding students' background characteristics was found. LLMs thus appear potentially helpful for summative feedback.
| Titel in Übersetzung | Automatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch |
|---|---|
| Originalsprache | Englisch |
| Zeitschrift | Psychologie in Erziehung und Unterricht |
| Jahrgang | 73 |
| Ausgabenummer | 3 |
| Seiten (von - bis) | 184-201 |
| Seitenumfang | 18 |
| ISSN | 0342-183X |
| DOIs | |
| Publikationsstatus | Erschienen - 07.2026 |
Bibliographische Notiz
Publisher Copyright:© Ernst Reinhardt Verlag
UN SDGs
Dieser Output leistet einen Beitrag zu folgendem(n) Ziel(en) für nachhaltige Entwicklung
-
SDG 4 – Qualitativ hochwertige Bildung
Fachgebiete und Schlagwörter
- Erziehungswissenschaften
ASJC Scopus Sachgebiete
- Pädagogische und Entwicklungspsychologie
Fingerprint
Untersuchen Sie die Forschungsthemen von „Automatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch“. Zusammen bilden sie einen einzigartigen Fingerprint.Dieses zitieren
- APA
- Author
- BIBTEX
- Harvard
- Standard
- RIS
- Vancouver