Zur Hauptnavigation wechseln Zur Suche wechseln Zum Hauptinhalt wechseln

Assessing German Argumentative Essays via Large Language Models: Potentials and Limitations in Secondary Education

Titel in Übersetzung: Automatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch
  • Dennis Föste-Eggers
  • , Fabian T.C. Schmidt
  • , Marit Kristine List
  • , Robert Glüsing
  • , Johanna Fleckenstein

Publikation: Beiträge in Zeitschriften › Zeitschriftenaufsätze › Forschung › Begutachtung

Abstract

Assessing essays is complex and time-consuming, hindering diagnostics in language classes and educational monitoring. Large Language Models (LLMs) offer new possibilities for automated essay scoring, yet research on their performance on German texts remains limited. In this study, 1,000 argumentative essays by secondary students were evaluated by human raters and various LLMs using a rubric-based approach. We analyzed LLM-human alignment (quadratic-weighted kappa, ±1 agreement), scoring tendencies, and fairness. Results show LLMs achieve good alignment with human ratings for holistic scores. However, analytic dimensions (especially language) are harder for LLMs to capture. While model-dependent scoring tendencies emerged, no systematic bias regarding students' background characteristics was found. LLMs thus appear potentially helpful for summative feedback.

Titel in ÜbersetzungAutomatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch
OriginalspracheEnglisch
ZeitschriftPsychologie in Erziehung und Unterricht
Jahrgang73
Ausgabenummer3
Seiten (von - bis)184-201
Seitenumfang18
ISSN0342-183X
DOIs
PublikationsstatusErschienen - 07.2026

Bibliographische Notiz

Publisher Copyright:
© Ernst Reinhardt Verlag

UN SDGs

Dieser Output leistet einen Beitrag zu folgendem(n) Ziel(en) für nachhaltige Entwicklung

  1. SDG 4 – Qualitativ hochwertige Bildung
    SDG 4 – Qualitativ hochwertige Bildung

Fachgebiete und Schlagwörter

  • Erziehungswissenschaften

ASJC Scopus Sachgebiete

  • Pädagogische und Entwicklungspsychologie

Fingerprint

Untersuchen Sie die Forschungsthemen von „Automatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch“. Zusammen bilden sie einen einzigartigen Fingerprint.

Dieses zitieren