Der Bewertung von Modellierungsaufgaben kommt sowohl in der traditionellen wie auch in der wachsenden digitalen Hochschullehre eine entscheidende Bedeutung zu. In der traditionellen Präsenzlehre ist eine Bewertung von Modellierungsaufgaben zumeist im Rahmen von schriftlichen Klausuren erforderlich. Dabei besteht die Schwierigkeit darin, ein Bewertungsschema zu erstellen, welches die komplette Bandbreite möglicher Lösungen abdeckt und gleichzeitig faire, intersubjektiv nachvollziehbare und reproduzierbare Ergebnisse liefert. Ebenso muss sichergestellt sein, dass ein manuell angewendetes Bewertungsschema über alle zu korrigierenden Lösungen hinweg konsistent und fehlerfrei eingesetzt wird, wenn z.B. die Korrekturarbeit auf mehrere Personen aufgeteilt wird. Im Rahmen zukünftiger, digitalisierter Lehr- und Lernprozesse, deren Entwicklung sich vor allem durch die zunehmende Verbreitung von MOOCs (Massive Online Open Courses) abzeichnet, muss zusätzlich eine Klärung der Frage erfolgen, wie Lösungen in Form eines sogenannten eAssessments elektronisch eingereicht und anschließend (teil-)automatisiert korrigiert werden können. Die Notwendigkeit hierzu ergibt sich aus der – verglichen mit der traditionellen Lehre – oft erheblich höheren Teilnehmerzahl der Online-Kurse, die bei entsprechender Öffnung auch neuen Personenkreisen die Teilhabe an der universitären Bildung ermöglichen. Damit verbunden sind jedoch skalierbare Verfahren der automatisierten Leistungsbewertung notwendig, die gegenwärtig noch Neuland darstellen. Für Lehrende hätte eine derartige IT-gestützte Anwendung zur (teil-)automatisierten Bewertung neben Zeit- und Kostenreduktion weitere Vorteile: Die digitale Erfassung von Lösungen eröffnet die Möglichkeit der statistischen Auswertung und damit verbunden z.B. die Identifikation häufig auftretender Modellierungsfehler. Dies könnte konstruktiv genutzt werden, um Rückschlüsse auf die eigene Lehre zu ziehen und diese ggf. anzupassen.

Für die Bewertung von im Lehr/-Lernkontext von Studierenden erstellten Prozessmodellen gelten nicht unbedingt die in der Literatur beschriebenen Qualitätsanforderungen an Prozessmodelle, die in Unternehmen zum Einsatz kommen. Idealerweise werden auch Lernziele der korrespondierenden Veranstaltung berücksichtigt. Bei der Erstellung eines Bewertungsschemas muss eine Reihe von Entscheidungen getroffen werden, z.B. wie stark syntaktische Mängel des Modells gewichtet werden oder wie mit augenscheinlichen Flüchtigkeits- oder Folgefehlern umgegangen wird. Herausforderungen bei der Entwicklung (teil-)automatisierter Anwendungen für die IT-gestützte Korrektur liegen beispielsweise darin, dass einige Aspekte für die automatisierte Analyse von Modellen nur schwer zugänglich sind, wie z.B. die Erkennung von semantischen Fehlern oder die korrekte Interpretation von Elementbeschriftungen. Andererseits werden automatisierten Korrekturverfahren durch das Vorliegen von Musterlösung(en) und Aufgabentext bzw. Domänenbeschreibung wertvolle zusätzliche Informationen zur Verfügung gestellt. Interessant wäre es in diesem Kontext, zu überprüfen, inwieweit ein Ansatz auf Basis einer Berechnung der Ähnlichkeit zu einer gegebenen Musterlösung als Grundlage für die Bewertung geeignet ist (Stichwort: Model Matching / Similarity Ansätze). Ebenso könnte die Hinzunahme einer Kodierung der Domänenbeschreibung in Form einer Ontologie oder die Anwendung von Heuristiken bis zu einem gewissen Grad die Korrektur unterstützen.

Ziel des Wettbewerbs

Mit Hilfe des Wettbewerbs wollen wir die Auseinandersetzung mit dem Thema Bewertung von Modellierungsaufgaben fördern und auf dem Workshop eine entsprechende Diskussion anstoßen. Diese Diskussion könnte z.B. folgende Aspekte betreffen:

•  Generelle Anforderungen an von Studierenden erstellte Prozessmodelle
• Umsetzung dieser Anforderungen in Bewertungsschemata
• Entwicklung von „guten“ Modellierungsaufgaben (eventuell mit möglichst eindeutiger natürlichsprachlicher Beschreibung)
• Potenziale und Grenzen der automatisierten Analyse der von Studierenden erstellten Prozessmodelle
• Tool-Unterstützung für die Modellierung im Prüfungskontext (sind Modellierungshilfen sinnvoll oder unerwünscht?)

Es wird angestrebt, während dem Workshop unter Sachverständigen einen Konsens über die Anforderungen und das Vorgehen zur Bewertung zu erzielen und als Ergebnis einen Leitfaden für die gute Praxis bei der Lehre, Erstellung und Bewertung von Modellierungsaufgaben zu erarbeiten.

Wettbewerbsunterlagen

Die für den Wettbewerb ausgewählte Modellierungsaufgabe wurde aus einer Klausur entnommen. Die Aufgabenstellung besteht darin, dass zu einer gegebenen textuellen Beschreibung ein EPK-Prozessmodell erstellt werden soll. Mit der im Wettbewerb vorgestellten Auswahl an Lösungen wurde versucht, eine große Bandbreite an möglichen Ausprägungen abzudecken. Dabei wurden insbesondere Modellierungsstile und Fehler berücksichtigt, die häufig in den von uns analysierten Klausurlösungen auftreten.

Gegeben: Modellierungsaufgabe und Lösungen wie folgt:

• Aufgabe mit textueller Beschreibung eines als EPK zu modellierenden Geschäftsprozesses sowohl in englischer als auch in deutscher Sprache
• 10 Lösungen sowie eine Musterlösung zu dieser Aufgabe, ebenfalls sowohl in englischer als auch in deutscher Sprache im ADF-Format (erzeugt mit Aris Community Edition), grafisch dargestellt als PDF sowie im EPML-Format

ZIP bestehend aus allen Dateien für den Wettbewerb | Download: (EN) (DE)
PDF mit Zusammenfassung von Aufgabenstellung und Lösungen | Download: (EN) (DE)

Gesucht: Bewertungsschema (entweder für die englische oder deutsche Sprache), welches die Qualität der Lösungen auf einen ganzzahligen Wert zwischen 0 und 20 abbildet. Erforderlich sind dazu folgende Angaben:

•  Beschreibung der eigenen Anforderungen an von Studierenden erstellte Lösungen, die dem Bewertungsschema zugrunde liegen (Lernziele, Qualitätsaspekte, Modellierungskonventionen)
• Nachvollziehbare Beschreibung des Bewertungsschemas, z.B. Erläuterung der Funktionsweise, Kriterien für Punktabzug oder -vergabe, Gewichtung einzelner Aspekte
• Ergebnisse der manuellen oder (teil-)automatisierten Anwendung entweder auf die Lösungen in englischer oder in deutscher Sprache

Die Angaben müssen über das Einreichungs-Formular an uns übermittelt werden. Zusätzlich können bei Bedarf (z.B. bei Verwendung von Tabellen oder grafischen Darstellungen) auch ergänzende Beschreibungen in Form von Word- oder PDF-Dateien per E-Mail an Meike Ullrich (meike.ullrich@kit.edu) eingereicht werden. Bitte dabei auf korrekte Angabe der persönlichen Daten achten, damit wir Ihre Einsendung korrekt zuordnen können. Wir werden den Eingang zeitnah bestätigen.

Teilnahmebedingungen

Für eine Teilnahme am Wettbewerb müssen die Angaben zum Bewertungsschema bis spätestens zum 21. Februar 2016 über das Einreichungs-Formular bei uns eingegangen sein.

Alle fristgerecht eingesendeten Beiträge werden berücksichtigt, sofern sie den oben genannten Anforderungen entsprechen.

Ablauf und Termine

2. November 2015: Start des Wettbewerbs mit Ausgabe der Unterlagen
21. Februar 2016: Ende des Wettbewerbs bzw. Einsendeschluss für Beiträge
2. März 2016: Präsentation der Wettbewerbsergebnisse auf dem Workshop

Ende März 2016: Veröffentlichung der Wettbewerbsergebnisse mit einer Zusammenfassung der Beiträge über diese Webseite.
Bis Mitte 2017: Veröffentlichung des Leitfadens für die gute Praxis – nach einer geeigneten Publikationsform wird derzeit noch gesucht.