H o c h s c h u l e    M ü n c h e n

Evaluierung von Lehrveranstaltungen
von Prof. Jürgen Plate

Evaluierung der Lehre

Einführung und Bedienung

Tallyman ist ein Programm für die elektronische Evaluierung der Lehre. Statt einen Fragebogen aus Papier auszufüllen, kann hier der/die Studierende den Fragebogen im Internet bearbeiten und abschicken. Die elektronische Form der Evaluierung hat einige Vorteile:
 • Die Bearbeitung erfolgt in allen Schritten per Browser über das World Wide Web.
 • Das Ausfüllen erfolgt nicht mehr unter Zeitdruck (irgendwann während der Vorlesung oder schnell nach der Prüfung).
 • Die Bearbeitung ist wirklich anonym (was beim Abgeben des Papierbogens nicht immer der Fall ist).
 • Man kann den Fragebogen in Ruhe dann ausfüllen, wenn man nicht nur Zeit, sondern auch Lust dazu hat.
 • Die Lehrperson muss die Bögen nicht mehr auswerten, sondern erhält eine übersichtliche Gesamtauswertung.

Das Ganze läuft recht einfach in drei Phasen durch den Aufruf dreier Programme ab:

  1. Abstimmberechtigung vergeben
  2. Abstimmen
  3. Auswerten

Erläuterungen

Abstimmberechtigung vergeben (Programm tallykey.cgi)

Die Lehrperson ruft das Programm zum Erzeugen von "Wahlzetteln" für seine Studierenden auf. Es sollen ja nicht Hinz und Kunz eine Vorlesung beurteilen, sondern nur diejenigen, die auch in der Vorlesung waren. Nach Aufruf der Webseite erfolgt zuerst die Wahl der Fakultät und dann die eigentliche Eingabe zu den "Wahlzetteln". Die Fächer und Professorennamen werden als Pull-Down-Menü angeboten. Die "Wahlzettel" enthalten lediglich eine Kennung (genauer: eine individuelle Webadresse), die zur einmaligen Abgabe einer Bewertung berechtigt. Damit die Webadresse nicht abgetippt werden muss, befindet sich der Link auch als sogenannter QR-Code auf dem Zettel (siehe auch "Abstimmen").

Die "Wahlzettel" werden zu einem beliebigen Zeitpunkt in der Vorlesung verteilt, wodurch die Anonymität der abstimmenden Studierenden sichergestellt ist. Auch der/die Professor/in erhält eine Kennung, mit der er/sie die Ergebnisse abrufen kann. Die Ergebnisse der Abstimmung werden nur mit dieser Kennung gespeichert und nicht mit dem Namen (der Name der Lehrperson taucht einzig und alleine auf den gedruckten Wahlzetteln auf).

Das Programm ist durch ein Passwort gegen mißbrächliche Nutzung geschützt.

Interessierte Kollegen/Kolleginnen können das Passwort für die Erzeugung der "Wahlzettel" bei ihrem Studiendekan erfragen.

Für die Erstellung der Abstimmberechtigungen (genauer für die Dozenten- und Fächer-Menüs) werden von jeder Fakultät zwei Textlisten (ASCII) benötigt, die in der Datenbank gespeichert sind und vom Studiendekan gepflegt werden:

Sinnvoll ist es, die beiden Listen alphabetisch zu sortieren. Diese Listen lassen sich mit Hilfe des Programms "tallyadmin.cgi" pflegen.

Abstimmen (Programm tallyform.cgi)

Die Studierenden rufen das Abstimmprogramm im Web-Browser auf und identifizieren sich dazu mit der Kennung vom "Wahlzettel". Das dargebotene Fragebogen-Formular entspricht dem früheren Papier-Fragebogen. Nach dem Ausfüllen und Absenden des Formulars erlischt die Abstimmungs-Berechtigung - jede(r) Studierende kann daher nur einmal abstimmen.

Auf den "Wahlzetteln" und ebenso auf dem Professorenabschnitt wird ein sogenannter QR-Code (eine Art zweidimensionaler Strichcode) abgedruckt, der dem Benutzer die Eingabe der Webadresse und des Zugangscodes erspart und direkt auf das Abstimmformular (bzw. die Ergebnisanzeige) führt - sofern das Smartphone oder der Tablet-PC über eine Kamera und ein entsprechendes Browser-App verfügt.

Auswerten (Programm tallychart.cgi)

Die Lehrperson identifiziert sich beim Programmaufruf mit der zugewiesenen Kennung (siehe allerersten Abschnitt der ausgedruckten Wahlberechtigungen) und erhält eine grafisch ansprechende Auswertung der Multiple-Choice-Fragen sowie eine Auflistung der Antworten zu den letzten drei Fragen. Die beiden Antwortgruppen werden auf getrennten Seiten dargeboten und sind damit auch getrennt ausdruckbar und archivierbar (abspeichern im Browser mit Datei → Speichern unter). Die abgespeicherte HTML-Datei kann jederzeit mit dem Browser ausgedruckt werden - oder man kann sie mit entsprechenden Programmen (Webeditor, MS Word, etc.) weiterbearbeiten. Übrigens läßt sich die Ausgabe im Browser auf Druckseitenbreite anpassen oder sogar verkleinern.

Lebensdauer der Daten

Jeweils ab Semesteranfang (genauer am 1. 4. und 1.10. des jeweiligen Jahres) werden alle gespeicherten Daten des vorhergehenden Semesters gesperrt und sind nicht mehr zugänglich.

Datenaufbereitung für den Studiendekan

Für den Lehrbericht des Studiendekans wird dokumentiert, ob ein Kollege evaluiert hat. Es werden dabei nur Semester, Professorenname und Fach gespeichert. Der Studiendekan kann zudem über eine modifizierte Version des Auswertungsprogramms tallychart.cgi Summenstatistiken abrufen (Programm tallyall.cgi), die Workload-Statistik der Studiernenden ermitteln (Programm tallywork.cgi) sowie seine Daten verwalten (Programm tallyadmin.cgi).

Auswerten Logdatei
Hier wird angegeben, welche Kollegen welche Fächer evaluiert haben (ohne Auswertung der Abstimm-Bögen).
https://evaluation.ee.hm.edu/cgi-bin/tallylog.cgi

Gesamt-Auswertung
Hier wird eine Auswertung über die gesamte Fakultät erzeugt (ohne Auswertung der Text-Antworten). Die Auswertung kann für das aktuelle Semester oder die letzten beiden Semester erzeugt werden.
https://evaluation.ee.hm.edu/cgi-bin/tallyall.cgi

Workload-Statistik
Hier wird eine Auswertung der Workload (Arbeitsbelastung der Studierenden) über alle Fächer erzeugt und als CSV-Datei für die Weiterverabeitung mit Excel o. ä. ausgegeben. Die Statistik kann für das aktuelle Semester oder die letzten beiden Semester erzeugt werden.
https://evaluation.ee.hm.edu/cgi-bin/tallywork.cgi

Daten-Verwaltung
Die variablen Daten einer Fakultät lassen sich vom Studiendekan verwalten. Zum einen lassen sich die beiden Passwörter ("Wahlzettel"-Generierung und Studiendekan) ändern. Zum anderen können die Dozenten- und Fächernamen geändert bzw. ergänzt werden. Für den Zugriff ist das Passwort des Studiendekans notwendig.
https://evaluation.ee.hm.edu/cgi-bin/tallyadmin.cgi

Bei der Gesamtauswertung kann zusätzlich noch eine Gruppierung bei der Auswertung vorgenommen werden, indem man einen Suchausdruck angibt. Die einfachste Form ist ein einfacher Suchbegriff, der gegebenenfalls ein Jokerzeichen (*) enthalten kann. Bei der FK 04 wird beispielsweise den Fächerbezeichnungen eine Fachnummer vorangestellt: 

...
BE703 Computernetze
BE704 Digitale Regelung
BE503 Digitale Signalverarbeitung
BE309 Digitaltechnik
...
usw.
Dadurch lassen sich Statistiken nach Bachelor ('BE*'), oder Master ('EE*' bzw. 'SE*') ausgeben. Das Jokerzeichen '*' darf auch mehrfach und an beliebigen im Suchbegriff auftreten.

Der Suchausdruck läßt sich mit logischen Verknüpfungen erweitern. Die Verknüpfung einzelner Suchbegriffe erfolgt mit 'and' (UND-Verknüpfung), 'or' (ODER-Verknüpfung) und 'not' (Negation) sowie Klammerung. Dabei ist zu beachten, dass 'and' stärker bindet als 'or' (wie "Punkt vor Strich" beim Rechnen). Um z. B. alle EE- und SE-Ergebnisse zu erfassen (also den Master insgesamt), würde man 'EE* or SE*' eingeben. Die Steuerung erfolgt ausschliesslich über die Fachbezeichnung - hier hat der Studiendekan die Freiheit, eine Einteilung nach seinen Bedürfnissen zu gestalten. In der Überschrift wird neben dem Suchbegriff zur Kontrolle auch der generierte SQL-Ausdruck der Datenbank-Abfrage ausgegeben.

Beachten Sie, dass die Eingabeprüfung zwar relativ robust programmiert ist, aber nicht jeden Eingabefehler abfangen kann. Falls Sie also 0 abgegebenen Stimmen im Ergebnis sehen, überprüfen Sie Ihre Eingabe ('to be or not to be' wäre so ein Fall).

Eine weitere Wahlmöglichkeit besteht darin, die Auswertung für das aktuelle Semester oder zusätzlich für das Semester davor abzurufen. Das ist recht praktisch, wenn die Auswertung für den Lehrbericht benötigt wird, der ja nur einmal jährlich erstellt wird.

Hintergrundinformation

Ein Verfahren, das Anonymisierung verspricht, muss offengelegt werden. Nur so kann man sich davon überzeugen, dass alles mit rechten Dingen zugeht. Es soll nicht verschwiegen werden, dass es zwei Schwachstellen gibt:

We sich für das Verfahren interessiert, kann alles im Hintergrund-Dokument nachlesen.

Fragen und Antworten

F: Beim Drucken der Abstimmberechtigungen ging was schief, aber ich habe es zu spät bemerkt. Was tun?
A: Einfach die "Fehldrucke" wegwerfen und nochmals die benötigte Zahl von Berechtigungen zu produzieren. Es muss in der Datenbank auch nichts gelöscht werden, da die "Fehldrucke" ja nicht in Umlauf gelangen.

F: Ich habe zuwenig Abstimmberechtigungen erzeugt. Kann ich jetzt noch welche Stück nachdrucken?
A: Der Nachdruck würde wie eine neue Befragung behandelt, es resultieren dann zwei Statistiken. Auch hier die "Fehldrucke" wegwerfen und nochmals die benötigte Zahl von Berechtigungen zu produzieren.

F: Ich habe das falsche Fach gewählt, was tun?
A: Ebenfalls die "Fehldrucke" wegwerfen und nochmals die benötigte Zahl von Berechtigungen zu produzieren.

F: Ich habe zuviele Abstimmberechtigungen erzeugt, was tun?
A: Einfach die überzähligen Abstimmberechtigungen wegwerfen. Es ist sowieso zu empfehlen, immer ein paar mehr zu drucken.

F: Ich weiss meine Abruf-ID nicht mehr, kann man die wieder finden?
A: Nur mit Mühe, denn der Name wurde anonymisiert. Man kann nur versuchen, in der Datenbank die Kombination aus Fachbezeichnung und Zusatzangaben (Studiengruppe, etc.) zu finden und hoffen, dass diese nur einmal vorkommt. Das geht aber nur manuell durch den Administrator (also bitte gut auf die Abruf-ID aufpassen).

F: In der Auswertung sind nur 3 Auswertungen erfasst, obwohl ich 23 Abstimmzettel verteilt habe. Woran liegt das?
A: An der Trägheit der Studierenden. Da hilft nur massives Ernmahnen der Delinquenten.

F:Warum heißt das System eigentlich "Tallyman"?
A: Ein 'Tallyman' war früher ein Ladungskontrolleur im Seehafen, der beim Laden oder Löschen die über die Kaikante gehenden Mengen erfasst und auf äußerlich erkennbare Schäden kontrolliert. Der Begriff kommt aus dem Englischen (tally = Strichliste, to tally - abhaken, nachzählen).
Der Beruf wird im 'Banana Boat Song' von Harry Belafonte besungen, wo der Tallyman für das Zählen der Bananenbündel verantwortlich ist: "Come, mister tallyman, tally me banana ..."