 |
Evaluierung der Lehre
von Prof. Jürgen Plate |
Evaluierung der Lehre
Tallyman ist ein Programm für die elektronische Evaluierung der Lehre. Statt
einen Fragebogen aus Papier auszufüllen, kann hier der/die Studierende
den Fragebogen im Internet bearbeiten und abschicken. Die elektronische Form
der Evaluierung hat einige Vorteile:
- Die Bearbeitung erfolgt in allen Schritten per Browser über das
World Wide Web.
- Das Ausfüllen erfolgt nicht mehr unter Zeitdruck (irgendwann
während der Vorlesung oder schnell nach der Prüfung).
- Die Bearbeitung ist wirklich anonym (was beim Abgeben des Papierbogens nicht
immer der Fall ist).
- Man kann den Fragebogen in Ruhe dann ausfüllen, wenn man nicht nur Zeit,
sondern auch Lust dazu hat.
- Die Lehrperson muss die Bögen nicht mehr auswerten, sondern erhält
eine übersichtliche Gesamtauswertung.
Das Ganze läuft recht einfach in drei Phasen durch den Aufruf dreier Programme ab:
- Abstimmberechtigung vergeben
- Abstimmen
- Auswerten
Dazu ein paar Erläuterungen:
Abstimmberechtigung vergeben
(Programm: http://evaluation.ee.hm.edu/cgi-bin/tallyman/tallykey.pl)
Die Lehrperson ruft das Programm zum Erzeugen von "Wahlzetteln" für seine
Studierenden auf. Es sollen ja nicht Hinz und Kunz eine Vorlesung beurteilen,
sondern nur diejenigen, die auch in der Vorlesung waren.
Nach Aufruf der Webseite erfolgt zuerst die Wahl des Fachbereichs und dann
die eigentliche Eingabe zu den "Wahlzetteln". Die Fächer und
Professorennamen werden als Pull-Down-Menü angeboten.
Die "Wahlzettel" enthalten lediglich eine
Kennung, die zur einmaligen Abgabe einer Bewertung berechtigt. Die Zettel werden
irgendwann in der Vorlesung verteilt, wodurch die Anonymität der abstimmenden
Studierenden sichergestellt ist. Auch der/die Professor/in erhält eine
Kennung, mit der er/sie die Ergebnisse abrufen kann. Die Ergebnisse der Abstimmung
werden nur mit dieser Kennung gespeichert und nicht mit dem Namen (der Name der Lehrperson
taucht einzig und alleine auf den gedruckten Wahlzetteln auf). Das Programm
ist durch ein Passwort gegen mißbrächliche Nutzung geschützt.
|
Interessierte Kollegen/Kolleginnen können das Passwort für die Erzeugung
der "Wahlzettel" bei ihrem Studiendekan erfragen.
|
Um sich zu informieren, können Sie die folgenden drei Muster-Dateien ansehen:
Abstimmen
(Programm http://evaluation.ee.hm.edu/cgi-bin/tallyman/tallyform.pl)
Die Studierenden rufen das Abstimmprogramm auf und identifizieren sich dazu
mit der Kennung vom "Wahlzettel". Das dargebotene Formular
(hier ein Muster) entspricht 1:1 dem alten Papier-Fragebogen. Nach dem Ausfüllen und
Absenden des Formulars erlischt die Abstimmungs-Berechtigung - jede(r) Studierende kann daher
nur einmal abstimmen.
Auswerten
(Programm http://evaluation.ee.hm.edu/cgi-bin/tallyman/tallychart.pl)
Die Lehrperson identifiziert sich beim Programmaufruf mit der zugewiesenen Kennung (allererster Abschnitt der
ausgedruckten Wahlberechtigungen) und erhält
eine grafisch ansprechende Auswertung der Multiple-Choice-Fragen sowie eine Auflistung der Antworten
zu den letzten drei Fragen. Die beiden Antwortgruppen werden auf getrennten Seiten dargeboten und
sind damit auch getrennt ausdruckbar und archivierbar (abspeichern im Browser mit Datei -->
Speichern unter). Die abgespeicherte HTML-Datei kann jederzeit mit dem Browser ausgedruckt
werden - oder man kann sie mit entsprechenden Programmen (Webeditor, MS Word, etc.) weiterbearbeiten.
Auch hier die entsprechenden Muster-Dateien:
Übrigens läßt sich die Ausgabe im Browser auf Druckseitenbreite anpassen oder
sogar verkleinern.
Lebensdauer der Daten
Jeweils am Semesteranfang (genauer am 15. 3. und 1.10. des jeweiligen Jahres) werden alle gespeicherten
Daten des vorhergehenden Semesters gelöscht. Das geschieht automatisch durch einen 'cron'-Job.
Datenaufbereitung für den Studiendekan
Für den Lehrbericht des Studiendekans wird dokumentiert, wann ein Kollege evaluiert.
Es werden dabei nur Semester, Professorenname und Fach gespeichert.
Der Studiendekan kann zudem über eine modifizierte Version des Auswertungsprogramms
Summenstatistiken abrufen.
- Auswerten Logdatei
Hier wird angegeben, welche Kollegen welche Fächer evaluiert haben (ohne Auswertung der
Abstimm-Bögen).
- Gesamt-Auswertung
Hier wird eine Auswertung über den gesamten Fachbereich erzeugt (ohne Auswertung der
Text-Antworten).
- Gesamt-Auswertung FB 04
Es wird nach Grundstudium und Hauptstudium des Bachelor-Studiengangs und dem Masterstudiengang
differenziert (keine einzelnen Fächer; ohne Auswertung der Text-Antworten).
Hintergrundinformation
Ein Verfahren, das Anonymisierung verspricht, muß offengelegt werden. Nur so
kann man sich davon überzeugen, daß alles mit rechten Dingen zugeht.
Es soll nicht verschwiegen werden, daß es zwei Schwachstellen gibt:
- Eine vollständige Anonymisierung ist bei dieser Anwendung nicht möglich,
denn manche Fächer werden nur von einem oder zwei Kollegen vertreten. in
solch einem Fall wäre beim Zugriff auf die Dateien mit den Rohdaten ein
Rückschluß auf die Kollegen möglich. Die Rohdaten sind jedoch
für Dritte nicht zugänglich.
- Wegen der Speicherung der Rohdaten muß dem Rechner-Administrator
ein gewisses Vertrauen entgegengebracht werden - was letztendlich auch bei
einer Wahl für die Wahlhelfer zutrifft.
We sich für das Verfahren und die Quelldateien interessiert, kann alles
im Hintergrund-Dokument nachlesen.
Fragen und Antworten
- F: Beim Drucken der Abstimmberechtigungen ging was schief, aber
ich habe es zu spät bemerkt. Was tun?
A: Einfach die "Fehldrucke" wegwerfen und nochmals die
benötigte Zahl von Berechtigungen zu produzieren. Es muss in der Datenbank auch
nichts gelöscht werden, da die "Fehldrucke" ja nicht in Umlauf gelangen.
- F: Ich habe zuwenig Abstimmberechtigungen erzeugt. Kann ich
jetzt noch welche Stück nachdrucken?
A: Der Nachdruck würde wie eine neue Befragung behandelt, es resultieren
dann zwei Statistiken. Auch hier die "Fehldrucke" wegwerfen und nochmals die
benötigte Zahl von Berechtigungen zu produzieren.
- F: Ich habe das falsche Fach gewählt, was tun?
A: Ebenfalls die "Fehldrucke" wegwerfen und nochmals die
benötigte Zahl von Berechtigungen zu produzieren.
- F: Ich habe zuviele Abstimmberechtigungen erzeugt, was tun?
A: Einfach die überzähligen Abstimmberechtigungen wegwerfen.
Es ist sowieso zu empfehlen, immer ein paar mehr zu drucken.
- F: Ich weiss meine Abruf-ID nicht mehr, kann man die wieder finden?
A: Nur mit Mühe, denn der Name wurde anonymisiert. Man kann nur versuchen,
in der Datenbank die Kombination aus Fachbezeichnung und Zusatzangaben (Studiengruppe, etc.)
zu finden und hoffen, dass diese nur einmal vorkommt. Das geht aber nur manuell
durch den Administrator (also bitte gut auf die Abruf-ID aufpassen).
- F: In der Auswertung sind nur 3 Auswertungen erfasst, obwohl ich 23
Abstimmzettel verteilt habe. Woran liegt das?
A: An der Trägheit der Studenten. Da hilft nur massives Ernmahnen der
Delinquenten.