Torsten Abels, Peter Dieckmann, Matthias Köster, Holger Schneider

Evaluation von Software

SEMINAR
Usability Engineering
für die Praxis

Evaluation von Software
anhand von
Heuristikenalyse und Usability Test

veranstaltet von
Dr. Ulrike Daldrup

Inhalt

1  Einleitung
    1.1  Ziele und Zwecke der Software
    1.2  Abgrenzung des Benutzerskreises und Anforderungen an die Software
    1.3  Testziele
2  Evaluations-Methoden
    2.1  Heuristikenanalyse
        2.1.1  Die zehn Heuristiken von Nielsen
    2.2  Usability Test
3  Durchführung und Ergebnisse der Evaluation
    3.1  Heuristikenanalyse
        3.1.1  Auswertung der Korrelationsberechnungen zwischen den Evaluatoren
    3.2  Usability Test
        3.2.1  Vorgehen und Testplan
        3.2.2  Einrichtung und Ausstattung des Testlabors
        3.2.3  Profile der Testteilnehmer
        3.2.4  Durchführung und Auswertung
A  Der Testbogen
B  Fehlerprotokoll des Usability Tests
    B.1  Teilnehmerin 1
    B.2  Teilnehmerin 2
Literatur

1  Einleitung

Das Thema Software Ergonomie hat in den letzten Jahren zunehmend an Bedeutung auf dem Feld der Informationstechnologie dazugewonnen. Gerade in einer Zeit, in der Programme in ihrem Aufbau und der Funktionalität immer komplexer werden hat es sich als äußerst wichtig erwiesen, daß genügend Zeit in die Entwicklung benutzerfreundlicher Oberflächen investiert wird.

Ein Kernbereich der Software Ergonomie ist dabei das Usability Engineering. Hierbei geht es unter anderem auch um die Bewertung der Gebrauchstauglichkeit von Software-Produkten. Es existieren verschiedene Ansätze, um konkrete Kriterien zur Evaluation aufzustellen und davon ausgehend nutzer- und anforderungbezogene Gestaltungskonzepte zu finden. Im Rahmen der internationalen Normierungsbemühungen der International Standardization Organisation (ISO) wurde eine umfassendes Regelwerk für ergonomische Anforderungen an rechnergestützte Büroarbeit formuliert (ISO 9241). Ein Oberziel dieser Regeln ist es, eine Norm für die Gebrauchstauglichkeit (Usability) von Softwaresystemen aufzustellen. Der Unterpunkt 10 des ISO-Anforderungskatalogs beschäftigt sich speziell mit der Gestaltung von Dialogsystemen. Ein Problem des Regelwerkes ist jedoch, daß kaum konkrete Ansatzpunkte zur Evaluation und Realisation gegeben werden, sondern ausschließlich Beispiele dargestellt werden. Aus diesem Grund wurden verschiedene Verfahren zur Evaluation entworfen, von denen drei an dieser Stelle genannt sein sollen :

Diese Übersicht macht bereits deutlich, wie schwer es ist, Software nach konkreten Gesichtspunkten zu untersuchen. Im Rahmen unserer Arbeitsgruppe haben wir deshalb versucht, praktische Erfahrung in der Evaluation zu sammeln. Dazu haben wir uns das Internet-Programmpaket Netscape Communicator als Ziel unserer Untersuchung ausgewählt. Zunächst haben wir innerhalb der Arbeitsgruppe eine Experten-Evaluation nach dem Heuristischen Verfahren von Jacob Nielsen durchgeführt, um Programmfehler und -schwachstellen aufzuspüren. Aus den daraus gewonnenen Ergebnissen haben wir im Anschluß daran einen Aufgabenkatalog entwickelt, um einen Usabilitytest (Benutzertest) zu initieren. Bei der gesamten Durchführung standen dabei weniger die Ergebnisse im Vordergrund, sondern vielmehr die Absicht, die Verfahren mit allen auftretenden Schwierigkeiten bei der Realisierung näher kennenzulernen.

1.1  Ziele und Zwecke der Software

Die von uns evaluierte Standardsoftware ,,Netscape Communicator 4.05'' (deutsche Version) ermöglicht ihren Benutzern den Zugang zu den gängigsten Internet-Diensten. Im Rahmen dieses Berichts werden die folgenden drei Programmodule des Komplettpakets auf ihre ergonomischen Schwächen hin untersucht:

Netscape Navigator:
Dieses Programmodul ermöglicht den Zugang zum World Wide Web (WWW). Die primäre Aufgabe des Navigators besteht dabei darin, dem Benutzer das gezielte Anspringen von WWW-Seiten zu ermöglichen. Zusätzlich kann im Navigator auch auf den FTP-Dienst (File Transfer Protocol) zugegriffen werden, um Dateien jeglicher Art aus dem Netz lokal auf die eigene Festplatte zu speichern (downloading), oder umgekehrt, lokal gespeicherte Dateien auf Netz-Servern abzulegen (uploading).

Netscape Messenger:
Mit diesem Programmodul ist es möglich, am Email-Dienst des Internets teilzunehmen. Der Messenger bietet dabei primär Funktionen für das Verschicken, das Abrufen und das Organisieren der elektronischen Post an.

Netscape Collabra:
Dieses Programmmodul ermöglicht den Zugang zu Diskussionsforen (Newsgroups). Mit Collabra ist es vor allem möglich, Beiträge in abonnierten Diskussionsforen zu lesen und selbst Beiträge im Rahmen von Newsgroups zu veröffentlichen.

1.2  Abgrenzung des Benutzerskreises und Anforderungen an die Software

Gerade bei der von uns evaluierten Software ist es äußerst schwierig, den potentiellen Benutzerkreis präzise zu charakterisieren. Diese Schwierigkeiten sind vor allem auf die folgenden beiden Faktoren zurückzuführen:

Standardanwendung:
Der Netscape Communicator ist eine Standardanwendung. Die Software richtet sich also von vorn herein nicht an eine klar definierte Gruppe von Menschen, deren Qualifikationen, Erfahrungen und persönliche Vorlieben bekannt sind.

Internetanwendung:
Das Internet weckt das Interesse einer riesigen Anzahl von Menschen (mehrere hundert Millionen Teilnehmer werden bis zur Jahrtausendwende erwartet). Da der Netscape Communicator eine der populärsten Anwendungen für den Zugang zu Internet-Diensten ist, kann man abschätzen, wie groß auch heute der Benutzerkreis schon sein muß. Je größer der Kreis an Anwendern wird, desto schwerer fällt es, ein allgemeines Benutzerprofil anzugeben. Erschwerend kommt noch hinzu, daß die Menschen aus ganz unterschiedlichen Motiven mit dem Programm arbeiten: Z.B. wird die Software wird sowohl im Rahmen der Freizeitgestaltung als auch im beruflichen Umfeld eingesetzt.

Wir sind deshalb der Meinung, daß es unmöglich ist, allgemeingültige Aussagen über die potentiellen Benutzer der Software zu treffen, außer, daß es sich um Menschen handelt, die Dienste des Internets wahrnehmen möchten. Weitergehende Aussagen, wie z.B. über Qualifikation, Bildung, Vorwissen, Alter, Computererfahrung usw. können aus den oben beschriebenen Gründen nicht gemacht werden.

Hieraus ergibt sich ein großer Anspruch an die Software: Der Netscape Communicator muß sowohl für einen Computerlaien, als auch für einen Experten benutzungstauglich sein. Dies ist ein Anspruch, an dem sich das Programm bei unserer Evaluation messen lassen muß.

1.3  Testziele

Bei unserer Evaluation soll es darum gehen, ergonomische Schwächen in den betrachteten Programmodulen des Netscape Communicators zu finden und Vorschläge zu machen, wie diese Schwächen beseitigt werden können. In der Software-Ergonomie ist dieses Vorgehen als formative Evaluation bekannt. Im Gegensatz zur summativen Evaluation, die sich meist mit der Frage beschäftigt, von welcher ergonomischen Qualität ein Endprodukt ist, ermöglichen die Ergebnisse der formativen Evaluation keine Bewertung des Produkts. Vielmehr können ihre Ergebnisse genutzt werden, um in einer Programmrevision die gefundenen ergonomischen Schwächen zu beseitigen. Prinzipiell könnten unsere Evaluationsergebnisse also verwendet werden, um die Benutzungsfreundlichkeit des Netscape Communicators in einer nachfolgenden Version zu steigern.

2  Evaluations-Methoden

2.1  Heuristikenanalyse

Die Heuristikenanalyse hat zum Ziel, die Benutzungsoberfläche eines Programms daraufhin zu überprüfen, ob sie sich an allgemein anerkannte Regeln für ergonomische Benutzungsoberflächen hält. Diese Regeln werden als Heuristiken bezeichnet. Zum Beispiel besagt eine Heuristik, daß jedes Menü nicht mehr als sieben Einträgen enthalten sollte. Die Heuristikenanalyse wird von Experten aus den Bereichen Software Ergonomie und dem Anwendungsgebiet der Software durchgeführt. Zur Durchführung der Heuristikenanalyse gibt es unterschiedliche Vorgehensweisen: Eine Vorgehensweise besteht darin, das jedes Element der Benutzungsoberfläche von den Experten anhand der Heuristiken bewertet wird. Eine andere Möglichkeit besteht darin, ähnlich dem Usability Test, die Benutzungsoberfläche von den Experten während der Benutzung untersuchen zu lassen.
Ein Vorteil der Heuristikenananlyse ist die Möglichkeit, bereits vor der Implementierung von Prototypen oder des eigentlichen Programms anhand der Spezifikation der Benutzungsoberfläche eine Analyse durchführen zu können. Dadurch ist bereits in der Spezifikationsphase eine Korrektur der Benutzungsoberfläche möglich.
Ein Problem der Heuristikenanalyse besteht darin, geeignete Heuristiken aufzustellen. Das Hauptproblem liegt in der Fülle der in der Literatur vorgeschlagenen Heuristiken, deswegen wurden von Nielsen zehn Heuristiken vorgeschlagen, die im nächsten Abschnitt vorgestellt werden.
Die Heuristikenanalyse wird am besten von mehreren Experten durchgeführt, da unterschiedliche Experten auch unterschiedliche Fehler entdecken können. Da jedoch jeder Experte die Kosten einer Analyse erhöht, stellt sich die Frage nach der optimalen Anzahl der zu verwendenden Experten. Nach Nielsens Untersuchungen sollten höchstens sechs Experten zur Heuristikenanalyse eingesetzt werden, da bereits von sechs Experten die meisten Fehler entdeckt werden und jeder weitere Experte im wesentlichen nur die bereits identifizierten Fehler bestätigt.

2.1.1  Die zehn Heuristiken von Nielsen

Von Nielsen wurden zehn Prinzipien vorgeschlagen, anhand derer eine Heuristikenanalyse durchgeführt werden kann:

  1. Dialog - einfacher und natürlicher Dialog (Simple and natural Dialog): Wenn Fehler auftreten, die auf die Gestaltung des Dialoges zurückzuführen sind, werden sie hier eingeordnet.

  2. Sprache - Sprechen Sie die Sprache der Nutzer (Speak the users language/ Match between system and the real world): Es geht hier darum Worte, Bilder, Metaphern, etc. zu verwenden, die die Nutzer aus der (Arbeits-)welt kennen und nicht systemorientierte Begriffe.

  3. Status - System Status (Visibility of system status): Das System sollte den Nutzer immer darüber informieren, was gerade passiert, wie er hingekommen ist und wie es von hier aus weiter geht.

  4. Gedächtnis - Halten Sie die Gedächtnisbelastung so gering wie möglich (Recognition rather than recall / Aesthetic and minimalistic Design): Nutzer sollten sich Informationen nicht über mehrere Stufen des Dialoges hinweg merken müssen. Es ist besser, wenn Elemente nur wiedererkannt werden müssen und nicht frei reproduziert werden müssen.

  5. Flexibilität / Effektivität - (Flexibility and efficinecy of use): Shortcuts, die dem Novizen nicht (unbedingt) auf den ersten Blick zugänglich sind, helfen fortgeschrittenen Nutzern schnell zu arbeiten. Es sollte auch möglich sein, verschiedene Wege zu benutzen, um zu einem Ziel zu kommen.

  6. Konsistenz - Konsistenz und Standards (Consistency and standards): Die Plattformkonventionen sollten beachtet werden. Nutzer sollten sich darauf verlassen können, daß gleich aussehende Elemente immer das Gleiche tun.

  7. Auswege - Klar markierte Auswege (User control and freedom / Clearly marked exits): Auch wenn Nutzer unbeabsichtigt eine Aktion auslösen, sollte es immer klar sein, wie sie wieder in den vorherigen Zustand zurück kommen können. Dies sollte ohne großen Aufwand möglich sein.

  8. Fehlerbehandlung (Help users recognize, diagnose and recover from errors): Fehlermeldungen sollten in einer klaren Sprache formuliert sein und das Problem präzise beschreiben.

  9. Fehlerprävention (Error Prevention): Besser als gute Fehlermeldungen ist, Fehler ganz zu vermeiden. Das System sollte so ausgelegt sein, daß Fehler möglichst gar nicht gemacht werden können.

  10. Hilfe - Hilfesystem und Dokumentation (Help and Dokumentation): Oberstes Ziel ist es, daß System selbsterklärend zu gestalten. Enthaltene Hilfesystem sollten einfach zu durchsuchen, auf die Aufgabe ausgerichtet und in kleinen, verständlichen Schritten gestaltet sein.

2.2  Usability Test

Bei dem Usability Test steht, im Gegensatz zur Heuristikenanalyse, die Art und Weise, wie ``wirkliche'' Benutzer die Software einsetzen, im Vordergrund. Dazu werden Benutzer mit Aufgaben konfrontiert, die diese innerhalb einer vorher festgelegten Zeit versuchen sollen zu lösen. Anhand während des Tests aufgenommener Video-Aufzeichnung findet anschließend die eigentliche Untersuchung der Usability der Software statt.
Vor der Durchführung eines Usability Tests wird zunächst festgelegt, was man mit dem Test untersuchen will. Dies hängt stark vom Einsatzgebiet der Software ab: Ein Computerspiel mit guter Usability zeichnet sich durch leichte Erlernbarkeit aus, während bei Standardsoftware (etwa SAP R3) von einer vorherigen Schulung der Benutzer ausgegangen werden kann, in diesem Fall spielt die Erlernbarkeit nur eine untergeordnete Rolle. Wird die Software an einem Arbeitsplatz mit Kundenverkehr eingesetzt (etwa in einem Reisebüro), ist es wichtig, das die Software nur kurzfristig die Aufmerksamkeit des Benutzers beansprucht, damit dieser nicht für zu lange Zeit den Blickkontakt zu dem Kunden verliert. Anhand der Zielsetzung des Tests werden dann die Aufgaben zusammengestellt, dabei sollten die Aufgaben möglichst unabhängig voneinander sein, damit der Test auch dann fortgesetzt werden kann, wenn der Testteilnehmer eine Aufgabe nicht lösen konnte. Sollen quantitative Aussagen über die Usability getroffen werden, sollten bereits zu diesem Zeitpunkt Metriken zur Bestimmung der Usability festgelegt werden. Dient die Zeit zum Lösen einer Aufgabe als Kriterium für die Usability, muß bereits jetzt festgelegt werden, wann eine Aufgabe als gelöst gilt.
Der Testteilnehmer wird beim Test von einem Versuchsleiter betreut. Dieser spricht vor Beginn des Tests alles Aufgaben mit dem Testteilnehmer durch und kann Hilfestellungen leisten, daher sollte der Versuchsleiter bereits Erfahrung im Umgang mit der zu untersuchenden Software haben. Dient die Verwendung von Hilfestellungen als Metrik für die Usability, muß festgelegt werden, wie Hilfestellungen vom Versuchsleiter gewertet werden bzw. wie stark der Versuchsleiter eingreifen darf. Sollte die Lösung einer Aufgabe auch mit Hilfestellung des Versuchsleiters nicht möglich sein, kann die entsprechende Aufgabe auch übersprungen werden.
In Abhängigkeit von der Zielsetzung des Tests kann das Aufzeichnen der Arbeitsumgebung aus unterschiedlicher Blickwinkel sinnvoll sein. Auf jeden Fall muß die Interaktion des Benutzers mit dem Softwaresystem festgehalten werden, dies kann durch eine auf den Bildschirm gerichtete Kamera oder direktes Aufzeichnen des Videosignals des Monitors erfolgen. Eine weitere Kamera kann zum Aufzeichnen der Tastatur und der Maus dienen, um etwa die Verwendung von Tastaturkürzeln bei der Auswertung besser nachvollziehen zu können. Wird die Software an einem Arbeitsplatz mit Kundenverkehr eingesetzt und wird die Untersuchung am Arbeitsplatz durchgeführt, kann das Aufzeichnen der Interaktion von Kunden und Testteilnehmer sinnvoll sein. Dadurch ist es möglich, festzustellen, ob während der Benutzung des Programms ausreichende Möglichkeiten zum Blickkontakt mit dem Kunden bestehen.
Nach dem Test sollte den Teilnehmern die Möglichkeit geboten werden, die aufgetretenen Probleme zu kommentieren. Dabei ist es besonders wichtig nochmals zu erwähnen, daß nicht die Testteilnehmer bewertet werden, sondern die Software.
Die Auswertung des Usability Tests erfolgt durch Experten aus dem Bereich Software Ergonomie. Stehen qualitative Aussagen über die Usability der Software im Vordergrund, besteht die Analyse der Aufzeichnugen aus einer Auflistung der gefundenen Usability Probleme zusammen mit eventuellen Verbesserungsvorschlägen. Quantitative Aussagen über die Usability der Software benötigen einen wesentlich grösseren Aufwand. Zunächst müssen bereits im Vorfeld des Tests geeignete Metriken festgelegt werden, anhand dessen während der Analyse der Aufzeichnungen Aussagen getroffen werden können. Da i.A. die ermittelten Werte statistisch ausgewertet werden, müssen wesentlich mehr Tests mit unterschiedlichen Teilnehmern durchgeführt werden.

3  Durchführung und Ergebnisse der Evaluation

3.1  Heuristikenanalyse

Die Heuristikenanalyse wurde anhand der im Abschnitt 2.1.1 vorgestellten Heuristiken vorgenommen und von den vier Autoren durchgeführt. Wie bereits im Teil über die Heuristikenanalyse beschrieben, konnte auch hier beobachtet werden, daß einige Probleme von mehreren Personen identifiziert wurden, einige Probleme jedoch nur von einer einzigen Person erkannt wurden. Weiterhin fiel auf, das einige Probleme von den Testern unterschiedlichen Heuristiken zugeordnet wurden, diese also nicht immer eindeutig zu unterscheiden sind. Die gefundenen Probleme werden im Folgenden nach Heuristik getrennt aufgelistet:

  1. Einfacher und natürlicher Dialog

  2. Sprache
    Generell läßt sich sagen, daß die deutsche Version viele Begriffe aus der englischen Version übernommen hat. Dies ist sicherlich richtig bei technischen Begriffen, für die es kein entsprechendes deutsches Wort gibt oder dieses zu lang ist. Aber in einigen Fällen wäre eine Eindeutschung der Begriffe unserer Ansicht nach sinnvoll. Zu vielen dieser Begriffe existiert außerdem keine Erläuterung im Hilfesystem.

  3. Status

  4. Gedächtnis
    Viele Schaltflächen haben keinen Tooltip. Dies ist einer der Fehler, der mehreren Kategorien zugeordnet werden kann. Sinn macht in diesem Fall auch die Einordnung unter der Kategorie Konsistenz, da einige Schaltflächen Tooltips haben, andere dagegen nicht. Die Verwendung von Tooltips ist also inkonsistent.

  5. Flexibilität/Effektivität

  6. Konsistenz

  7. Auswege
    Es gibt in der Hilfe keine Schaltfläche ``Zurück zur Übersicht'' . Dazu muß man zunaächst auf ``Inhalt'' und dann auf ``Index'' klicken. Diesen Punkt könnte man auch der Kategorie Flexibilität/Effektivität zuordnen, da es sehr aufwendig ist, zur Übersicht der Hilfe zurückzukommen.

  8. Fehlerbehandlung
    Im allgemeinen kann gesagt werden, daß Fehlermeldungen oft nicht präsize und wenig Erklärungswert haben. Die Sprache des Anwenders wird oftmals nicht gesprochen.

  9. Fehlerprävention
    Wenn man JavaScript im Browser deaktiviert, funktioniert das Hilfesystem nicht mehr. Wenn man die Hilfe dann verwendet, wird auf diesen Fehler hingewiesen, aber man hätte im Hilfesystem diese Einstellung einfach ignorieren können, da das Hilfesystem lokal vorliegt und daher bei der Verwendung von JavaScript für das Hilfesystem kein Sicherheitsproblem entstehen sollte.

  10. Hilfe
    Das Hilfesystem orientiert sich nicht an dem Standardhilfesystem von Windows, sondern orientiert sich am Aufbau einer WWW-Seite. Viele Themen sind nicht auffindbar, obwohl sie vorhanden sind. Die Suchfunktion arbeitet nur auf dem momentan sichtbaren Teil des Hilfetexts, eine Volltextsuche erreicht man über die Schaltfläche ``Index'' , ist also wenig erwartungskonform.

3.1.1  Auswertung der Korrelationsberechnungen zwischen den Evaluatoren

Zwischen den Prüfern, die die Software mit der Heuristischen Analyse nach [Nielsen93] begutachtet haben, wurden die Korrelation berechnet. Dafür wurden die gefundenen Probleme zunächst mit Null oder eins kodiert. Wenn ein Prüfer ein Problem gefunden hatte bekam er eine eins, wenn er das Problem nicht gefunden hatte, bekam er eine Null. Auf diese Weise wurden die 40 gefundenen Probleme den Prüfern zugeordnet. Wie aus Tabelle 1 zu ersehen ist, sind die Korrelationen alle negativ. Dabei wird nur die Korrelation zwischen P1 und P2 signifikant. Wichtiger als die Signifikanz war hier die zu tendenzielle Richtung der Korrelationen. Es handelte sich um negative Korrelationen, was hieß, daß die Prüfer sehr unterschiedliche Probleme fanden. Von den insgesamt 40 Problemen wurden 29 Probleme nur von je einem Prüfer, 9 Probleme von zwei Prüfern 2 Probleme von zwei Prüfern aber kein Problem von allen vier Prüfern gefunden. Dies unterstützt Nielsens Aussage, daß es günstig und nötig ist eine Heuristische Analyse mit mehreren Evaluatoren durchzuführen. Wir konnten hingegen keine Hinweise darauf finden, ob die von Nielsen angegebene optimale Anzahl der Evaluatoren bei ca. vier bis fünf liegt. Hierzu hätten wir die Analyse mit mehr Evaluatoren durchführen müssen. Es wäre dann zu erwarten, daß die Korrelationen irgendwann in den positiven Bereich steigen. Dies unter der Annahme, daß die Software eine feste aber unbekannte Anzahl von Problemen enthält. Wenn mehr Probleme gefunden werden wird es wahrscheinlicher, daß unterschiedliche Personen gleiche Probleme finden.

P1 P2 P3 P4
P2 Korrelation nach Pearson -0,346
Signifikanz (2-seitig) 0,029
N 40
P3 Korrelation nach Pearson -0,243 -0,280
Signifikanz (2-seitig) 0,132 0,080
N 40 40
P4 Korrelation nach Pearson -0,029 -0,152 -0,220
Signifikanz (2-seitig) 0,858 0,350 0,173
N 40 40 40

Table 1: Korrelationen zwischen den unterschiedlichen Evaluatoren

Interessant ist weiterhin die unterschiedliche Zahl von Problemen, die die Evaluatoren gefunden haben. P1 fand 20 Probleme, P2 fand 17 Probleme, P3 fand 6 Probleme und P4 fand 10 Probleme. Es war allerdings nicht mehr nachzuvollziehen, woher diese Unterschiede kamen. Mögliche Interpretationen wären Antworttendenzen, Motivation und noch viele andere Faktoren.

3.2  Usability Test

3.2.1  Vorgehen und Testplan

Der Usability-Test wurde in fünf Haupthpasen eingeteilt:

In diesem Abschnitt soll nun geklärt werden, wie der Aufgabenkatalog entwickelt und der Usability-Test im einzelnen durchgeführt wurde.

Die Aufgaben wurden nach zweierlei Gesichtspunkten entwickelt: Zum einen wurden Standardaufgaben, wie sie ein durchschnittlicher Anwender alltäglich bewältigen muß, vorgegeben und zum anderen nach den Ergebnissen aus dem Experten-Review ausgewählt. Das zweite Vorgehen erschien uns sinnvoll, um gezielt zu überprüfen, ob der Benutzer die Schwachpunkte, die die Experten ausmachten, überhaupt in ähnlicher Weise wahrnimmt.

Der Testbogen teilt sich grundsätzlich in drei Themenbereiche auf, nämlich der Benutzung der Mail-, News- und Navigatorfunktionalitäten. Die einzelnen Punkte wurden in einem fiktiven Szenario eingebettet, daß den Benutzer durch die Aufgaben leitete. Dies hatte den Vorteil, daß die einzelnen Punkte umgangssprachlich formuliert werden konnten, so daß Fachbegriffe die bestimmte Aktionen des Anwenders impliziert hätten größtenteils vermieden wurden. Ein Beispiel:

Die erste Aufgabe lautete: ``Du möchtest nachsehen, ob Du Emails bekommen hast. Lies Dir alle Emails durch, die sich in Deinem Briefkasten befinden.'' Man hätte die Aufgabe auch so stellen können:''Rufe den Netscape Messanger auf und lies den Inhalt der eingetroffenen Emails durch''. Diese Formulierung hätte dem Benutzer jedoch schon deutliche Hinweise zur Vorgehensweise gegeben, während die erste Variante nur ein Problemfeld umreißt und dem Anwender die Lösung selbstständig überläßt.

Der Handlungsstrang des Szenarios stellt sich in etwa folgendermaßen dar: Zunächst wurde die Testperson in das Mailmodul ``Netscape Messenger'' geführt, um dort drei eingegangene Mails zu lesen. Diese Nachrichten erhielten Informationen und Anweisungen für das weitere Vorgehen. Dabei sollten die Versuchspersonen zunächst im Umgang mit dem Adressenbuch und bei der Beantwortung von Emails beobachtet werden. In diesem Zusammenhang wurden auch weitergehende Funktionen wie das Verschicken von Grafiken (als Attachment) und die Speicherung von Briefen untersucht. Nach dem elektronischen Postverkehr sollten die Teilnehmer des Tests einen Beitrag in einer Newsgruppe lesen und entsprechend beantworten (Modul Netscape Collabra). Nach diesem relativ kurzen Teil wurden die Benutzer zum Netscape Navigator, dem Internet-Browser von Netscape, hingeführt. Dort sollten zunächst die Möglichkeiten zum Ausdruck von Internet-Seiten untersucht werden. Danach folgte eine Phase, in der die Versuchspersonen einige Einstellungen im Optionenkatalog des Programmpakets verändern und bei eventuell auftretenden Unklarheiten auch die Hilfefunktion von Netscape benutzen sollte. Der letzte große Abschnitt beschäftigte sich mit der Verwaltung von Lesezeichen (Bookmarks). Dabei hatten die Tester die Aufgabe zunächst Lesezeichen anzulegen, einen eigenen Ordner zu eröffnen, um dann die Lesezeichen dort hin zu verschieben. Der gesamte Aufgabenkatalog kann in Abschnitt A eingesehen werden.

Der Usability-Test wurde mit zwei Versuchspersonen im Usability-Labor der Universität Bremen durchgeführt. Zunächst wurde den Benutzern eine Einführung in den Aufgabenkomplex gegeben und der Ablauf des Testes geklärt. Jede Aufgabe wurde auf einer einzelnen Karte den Testusern zur Bearbeitung übergeben. Um die verschiedenen Testabschnitte in der anschließenden Videoanalyse besser abgrenzen zu können, wurden die Versuchspersonen gebeten, die Aufgabe laut vorzulesen und erst dann die Bearbeitung aufzunehmen. Während der gesamten Zeit stand der Person ein Versuchsleiter beiseite, um eventuelle Rückfragen zu beantworten bzw. nach Aufforderung weiterzuhelfen. Die Testbenutzer wurden ausdrücklich dazu aufgefordert das sogenannte ``thinking aloud'' zu praktizieren, d. h. ihre Aktionen möglichst detailliert zu kommentieren und ihre Probleme im Umgang mit dem Programm verbal deutlich zu machen. In festgefahrenen Situationen, in denen die Benutzer keinen Lösungsweg sahen und dies auch deutlich zum Ausdruck brachten, wurde durch den Versuchsleiter zunächst auf das von Netscape mitgelieferte Hilfesystem verwiesen, um auch diesen Programmteil zu evaluieren. Insgesamt hatte die Aufsichtsperson eine zurückhaltene Rolle inne, um nicht zu viele Hinweise zu geben, die das Ergebnis verfälscht hätten.

Der Benutzertest dauerte, wie auch vorher veranschlagt, zwischen 45 und 60 Minuten. Während des Tests waren aufgrund der räumlichen Gegebenheiten neben dem Versuchsleiter noch bis zu drei weitere Personen (technische Überwacher, Protokollanten) im Raum anwesend. Diese hielten sich jedoch ausschließlich im Hintergrund und griffen ihrerseits nicht in das Geschehen ein. Es kann daher davon ausgegangen werden, daß der Ablauf des Testes dadurch, wenn überhaupt, nur unwesentlich beeinflußt wurde.

3.2.2  Einrichtung und Ausstattung des Testlabors

Der Benutzertest fand in einem Usability-Laboratorium im Fachbereich Informatik der Universität Bremen statt. An dieser Stelle wollen wir uns sowohl für die freundliche und kompetente Hilfe bei der Durchführung des Tests als auch für die uns entgegengebrachte Gastfreundschaft des gesamten Teams bedanken. Bei den Räumlichkeiten handelt es sich nicht um eine Laborausstattung im eigentlichen Sinne, da lediglich ein normales Universitätsbüro mit dem für Videoaufzeichnungen benötigten Equipment ausgestattet wurde.

Während des Tests arbeitete die Versuchsperson an einem Standard-PC unter dem Betriebssystem Windows 95. Es wurde die deutsche Version 4.05 des Netscape Communicators installiert, die im Rahmen des Tests untersucht werden sollte. In den Räumlichkeiten waren drei Aufzeichnungmöglichkeiten vorhanden. Die ersten Videokamera konnte dabei sämtliche Bewegungen am Arbeitsplatz in der Totalen festhalten, während eine andere Aktionen auf dem Schreibtisch (Tastatur, Maus) beobachtete. Gleichzeitig wurden über ein Mikrofon sämtliche Außengeräusche mitgeschnitten, wobei vor allem die Aussagen der Versuchsperson während des Tests von Interesse waren. Weiterhin wurden auch alle Interaktionen auf dem Bildschirm des Testrechners über den TV-Ausgang der Grafikkarte aufgezeichnet. Sämtliche Aufnahmeperspektiven konnten auf einem zweiten Rechner, der mit dem Testrechner verbunden und mit einer TV-Capture-Karte ausgestattet war, mitverfolgt werden. Bei der Darstellung des Bildschirmausschnitts gab es die Einschränkung, daß die Auflösung des Fernsehbildes lediglich 570x450 Pixel betrug während der Computermonitor auf 1024x768 Pixel eingestellt war und damit Unschärfen des Videobildes verbunden waren.

Für unseren Test zogen wir die Aufnahmen der Kamera auf den Arbeitsplatz, um Maus- und Tastatureingaben festzuhalten, sowie die Aufzeichnung der Bildschirmaktivitäten heran. Die Aufnahmen aus der Totalen erschienen uns in diesem Zusammenhang als nicht notwendig, so daß darauf verzichtet wurde.

3.2.3  Profile der Testteilnehmer

Der Usabiltity-Test wurde von 2 Personen durchgeführt.

Die erste Teilnehmerin ist 23 Jahre alt und studiert im siebten Semester Psychologie, Kunst und Wirtschaftswissenschaften auf Magister. Sie ist mit 16 Jahren zum ersten Mal mit Computern in Berührung gekommen und besitzt selbst seit Beginn ihres Studiums einen Rechner. Bis vor einem halben Jahr benutzte sie ihren Computer sehr selten (nur ein paar Stunden im Monat). Sie hat selbst keine Betriebssysteme ohne moderne grafische Benutzungsoberflächen und Mausbedienung kennengelernt. Seit Abschluß der Vernetzung ihres Studentenwohnheims vor ca. zwei Monaten stieg das Interesse der Teilnehmerin an ihrem (neuen) Computer und vor allem auch am Internet. Sie verbringt seitdem im Schnitt mindestens zwei Stunden täglich am Computer - davon einen Großteil mit der Erledigung ihres Mailverkehrs und mit ,,Surfen'' im WWW. Die Teilnehmerin hat schon Erfahrungen im Umgang mit diversen Anwendungen und Utilities auf dem Betriebssystem Windows 95 gesammelt. Folgende Programme wurden bereits von ihr bedient: Microsoft Word, Coral Photopaint, Netscape Communicator, Pegasus Mail, ACD See 32, WinZip, WinAmp, Mirc, ICQ, Adobe Acrobat Reader und CuteFTP. Von diesen setzt sie vor allem Word, ICQ und den Netscape Communicator regelmäßig ein. Word wird von ihr besonders intensiv eingesetzt, wenn Hausarbeiten im Rahmen ihres Studiums anfallen. Die Teilnehmerin setzt seit gut zwei Monaten privat genau die Netscape Communicator Version ein, die für den Usability-Test verwendet wurde.

Die zweite Teilnehmerin ist 25 Jahre alt und studiert im neunten Semester Germanistik und Kunst auf Lehramt. Sie ist vor ca. 10 Jahren zum ersten Mal mit Computern in Berührung gekommen, hat sich allerdings lange Zeit nicht für die Arbeitsmöglichkeiten mit Computern, sondern ausschließlich für Computerspiele interessiert. Seit Beginn ihres Studiums steht der Teilnehmerin ständig ein PC zur Verfügung. Auch sie hat nur Betriebssysteme mit modernen grafischen Benutzungsoberflächen und Mausbedienung kennengelernt. Seit ca. drei Jahren arbeitet sie unregelmäßig am Computern. Eine durchschnittliche Computerarbeitszeit pro Tag konnte die Teilnehmerin aufgrund der unregelmäßigen Benutzung nicht angeben. Wenn sie am Computer arbeitet, dann meistens über einen längeren Zeitraum hinweg und sehr intensiv. Auch die zweite Teilnehmerin hat schon Erfahrungen mit Anwendungen auf dem Betriebssystem Windows 95 gesammelt. Folgende Anwendungen und Utilities hat sie schon bedient: Adobe Photoshop 3.0 und 5.0, Microsoft Word 6.0 und 7.0, SuperNotetab, Macromedia Director 4.0, die Macintosh-Version von Freehand, Netscape 3.0 und Pegasus Mail 2.53. Von diesen Programmen kennt sie sich vor allem mit Photoshop, Word und Freehand aus und benutzt diese Programme auch in Abständen immer wieder. Mit Freehand und Photoshop arbeitete die Teilnehmerin während eines auf mehrere Monate angelegten Jobs an der Universität sogar sehr intensiv. Die Teilnehmerin setzt seit langem die Version 3.0 von Netscape ein, um im WWW zu ,,surfen'' und Newsgroups zu lesen. Um ihren Postverkehr zu erledigen benutzt sie das Programm Pegasus Mail 2.53.

3.2.4  Durchführung und Auswertung

Beide Testdurchläufe wurden auf Video mit Ton aufgezeichnet, um eine dauerhafte Dokumentation der Ergebnisse zu besitzen, die wir bei einem später erfolgenden Seminar vorstellen wollten. Wir benutzten zur Aufzeichnung eine Kamera und ein Videolog. Die Kamera war auf die Tastatur und die Maus gerichtet und sollte das Verhalten der Nutzerinnen beim Eintippen von Informationen und der Mausbenutzung aufzeichnen. Weiter wäre hier Information darüber zu bekommen, ob und welche Shortcuts benutzt werden. Wir haben uns nach einer Durchsicht dieser Videobänder gegen deren Verwendung entschieden, weil wir die enthaltene Information als zu wenig lohnend für unsere Fragestellung erachtet haben. Das Signal des Videologs wurde auf einen zweiten Videorecorder gelegt der so das zweite Videoband aufgezeichnet hat. Dabei traten starke Verluste in der Bildschärfe auf. Die hohe Auflösung des Computerbildschirms von 1024 auf 768 Bildpunkten wurde auf eine wesentlich geringere von ca. 500 auf 500 Bildpunkte heruntergerechnet. Es war daher nicht mehr möglich, noch Elemente auf dem Bildschirm zu lesen (siehe auch die Diskussion). Auf diesem Band wurde auch der Ton aufgezeichnet, so daß der Ton synchron zu den Aktionen auf dem Bildschirm gespeichert ist. Das Band mit dem Ton und dem Bildschirmlog diente bei beiden Teilnehmerinnen als Grundlage der Datenanalyse. Zur Auswertung wurden Zeit zur Aufgabenbewältigung und eine Fehlerklassifikation herangezogen. Bei der Interpretation der Zeiten ist zu bedenken, daß sie auf einer Interaktion zwischen Nutzerfertigkeiten und Aufgaben beruhen. Nielsen [Nielsen93] betrachtet die Zeit zur Aufgabenbearbeitung bedingt als ein Maß für die Fähigkeiten der Nutzer. Er betont weiterhin, daß die Interpretation von Zeitunterschieden schwierig ist, da hier immer ein Interaktionseffekt zwischen der Aufgabe und der Person bedacht werden muß. Die Unterschiede zwischen den Personen sind dabei stark ausgeprägt. So ist es nach Nielsen nicht selten, daß die schnellste Person eine Aufgabe um den Faktor zehn mal schneller bearbeitet, als die langsamste Person. Egan (1988, nach [Nielsen93]) fand daß die schnellsten 25% der Nutzer doppelt so schnell waren wie die langsamsten 25% der Nutzer. Eine Interaktion würde in diesem Fall bedeuten, daß ungeübte Nutzer von problematischer Softwaregestaltung z.B. stärker betroffen sein könnten, als geübte Benutzer. Durch die Gegenüberstellung der benötigten Zeit zur Aufgabenbearbeitung sollten Hinweise darauf gewonnen werden, wie stark dieser Effekt bei unseren Teilnehmerinnen ausgeprägt war. Wie aus der Nutzerbeschreibung ersichtlich, waren die beiden Teilnehmerinen unterschiedlich geübt im Umgang mit Netscape.

Im folgenden sollen die Ergebnisse, die die Zeitaufzeichnung erbrachte, referiert werden. In Tabelle 2 wurden die Zeiten der einzelnen Aufgaben dargestellt.

Nr. Aufgabe Teilnehmerin 1 Dt1 Teilnehmerin 2 Dt2
H:MM:SS MM:SS H:MM:SS MM:SS
1 Mail nachsehen 0:02:00 1:31
0:03:31
2 Adresse speichern 0:03:58 0:40 0:55:03 4:50
0:04:38 0:59:53
3 Bild speichern 0:04:52 1:01 0:59:57 5:03
0:05:53 1:05:00
4 Mailgrösse 0:06:10 5:04 1:05:07 0:09
bestimmen 0:11:14 1:05:16
5 Bild schicken 0:12:00 5:13 1:05:37 10:31
0:17:13 1:16:08
6 Verweis WWW-Seite 0:18:11 0:39 1:17:05 0:00
in Mail 0:18:50 1:17:05
7 News 0:19:20 2:15 1:17:40 4:10
0:21:35 1:21:50
8 Seminar BCC 0:22:51 1:19 1:22:58 5:32
0:24:10 1:28:30
9 Mailordner 0:24:35 0:59 1:28:50 2:00
anlegen 0:25:34 1:30:50
10 WWW-Seite 0:25:47 0:13 1:31:00 0:30
besuchen 0:26:00 1:31:30
11 Rahmen drucken 0:26:14 1:58 1:31:46 1:54
0:28:12 1:33:40
12 Lesezeichen 0:29:59 0:02 1:33:48 0:32
setzen 0:30:01 1:34:20
13 Anfangsseite 0:30:35 0:36 1:34:41 3:33
setzen 0:31:11 1:38:14
14 Laden von Grafik 0:32:07 4:23 1:38:28 4:20
abstellen 0:36:30 1:42:48
15 Java, Javascript, 0:37:51 2:09 1:43:08 0:52
Cookies 0:40:00 1:44:00
16 Neue Startseite 0:41:27 1:10 1:44:26 0:12
besuchen 0:42:37 1:44:38
17 Lesezeichen 0:42:53 0:47 1:44:52 2:05
organisieren 0:43:30 1:46:57
18 Home 0:43:38 1:49:05

Table 2: Zeitmarken der Videoaufzeichnungen (Dti: die von der jeweiligen Teilnehmerin benötigte Zeit zum Lösen der Aufgabe); Die einzelnen Aufgabestellungen sind in Abschnitt A aufgeführt.

Leider war die Aufzeichnung der Zeiten von einigen Problemen begleitet. Wir haben Fehler in der Vorbereitungsphase [Nielsen93] gemacht. In dieser Phase sollen alle benötigten Dateien in einen geplanten Zustand gebracht werden. Leider haben wir aber zwischen den beiden Versuchsdurchgängen nicht alle Elemente des Programms in eine einheitliche Ausgangsituation gebracht. Die zweite Teilnehmerin hatte also teilweise andere Voreinstellungen, als die erste Teilnehmerin. Dies zeigte sich bei Aufgabe 4, bei der die Größe einer Email bestimmt werden sollte. Die erste Teilnehmerin benötigte erwartungsgemäß sehr lange und sogar Hilfe vom Versuchsleiter, um die richtige Angabe in Netscape sichtbar zu machen. Die zweite Teilnehmerin hatte die gewünschte Information aber noch direkt sichtbar auf dem Bildschirm und benötigte daher nur 9 Sekunden, um die Größe der Email zu bestimmen und aufzuzeichnen. Bei einer Nachbefragung gab Teilnehmerin 2 an, daß sie die richtige Einstellung allerdings nicht selbständig gefunden hätte. Bei den meisten anderen Aufgaben benötigte Teilnehmerin 2 teilweise wesentlich länger, als Teilnehmerin 1. Bei Aufgabe 15 und Aufgabe 16 ist ein entgegengesetztes Ergebnis aufgetreten. Bei der 15. Aufgabe sollte Java und Javascript abgeschaltet werden. Teilnehmerin 2 hatte die Möglichkeit der Einstellung noch aus der vorherigen Aufgabe im Gedächtnis. Java und Javascript werden an der gleichen Stelle aktiviert und deaktiviert, an der auch das automatische Laden von Bildern abgestellt wird. Bei der 16. Aufgabe benutze Teilnehmerin 1 einen langdauernden Weg, um die neu eingestellte Startseite zu testen. Sie schloß das Programm komplett und startete es wieder. Prinzipiell kennt sie aber nach eigenen Angaben die Möglichkeit, den Startbutton zu benutzen. Anhand des Videobandes ließ sich deutlich zeigen, daß die großen Zeitunterschiede zwischen der Bearbeitung bei beiden Teilnehmerinnen bei einigen Aufgaben auf die unterschiedlichen Fertigkeiten der Teilnehmerinnen zurückzuführen waren. Teilnehmerin 2 hatte große Probleme, eine angehängte Datei von einer Mail zu lösen und separat abzuspeichern. Ihr mentales Modell der Situation enthielt das Konzept des ``Anhängens''  nicht. Sie sah die Mail mit angefügtem Bild als eine Datei an. Ein Weg auf dem sie die Trennung versuchte war beispielsweise das Löschen des Textes, so daß dann ``nur noch das Bild'' zurückbleibe. Es läßt sich fragen, ob sie das gleiche Problem mit dem Speichern der angehängten Datei gehabt hätte, wenn sie ein klares mentales Modell gehabt hätte. Gleichzeitig läßt sich am oben geschilderten Beispiel aber auch eindrücklich die Interaktion zwischen mentalem Modell des Nutzers über ein Programm und der Benutzungsoberfläche deutlich machen. Die angehängte Datei war ``inline'' an die Mail angehängt, was bedeutet, daß in diesem Falle ein Bild direkt unter dem Text der Mail auftaucht. Das Programm erschwert somit regelrecht die Ausbildung eines korrekten mentalen Modells, da hier eine Zusammengehörigkeit der beiden Teile, Mail und Bild, suggeriert wird. Gekoppelt mit einem nicht korrekten mentalen Modell wird es für Benutzer sehr schwer, zu erkennen, daß das angehängte Bild separat zu speichern ist. Diese exemplarische Interpretation sollte deutlich machen, wie stark Fertigkeit und Benutzungsoberfläche interagieren und daß diese Interaktion wahrscheinlich zu den Unterschieden in der Dauer der Aufgabenbearbeitung geführt hat.

Die Fehlerklassifikation erfolgte in einer Fehlermatrix. Diese enthielt in den Spalten Fehlerarten und in den Zeilen mögliche Ursachen/Erklärungen für die Fehler. Folgend sollen die Fehlerkategorien benannt und kurz beschrieben werden.

Aktionen können nicht gefunden werden
Die zur Lösung einer Aufgabe nötigen Aktionen werden nicht gefunden, bzw. nicht wahrgenommen. Die Aufgabe ist dabei verstanden und prinzipiell ist auch klar, wie das Ziel erreicht werden kann, aber der Weg kann nicht gefunden werden.

Richtige Aktionen werden im falschen Kontext ausgeführt
Man erwartet, daß eine Aktion zum Ziel führt, weil man dies von anderen Programmen oder Modi so gewöhnt ist. Das aktuelle Programm oder der aktuelle Modus unterstützt diese Aktion aber nicht.

Aktionen werden mit großem Aufwand ausgeführt
Es werden umständliche Wege zum Ziel gewählt. Man könnte das Ziel leichter erreichen.

Verwirrt durch die Konsequenz der Aktion
Der Nutzer führt eine Aktion aus und ist überrascht von der Wirkung der Aktion

Die Fehlerursachen waren angelehnt an die zehn Heuristiken nach Nielsen (1990) und sind in Abschnitt 2.1.1 aufgeführt.
Ziel der Kategorisierung in diese Matrix war es, möglichst effizient Hinweise auf die Programmelemente zu gewinnen, die verbesserungswürdig sind. Die Spalten lassen sich mit unterschiedlichen Wichtigkeiten interpretieren. Es ist z.B. schlimmer, wenn Aktionen gar nicht gefunden werden, als wenn sie mit großem Aufwand durchgeführt werden. Durch eine Abstufung in der Wichtigkeit können Hinweise auf die Dringlichkeit gewonnen werden, mit denen die gefundenen Probleme beseitigt werden sollten. Die Kategorie ``Kann richtige Aktion nicht finden'' wurde von uns als schwerwiegendster Fehler eingestuft, danach ``Verwundert durch die Konsequenz der Aktion'', dann ``richtige Aktion im falschen Kontext'' und schließlich ``richtig mit großem Aufwand''. Die Abstufung erfolgte nach der Diskussion in der Gruppe. Die Zeilen, in denen die Ursachen der Fehler stehen, geben Informationen darüber, wo man konkret nacharbeiten muß, um das Programm zu verbessern. Zusammengenommen geben Zeilen und Spalten eine Idee davon, was im Programm nicht gut ist und warum.

Wie aus Tabelle 3.2.4 ersichtlich machte Teilnehmerin 1 14 Fehler und somit weniger Fehler als Teilnehmerin 2 (28). Beachte, daß die Zahlen in der Matrix als Identifikation der Fehler fungieren und nicht als Zählung. Wir benutzen hier den Begriff Fehler und nicht ``Mismatch''  [Brodbeck und Rupietta]. Damit soll nicht impliziert werden, daß die alleinige Verantwortung bei den Nutzerinnen gelegen hat, ``die falsch gehandelt'' haben, sondern die Fehler sind werden durch die Software provoziert. Es ergibt sich auch hier einen Interaktionseffekt.

kann die richtige richtige Aktion richtige Aktion verwundert durch
Aktion nicht im falschen mit großem Konsequenz der
finden Kontext Aufwand Aktion
Dialog 4, 10 2, 3
Sprache 5, 11, 13
Status 6 7, 9, 12
Gedächtnis
Flex/Effiz 14
Konsistenz 1, 8
Auswege
Fehlerhand
Prävention
Hilfe

Table 3: Fehlertabelle für die erste Versuchsteilnehmerin, die Zahlen entsprechen den Fehlernummern im Abschnitt B.1

Bei Teilnehmerin 1 waren die meisten Fehler (8 Fehler) der Art, daß sie Aktionen nicht finden konnte. Sie führte keine richtigen Aktionen im falschen Kontext aus, betrieb einmal für eine richtige Aktion sehr großen Aufwand und zeigte sich 5 mal verwirrt durch die Konsequenz einer Aktion. Auf den ersten Blick würde hier also vermutet werden, daß es schwierig ist Funktionen im Programm zu finden. Aus den Zeilen der Fehlermatrix läßt sich entnehmen, daß Probleme beim Finden von Aktionen bei Teilnehmerin 1 in der Hauptsache von der Dialogführung und der verwendeten Sprache ausgelöst wurden. Auch eine mit den Plattformkonventionen nicht konsistente Implementierung führte zu Problemen. Eine Aktion wurde nicht gefunden, weil der Zustand des Systems nicht richtig erkannt wurde. Dreimal wurde die Teilnehmerin durch den unzureichend indizierten Systemzustand verwirrt. Verwirrung bei der Teilnehmerin war auch bedingt durch unklare Dialogführung. Fehler 14, der sich auf das umständliche Ausprobieren der eingestellten Startseite bezieht, wurde hier nicht zu Interpretation herangezogen, weil wir ihn auf die artifizielle Testsituation zurückführten.

Wie oben schon erwähnt machte Teilnehmerin 2 mehr Fehler als Teilnehmerin 1. Aus Tabelle 3.2.4 werden einige interessante Ähnlichkeiten bei den fehlerhaften Aktionen deutlich.

kann die richtige richtige Aktion richtige Aktion verwundert durch
Aktion nicht im falschen mit großem Konsequenz der
finden Kontext Aufwand Aktion
Dialog 1, 26, 30, 31 2 3 27, 28, 29
Sprache 8, 12, 15, 20, 21 11, 14, 24, 32
Status 5, 22 13, 19 23, 25
Gedächtnis
Flex/Effiz 4
Konsistenz 6, 9 10
Auswege
Fehlerhand
Prävention7
Hilfe

Table 4: Fehlertabelle für die zweite Versuchsteilnehmerin, die Zahlen entsprechen den Fehlernummern im Abschnitt B.2

Auch bei Teilnehmerin 2 liegen Problemschwerpunkte beim Finden von Aktionen und bei Verwirrung. Wie auch bei Teilnehmerin 1 gehen diese Probleme auf die Dialoggestaltung, die Sprache und die Indikation des Systemzustandes zurück. Durch das ``nicht Erkennen'' des Systemzustandes wurde die Teilnehmerin zweimal zu Umwegen und großem Aufwand gezwungen. Stärker als bei Teilnehmerin 1 wirkten sich Verstöße gegen die Konsistenz bei Teilnehmerin 2 aus. Zweimal passierte ihr ein Fehler, weil die Konsistenz und Plattformkonventionen verletzt waren. Die an sich richtigen Aktionen führten in diesem Kontext nicht zum Ziel. Ein Fehler war auf eine geringe Flexibiltät in der Bedienung des Programmes zurückzuführen. Es gab hier nur einen möglichen Weg, um ein Ziel zu erreichen (Fehler 4), den die Teilnehmerin nicht erkannte und so einen Umweg einschlagen mußte. Fehler 7 wird nicht in die weitere Betrachtung miteinbezogen.

Wie schon bei den Zeiten für die Aufgabenbearbeitung ist auch bei der Fehlerklassifikation von einer Interaktion zwischen Fertigkeiten der Nutzerinnen und der Benutzungsoberfläche auszugehen. Wo die Oberfläche unklar gestaltet ist, da wirkt sich unvollständiges Wissen stärker aus. Personen denen die Konzepte nicht klar sind, sind darauf angewiesen, daß sich das Programm selbst erklärt (d.h, daß a) die Person versteht was gemeint ist und b) überhaupt erkennen kann, was sie in einer gegebenen Situation tun kann). Aus den Fehlerklassifikationen wird deutlich, daß Netscape genau hier Schwächen aufweist. Sprachliche Formulierungen sind unklar, so daß Personen Schwierigkeiten haben, nachzuvollziehen was gemeint ist. Dialoge sind ``überladen'', so daß nicht überschaubar ist, welche Möglichkeiten der Dialog an sich bietet. Als Beispiel kann hier der Einstellungendialog dienen. Hier sind in sehr vielen Unterdialogen eine große Zahl von Einstellungen möglich, die aber unübersichtlich dargestellt sind. Die Einstellung für die Startseite ist direkt nach dem Öffnen zu sehen, wurde aber von beiden Teilnehmerinnen mehrmals übersehen. Die ungewöhnliche Navigation über ein Feld, das wie eine Art Dateimanager aussieht bereitete beiden Teilnehmerinnen Probleme. Ein weiterer problematischer Punkt an der Oberfläche ist, die häufig unzureichende Indikation des ``beschäftigt seins''. Der Ladevorgang wird durch ein animiertes Netscape-Symbol in der oberen rechten Ecke dargestellt. Dieses Symbol wird oft nicht beachtet und durch die langsame Animation muß der Nutzer auch länger daraufschauen, um zu entscheiden, ob das Programm arbeitet oder nicht.
Um nun die Zeitunterschiede weiter interpretieren zu können muß man sich darüber klar werden, daß hier natürlich die Fähigkeiten der Nutzer und die Aufgaben interagieren. So ist zu bedenken, daß die Aufgabenbearbeitung lange dauern kann, weil die Nutzerin das grundlegende Konzept nicht verstanden hat und so ein falsches, unvollständiges oder gar kein mentales Modell der Software hat. Oder die Aufgabenbearbeitung dauert lange, weil die Teilnehmerin trotz eines funktionierenden mentalen Modelles nicht die richtige Aktion verwendet oder lange braucht, um die richtige Aktion zu finden.
Insgesamt ließen sich die meisten Probleme, die Teilnehmerin 1 mit dem Programm hatte, beheben, wenn die Dialogführung und Sprache des Programms verbessert würden und der Status klarer indizierte würde.

A  Der Testbogen

Nochmals vielen Dank, daß Du an unserem Usibility-Test teilnimmst. Bei diesem Test geht es auf keinen Fall darum, Dich selbst zu beurteilen. Es geht einzig und allein darum, Dich bei der Arbeit mit der Software ``Netscape Communicator 4.05'' zu beobachten, um ergonomische Schwächen aufzudecken, die das Programm hat. Wenn Du Fehler machst, oder eine Aufgabe nicht bewältigen kannst, so ist das nicht Deine Schuld, sondern die Schuld der Software. Dir braucht es deshalb nicht unangenehm zu sein, wenn Du eine Aufgabe nicht, oder nicht sofort bewältigen kannst - es ist lediglich ein Zeichen dafür, daß die Software verbesserungswürdig ist. Der nachfolgende Usibility-Test umfaßt 20 kleine Aufgaben. Jede dieser Aufgabensteht auf einer separaten Seite. Bitte bearbeite die Aufgaben der Reihe nach.

Blättere eine Seite weiter, wenn Du eine Aufgabe bewältigt hast. Wir möchten Dich bitten, bei der Bearbeitung der Aufgaben folgende ``Regeln'' einzuhalten:

Bitte blättere um, um mit der ersten Aufgabe zu beginnen.

  1. Starte das Programm ``Netscape Communikator 4.05'', das sich bereits installiert auf dem Rechner befindet.

  2. Du möchtest nachsehen, ob Du Emails bekommen hast. Lies Dir alle Emails durch, die sich in Deinem Briefkasten befinden.

  3. Wie Du siehst, hat Dir Dein alter Freund Matthias Köster in der Email mit dem Thema ``Mail 1'' geschrieben, daß er eine neue Email-Adresse hat. Da Du ihm öfter schreiben willst, beschließt Du seine neue Email-Adresse in Dein Adressenbuch einzutragen, um sie fortan leichter verfügbar zu haben. Nimm also bitte Matthias neue Adresse in Dein Adressenbuch auf.

  4. Matthias hat Dir als Anlage zu dieser Mail ein Bild mitgeschickt, das Du Dir unbedingt anschauen möchtest. Sieh Dir das Bild an und speichere es in dem Ordner ``C:/Temp'' ab.

  5. Es interessiert Dich, welchen Umfang die Email hat, die Dir Matthias zugesandt hat. Finde heraus, wieviele Kilobytes (KB) die Email groß ist, und schreibe diese Größe auf das Aufgabenblatt.

  6. Du beschließt, daß sich Deine Bekannte Ulrike Daldrup (Email: ulrike.daldrup@informatik.uni-oldenburg.de) dieses Bild auch ansehen sollte. Sende das Bild an Ulrike weiter und schreibe einen schönen Gruß dazu. Außerdem möchtest Du gleich informiert werden, wenn Deine Email bei Ulrike angekommen ist. Stelle hierzu ein, daß Du eine Empfangsbestätigung bekommen möchtest.

  7. Wie Du siehst, schickt Dir Matthias in der Email mit dem Thema ``Mail 2'' die Adresse einer Internet-Seite. Die Seite klingt interessant und Du beschließt, sie Dir anzusehen, nachdem Du alle Deine Mails gelesen und beantwortet hast. (Bitte blättere um und mache mit der nächsten Aufgabe weiter)

  8. In der dritten Mail befindet sich, wie Du siehst, ein Verweis auf das Diskussionsforum ``local.test'', in dem Matthias einen Diskussionsbeitrag unter dem Titel ``Akte X'' veröffentlicht hat. Lies diesen Beitrag. Du möchtest unbedingt selber Stellung zu der Aussage von Matthias nehmen. Veröffentliche im Rahmen des Diskussionsforums eine Antwort auf den Beitrag von Matthias.

  9. Jetzt bitten wir Dich, unserer Seminargruppe unter der Email-Adresse ``sem-usibility@informatik.uni-oldenburg.de'' kurz mitzuteilen, wie Dir der Usibility-Test bisher gefällt. Schicke uns bitte als Anlage die Datei ``bremen.txt'' mit, die sich in dem Ordner ``C:/Temp'' befindet. Bevor Du die Nachricht abschickst, fällt Dir ein, daß Du sie auch an Matthias versenden möchtest. Du möchtest aber nicht, daß unsere Seminargruppe feststellen kann, daß Matthias die Nachricht auch bekommt. Trage also Matthias als zusätzlichen Empfänger Deiner Email ein und sorge dafür, daß er für unsere Seminargruppe nicht sichtbar ist.

  10. Du bist jetzt fertig mit Deinem Postverkehr. Damit Du die Übersicht über Deine Emails behältst, beschließt Du noch ein wenig Ordnung zu schaffen. Lege hierzu in Deinem Briefkasten einen Ordner mit dem Namen ``Briefe von Matthias'' an, und verschiebe alle erhaltenen Emails dorthin.

  11. Du möchtest Dir jetzt die Internet-Seite ansehen, die Dir Matthias in der Email mit dem Thema ``Mail 2'' geschickt hat. Laß Dir diese Seite anzeigen.

  12. Du bist jetzt auf der Seite, die Dir Matthias empfohlen hat. Schau Dich ein wenig um und orientiere Dich. Versuche diese Seite auszudrucken. Du möchtest dabei die Navigationselemente auf der linken Seite nicht mitdrucken.

  13. Weil Dir die Seite so gut gefallen hat und Du sie auch immer mal wieder besuchen möchtest, beschließt Du ein Lesezeichen auf diese Seite zu setzten.

  14. Bei der Arbeit mit dem Navigator entsteht bei Dir der Wunsch einige Grundeinstellungen zu verändern. Am meisten nervt Dich, daß jedesmal, wenn Du den Navigator startest, die ``Netscape Homepage'' geladen wird. Da Du Deine Arbeit mit dem Navigator üblicherweise mit einer Internetsuche beginnst, beschließt Du eine Suchmaschine als Startseite einzustellen. Stelle bitte ``www.yahoo.de'' als neue Startseite ein.

  15. Weil die Onlinekosten steigen, wenn bei jeder aufgerufenen Seite automatisch Bilder mitgeladen werden, entschließt Du Dich dazu, auf das automatische Laden von Bildern zu verzichten. Bitte nimm diese Einstellung im Navigator vor.

  16. Du hast von einer Freundin gehört, daß es unsicher sein kann, ``Java'' und ``Javascript'' im Navigator zu starten. Bitte stelle diese beiden Funktionen ab.

  17. Verhindere außerdem, daß Du ``Cookies'' bekommst. Schreibe auf das Aufgabenblatt in einem kurzen Satz, was ein ``Cookie'' ist. Falls Du dies nicht weißt, benutze das Hilfesystem, um es herauszufinden. Schließe anschließend das Hilfesystem.

  18. Probiere jetzt bitte aus, ob der Netscape-Navigator sich tatsächlich Deine neu eingerichtete Startseite gemerkt hat. Lege außerdem ein Lesezeichen auf diese Seite.

  19. Damit Du die Übersicht über Deine Lesezeichen behältst, möchtest Du Sie Dir organisieren. Lege bitte einen Ordner mit dem Titel ``Eigene Lesezeichen'' an und sortiere Deine beiden Lesezeichen in diesen Ordner ein.

  20. Rufe abschließend noch einmal die Seite, die Dir Matthias empfohlen hat, auf, indem Du das angelegte Lesezeichen abrufst.

B  Fehlerprotokoll des Usability Tests

Im folgenden werden die bei der Analyse des Videoaufzeichnungen gefundenen Probleme aufgeführt. Die erste Zahl gibt die Nummer des Fehlers an, diese entspricht der Nummer in den Fehlerklassifizierungstabellen. Die zweite Zahl gibt die Nummer der bearbeiteten Aufgabe an (s. Abschnitt A) und die dritte Zahl gibt die Zeitmarke auf dem Video im Format H:MM:SS an. Der Text beschreibt zunächst den Fehler und versucht den Ursprung des Fehlers, so weit möglich, zu erklären. Kursiv gesetzter Text gibt Verbesserungsvorschläge an.

B.1  Teilnehmerin 1

1 - 4 - 6:25
Vp sucht nach der Größe der Mail mit dem Bild. Sie versucht es mit dem Kontextmenü, indem Sie mit der rechten Maustaste auf die Mail klickt. Sie versucht es insgesamt dreimal. Plattformverstoß?
Im Kontextmenü sollten die Eigenschaften der Mail verfügbar sein.

2 - 4 - 10:34
Vp sucht nach der Mailgröße. Sie wurde auf die Pfeile aufmerksam gemacht, mit denen sich mehr oder weniger Informationen über eine Mail einblenden lassen. Sie klickt auf den falschen Pfeil, so daß die gewünschte Info nicht ins Bild kommt. Die Pfeile sind kaum zu sehen und funktionieren mit einer ungewöhnlichen Richtung. Die Pfeile funktionieren genau in die andere Richtung, wie die Pfeile beim Scrollbalken. Es wird schon fast ein Populationsstereotyp verletzt.
Verwendung von Scrollbalken, Adaptive Anpassung der Breite der Spalten nach der breitesten Information?

3 - 4 - 11:10
Vp ist verwirrt durch nicht lesbare Labels auf ``Buttons'', die due segr schmall geschoben wurden. Siehe Problem 2.

4 - 5 - ab 14:00
Vp sucht nach den Sendeoptionen, in denen eine Empfangsbestätigung angefordert werden kann. Es gibt nur den einen Weg, über den kleinen Button im Mailfenster, der auch noch schwer zu erkenen ist.
Es sollte einen großen Button für die Sendeoptionen oder einen Menüeintrag geben, über den man die Sendeoptionen öffnen und einstellen kann.

5 - 5 - 15:21
Vp sucht im Hilfesystem nach Informationen. Sie benutzt den Button `` Suchen'' anstatt ``Index'', um im Hilfesystem nach dem Eintrag zu suchen. Suchen sucht aber nur auf der aktuellen HTML Seite, nicht im gesamten System. Vp bemerkt dies aber nicht (genauso wie Vp2). Der Begriff ist hier sehr verwirrend.
Es sollte klarer werden, was mit Suchen und Index gemeint ist. Wenn die einzelnen Seiten nicht gar so lang wären und die Texte übersichtlicher, dann könnte man auf einen Suchen-Button vielleicht ganz verzichten.

6 - 6 - 18:40
Die Vp hat in einer Mail einen Link auf eine WEB Seite angeklickt. Netscape wechselt nun in das Navigator Modul und beginnt mit der eingestellten Startseite, während die verlinkte Seite geladen wird. Die verlinkte Seite erscheint nach kurzer Zeit auf dem Bildschirm. Vp will zurück zum Mailmodul und klickt auf den ``BACK'' Button im Navigator. Dieser Button bringt sie zurück auf die Startseite. Die Vp handelt hier nach einem falschen mentalen Modell. Es ist aufgrund des sonst recht hohen Verständnisses für die Computerprozesse, davon auszugehen, daß die Vp hier nur in diesem Moment einen Fehler macht, die korrekte Handlung aber kennt, bzw. auf jeden Fall verstehen würde. Das Programm macht aber trotzdem nicht genügend klar, daß sie hier nicht nur die Fenster sondern das ganze Programm gewechselt hat. Es wäre zu überlegen, deutlicher zu machen, daß man nicht das Fenster, sondern das Programm wechselt.

7 - 7 - 19:42
Vp erkennt nicht, daß die Newseinträge noch geladen werden. Hier ist die Indikation des Ladevorgangs vielleicht nicht deutlich genug. Es kann wieder ein falsches mentales Modell im Spiel sein. Aufgrund der Zeitungsmetapher würde man nicht vermuten, daß Inhalte erst geladen werden müssen. Deshalb wird mit dieser Möglichkeit nicht gerechnet und so der Ladevorgang übersehen.
Deutlichere Indikation?

8 - 8 - 23:15
Vp erkennt nicht, daß es eine Kombobox gibt, in der einige Sendeoptionen eingestellt werden können (BCC, etc.). Sie kommt nicht auf die Möglichkeit, die Box zu öffnen. Komboboxen haben sonst einen weißen Hintergrund und einen deutlicheren Abwärtspfeil.
Hintergrund weiß, Optionen alle zusammen in einen Sendeoptionendialog packen, Menüeintrag, erklärenden Text für die Optionen

9 - 11 - 27:35
Die Vp will den Rahmen ausdrucken. Sie klickt korrekterweise auf das Datei Menü. Dort sind aber die Druckoptionen ausgegraut (warum?). Die Vp ist verwirrt und findet erst nach weiterem Suchen (was??). Es ist nicht klar, was man drucken würde (temporäre) Markierung des aktiven und somit druckbaren Frames.
Scanner ähnliche Auswahl des zu druckenden Bereiches im Druckdialog. Nach dem Aufruf des allgemeinen Druckdialoges sollte es eine Möglichkeit der Einstellung geben.

10 - 14 - 32:50
Die Vp erkennt nicht, daß sie schon im richtigen Dialog (Einstellungen) ist.
Der Dialog sollte übersichtlicher gestaltet werden.

11 - 14 - 34:56
Die Vp will das automatische Laden von Bildern abstellen. Sie nutzt dazu fälschlicherweise die Option, die Navigationsbuttons nur mit Textbeschriftung anzuzeigen. Die Beschriftung dieser Option ist sehr verwirrend.
Den gesamten Einstellungsdialog übersichtlicher machen. Karteikarten/Reiter benutzen?

12 - 14 - ?
Vp wundert sich, daß Bilder aus dem Cache geladen werden. Falsches Mentales Modell, Inkonsistenz des Begriffes ``Laden'', die Indikation des Ladevorgangs ist nicht klar
Ladeindikation verbessern; Sanduhr?

13 - 15 - ?
Der Begriff Cookie soll in der Hilfe gesucht werden. Wieder wird die Suchenfunktion anstatt des Indexes. Siehe oben!

14 - 16 - ?
Die Vp soll überprüfen, ob die eingstellte Startseite funktioniert. Sie schließt das Programm komplett und ruft es dann wieder auf. Sie kennt aber den effizieteren Weg des Home-Buttons, nach ihrer eigenen Aussage.

B.2  Teilnehmerin 2

1 - 1 - 56:04
Die Adresse, die schon im Adreßbuch steht kannn nicht gelöscht werden. Vp versucht es mit der Backspacetaste. Gewohnheit; Testsituation

2 - 1 - 54:34
Vp m"chte einen neuen Namen in das Adreßbuch eintragen. Sie tippt den Namen in das Textfeld ein, in die der zu suchende Name getippt werden kann, wenn man einen Namen heraussuchen will. Testsituation
``Suchen'' nach unten;Dialogumgestaltung?

3 - 2 - 57:14
Vp tippt im Eingabefeld für den Nachnamen Vor-und Zunamen ein. Merkt es aber und korrigiert, als sie das nächste Feld (Vorname) ausfüllen will Gewohnheit?
Zulassen? Warnung?

4 - 2 - 58:00
Vp kann den Adreßeintrag nicht öffnen, um ihn zu bearbeiten.
Buttons (Ändern, Neu, Löschen?)

5 - 3 - 1:00:28
Vp hat ein Bild als Attachment in einer Mail bekommen. Das Bild ist als Attachment und Inline in der Mail. Vp erkennt nicht, daß das Bild eine angehängte Datei ist und nicht in der Mail enthalten ist Konzept nicht bekannt? Inlineform?
Klareres Attachmentsymbol

6 - 3 - 1:01:23
Vp versucht, das Bild per Doppelklick zu öffnen, um es vielleicht von da speichern zu können. Gewohnheit, Plattformkonventionen
Zulassen, Attachment

7 - 3 - 1:01:36
Vp versucht markierten Text zu löschen. Dabei wechselt aber das Fenster. Testsituation
Macht der Shortcut hier Sinn?

8 - 3 - 1:02:56
Vp ist im Hilfesystem und sucht nach einem bestimmten Begriff. Sie nutzt dazu aber die ``Suchen'' Funktion, anstatt des Indexes. Suchen sucht aber nur in einem HTML Dokument, aus denen die Hilfe insgesamt aufgebaut ist.
Suchen-Bezeichnung klarer beschreiben

9 - 3 - 1:07:25
Vp versucht ein Bild zu speichern. Sie verschiebt das Bild per Drag and Drop von einer Mail in die andere. Dies wird nicht unterstüzt. Plattformverstoß
Zulassen?

10 - 3 - 1:08:46
Vp versucht das Dateisymbol des Bildes auszuschneiden (Shortcut strg+x?). Dieser Shortcut wird vom Programm nicht akzeptiert. Plattformverstoß
Zulassen?

11 - 5 - 1:09:55
Vp versucht ein Bild in eine Mail als Attachment zu bekommen. Sie klickt nach längerer Suche im Menü auf Grafik einfügen, was einen entsprechenden HTML Dialog öffnet.
Einfügen vs Anfügen klarer machen

12 - 5 - 1:10:52
Vp klickt in der Hilfe wieder auf Suchen anstatt auf Index.

13 - 5 - 1:11:02
Klickt auf Absteigend und Absteigend, um sicher zu sein, daß in alle Richtungen gesucht wird.

14 - 5 - 1:12:22
Vp zögert beim Klick auf Öffnen. Was macht sie?
Button mit Anhängen anstatt Öffnen bezeichnen?

15 - 5 - 1:14:35
Vp klickt in der Hilfe wieder auf Suchen anstatt auf Index.

19 - 7 - 1:17:00
Vp erkennt nicht, daß die News auch vom Messenger zugänglich sind. Sie schließt den Messenger und sucht dann nach den Foren.

20 - 7 - 1:18:18
Vp erkennt nicht daß Collabra das News Modul ist und findet es daher im Menü nicht.
Könnte hier noch die Funktion statt nur der Name stehen?

21 - 8 - 1:22:00
Vp findet die BCC Funktion nicht.
Klarer kennzeichnen, Tooltips

22 - 9 - 1:28:50
Vp möchte markierte Mails in einen Ordner verschieben. Sie öffnet den Ordner und meint, daß dann die Mails schon dahin verschoben wurden. Sie erkennt nicht, daß das Verschieben nur über den Next Button sein. Sie erkennt nicht, daß die Kombobox nur zur Auswahl der Ansicht dient.

23 - 11 - 1:32:00
Vp weiß nicht welcher Rahmen selektiert ist, keine Kennzeichnung des aktiven Rahmens.
Kennzeichnen des aktiven Rahmens.

24 - 12 - 1:33:00
Dialog für das Drucken ist verwirrend. Es macht den Anschein, daß der Rechner nichts mehr tut.
Bessere Bezeichnung?

25 - 12 - 1:34:15
Vp sieht nicht, daß die neu angelegten Lesezeichen unten stehen.
Neue Lesezeichen oben einfügen?

26 - 13 - 1:34:41
Vp übersieht die Einstellungsmöglichkeit für die Startseite im Einstellungsdialog.
Karteireiter?

27 - 14 - 1:38:49
Vp soll das automatische Laden von Bildern verhindern. Sie klickt in den Einstellungen, so daß die Buttons nur noch mit Text gezeigt werden. Unklare Bezeichnung!
Häkchen im Menü?

28 - 14 - 1:39:00
Vp erkennt erst jetzt, daß man in den Einstellungen auf der linkenSeite Dinge auswählen kann.
Karteireiter statt Baumdarstellung?

29 - 14 - 1:41:00
Das automatische Laden von Bildern wird über die Buttoneinstellung im nur Text Modus versucht.

30 - 14 - 1:41:00
Vp übersieht dreimal hintereinander im Dialog Einstellung die Möglichkeit, das automatische Laden von Bildern zu verhindern. Dialog überladen?

31 - ?? - 1:45:00
Vp übersieht, daß sie schon in dem Teil des Programmes ist, in dem Lesezeichen verschoben werden können.

32 - 17 - 1:46:38
Vp erkennt nicht, daß durch das Klicken auf einen Ordner im Menüpunkt `` Archivieren'' das Lesezeichen gleich hier abgelegt wird.

Literatur

[Brodbeck und Rupietta]
Brodbeck, Rupietta. Fehlermanagment und Hilfesysteme. In: Eberleh, E., Oberquelle, H., und Oppermann, R. (Hrsg.). (1994). Einführung in die Software Ergonomie: Gestaltung graphisch-interaktiver Systeme: Prinzipien, Werkzeuge, Lösungen. Berlin: Walter der Gruyter & Co.
[Nielsen93]
Nielsen, J. (1993). Usability Engineering. Boston: Academic Press


File translated from TEX by TTH, version 2.01.
On 15 Mar 1999, 19:34.