Wenn man Prototypen einem Usability-Test unterziehen will stellt sich die Frage, ob der Test mit oder ohne ein ausgearbeitetes Design stattfinden soll. Aus dem Bauch heraus finde ich es naheliegend, dass ein designter Testcase zu anderen Ergebnissen führt, als einer, der mehr mit Grautönen und ohne Bilder arbeitet und sich damit auf die Funktionen und die Struktur konzentriert.
eResult hat einen Versuch gemacht, der diese Frage klären soll. Wie immer in diesem Bereich werden kleine Fallzahlen von insgesamt 24 Testpersonen für beide Testreihen genommen. Die Aussagekraft solcher Tests liegt also eher im „ich glaube das mal, weil ich will“-Bereich, als dass eine statistische Relevanz hätte. Aber es gibt schonmal interessante Hinweise.
Das wirklich interessante Ergebnis der Studie ist, dass es keinen relevanten Unterschied zwischen schlicht und angehübscht gibt. Nur in einem Detail unterschieden sich die Ergebnisse. Interessante Sache. Allerdings würde mich eine Wiederholung der Studie interessieren, wenn die Probanden wirklich ein Design vorgelegt bekommen, das sich vom grauen Prototypen unterscheidet. Der bunte Testcase ist in meinen Augen zu nah am grauen. Ein paar Farben und ein Hintergrundbild sind ein zu geringer Unterschied. Oder wie seht ihr das? Kann jemand von ähnlichen Erlebnissen berichten?
22. Juni 2011 um 7:40 Uhr
Hallo Jens,
sehr interessanter Artikel und eine ganz nette Studie.
Was mich am meisten an dieser Studie stört ist der letzte Punkt bei der Auswertung, nämlich „Gestaltung (Ablenkung durch grafische Elemente)“. Meiner Meinung nach gehört dieser Punkt auf keinen Fall in die Auswertung, wenn es darum geht, die Unterschiede der Bewertung zur Usability zu überprüfen. Schließlich ist klar, dass die grafisch aufwendigere Variante in diesem Punkt mehr Probleme bereiten wird als die simplere. Der Einfluss der grafischen Elemente, sollte subtil in die Bewertung anderer Kriterien einfließen. Das Ergebnis wird durch diesen Punkt, meiner Meinung nach, etwas verfälscht.
Ansonsten gebe ich Dir Recht. Die Unterschiede in der grafischen Ausarbeitung finde ich ebenfalls zu gering. Ich würde mich auf jeden Fall freuen eine weitere Studie dieser Art zu sehen!
Schöne Grüße, Sammi
22. Juni 2011 um 8:33 Uhr
Ich finde das Beispiel äußerst ungünstig. Zum einen wirkt bereits der Prototyp ziemlich lustlos und unüberlegt. Und beim rechten Bild, das aussieht wie ein Website-Screenshot von 1997, von High-Fidelity zu sprechen, ist ebenfalls fragwürdig.
Die bessere Erkennbarkeit der Navigationselemente im farbigen Bild ist nicht nur der Farbigkeit allein geschuldet, sondern liegt auch daran, dass die Gewichtung im Schwarz-Weiß-Prototyp ganz anders angelegt ist, was man durch andere Grauwerte mit mehr Kontrast ebenfalls korrigieren könnte.
Ein solcher Test würde mehr Sinn machen, wenn a) größere Unterschiede zwischen den Prototypen bestehen und b) der High-Fidelity-Prototyp auch wie einer aussieht, sprich einer vernünftigen, zeitgemäßen Website näher kommt. Dann würden vielleicht die im Artikel oben aufgeführten Argumente eher zu beobachten sein.
22. Juni 2011 um 11:46 Uhr
Hi,
muss dir recht geben, die zwei Versionen unterscheiden sich nicht sonderlich. Und wie Christoph schon geschrieben hat, sind sie auch nicht besonders zeitgemäß… Diesen Test müsste man mit einer moderneren Website wiederholen, als Studie würde ich ihn nicht bezeichnen.
Liebe Grüße, Tanja
26. Juni 2011 um 11:54 Uhr
Das kommt aus meiner Sicht auf den Test an. Beim Usability-Test will man in der Regel ja auch den DAU mal ranlassen 😉 Und deshalb ist ein fertiges Layout durchaus hilfreich. Allerdings bekommt man durch den frühen Test ohne Layout noch einmal Inspirationen, was für das fertige Layout noch fehlen könnte bzw. was man noch nicht im Kopf hatte. Der Test lohnt sich also aus meiner Sicht schon, solange man nicht zu viel Zeit darauf verwendet.
29. Juni 2011 um 19:42 Uhr
Ich denke das kommt auf die Größe des Auftrages an für einen kleinen Kunden würde ich auch drauf verzichten und die Dinge ohne Design erläutern.
Bei einem großen Kunden sollte man schon der Professionalität halber mit Designs beim Prototypimg arbeiten…