Idee: Der Einsteigerbox-Test

produkt-pathfinder_einsteigerbox_cover_b4e2_cEinsteiger ins Rollenspiel holen ist eins meiner Lieblingsthemen. Dazu passend hat Tagschatten einen Artikel zu seinen Wünschen für Einsteigerboxen geschrieben. Dem, was er schreibt, kann ich mich in großen Teilen anschließen.

zzbtDas war’s jetzt? Artikel vorbei? Oder was soll dieser blöde Anfang?zzbt

Nein, das war es nicht. Die eigentliche Idee, die mir beim Lesen des Artikels kam, ist eine andere. Es gibt ja öfter Diskussionen und Artikel darüber, wie die ideale Einsteigerbox aussehen sollte. Ich selbst finde die Pathfinder-Box schon verdammt gut. Doch ich habe genauso wenig wie andere Rollenspieler keine sachliche Grundlage, sondern nur mein Bauchgefühl. Ich weiß von keinem Bericht, der sich einmal genauer angeschaut hat, wie ein tatsächlicher Neuling solche Boxen betrachtet. Meine Idee ist jetzt Neulinge zu finden, die so eine Box einmal testen. Aber Test ist nicht gleich Test, denn die Ergebnisse sollten ja weniger subjektiv sein als die bisherigen Wünsche für Einsteigerboxen und das gelingt nicht, wenn man die Neulinge einfach spielen lässt und hinterher nach ihrer Meinung fragt oder kluge Sprüche dazu abliefert. Darum  würde ich so einen Test mit einer Methode für Usabilitytests durchführen mit der ich mich derzeit auf der Arbeit derzeit beschäftige.

zzbtWas soll denn Usability für Einsteigerboxen bringen? Die kann doch nicht messen, ob jemand das Spiel weiterspielen wird.btzz

Jein. Wenn jemand gar keinen Zugang zu dem Spiel findet, weil die Anleitung nicht verständlich ist oder weil er die Box gar nicht auf bekommt, dann ist das auch wichtig zu wissen. Usability ist ein Teil des Spielspaßes und beeinflusst damit die Entscheidung über das Weiterspielen auf jeden Fall, aber ist natürlich nicht der einzige Faktor. Der entscheidende Faktor ist sicher der Spielspaß und genauso, wie man als Beobachter Usability-Probleme feststellen kann, kann man auch den Spaß der Spieler beobachten. Das klingt so wahrscheinlich etwas aus der Luft gegriffen, sollte aber deutlich werden, wenn ich ihr euch das Vorgehen genauer anschaut.

Testen – aber wie?

Der Test findet in zwei Räumen statt. Der eine Raum ist der Testraum. In diesem sitzt die Rollenspielgruppe aus Neulingen und zusätzlich ein Moderator. Dieser führt die Tester in den Testrahmen ein und erklärt ihnen was sie machen sollen und steht zur Seite, falls während des Tests Fragen zum Vorgehen auftreten. Fragen zum getesteten Produkt beantwortet er im Regelfall nicht, da das den Test beeinflussen würde und in einer realen Situation stünde auch kein Moderator zur Verfügung. Ansonsten gibt es in dem Raum eine Kamera, ein Mikrofon und einen Lautsprecher. Kamera und Mikrofon nehmen die Testrunde auf, wobei der Fokus auf dem Spiel liegen muss und nicht auf den Spielern selbst, denn es geht darum zu beurteilen, wie die Spieler mit dem Produkt klar kommen, nicht darum ihr Spiel zu beurteilen. Ich denke, es könnte sehr gut funktionieren eine Kamera an die Decke über den Spieltisch zu hängen, die den Tisch, und Teile der Spieler filmt, so dass man erkennen kann, ob sich ein Spieler langweilt oder gerade Beschäftigung abseits der Runde sucht, z.B. am Smartphone. Evtl. ist auch eine Kameraposition neben dem Tisch besser oder zusätzlich nötig, die das Geschehen quasi aus der Sicht eines Zuschauers filmt, der neben dem Tisch steht, aber ich kann mir vorstellen, dass das der eine oder andere Testspieler nicht möchte. Der Lautsprecher ist zunächst abgeschaltet und kommt später zum Einsatz. Wichtig ist noch die Rolle des Moderators. Er ist dafür da, die Tester dazu anzuhalten laut zu denken. Beim Rollenspiel wird schon viel geredet, aber wenn z.B. jeder für sich in der Anleitung liest oder einem Tester eine Fragezeichen im Gesicht steht, er aber nichts sagt, dann muss der Moderator durch gezieltes Nachfragen dafür sorgen, dass die vorhandenen Gedanken ausgesprochen werden. Dies ist ein ganz wichtiger, elementarer Teil des Tests.

zzbtPft, das wird doch zu einem wahnsinnigen Durcheinander führen, bei dem dann gar nichts mehr geht.btzz

Ja, das Spiel wird dadurch langsamer werden, aber dadurch werden viele Probleme erst sichtbar, die sonst verborgen bleiben. Wenn es dazu führt, dass die Runde langsamer läuft oder vielleicht auch nicht ganz zum Ende kommt, dann ist das verschmerzbar, denn der Gewinn, mehr über Problemstellen zu erfahren, ist das auf jeden Fall wert.

Der zweite Raum ist der Beobachterraum. Dies kann ein realer Raum mit Fernseher/Monitor/Beamer, Lautsprecher und Mikrofon sein, auf dem das Bild aus dem Testraum übertragen wird oder ein auch Hangout, in dem der Testraum einer der Teilnehmer ist. In diesem Raum befinden sich beliebig viele Beobachter und ein weiterer Moderator. Der Moderator führt die Beobachter durch den Testablauf und beantwortet ihre Fragen. Die Aufgabe der Beobachter ist dem Geschehen im Testraum zu folgen und besonders darauf acht zu geben, wann die Tester Probleme mit dem Produkt haben. Sei es, dass etwas unverständlich und schwer zugänglich ist oder, dass das Vorgehen an bestimmten Punkten keinen Spaß macht. Ob jemand Probleme hat, lässt sich im Regelfall sehr gut beobachten. Ob jemand Spaß hat, ist schwieriger zu beobachten. Aber hier ist es nur nötig die „groben Schnitzer“ im Spielspaß zu finden, denn Spaß ist ein deutlich subjektiveres Thema als Usability und daher macht es wenig Sinn an kleinen Schrauben zu drehen. Es reicht völlig, wenn die großen Spaßhindernisse im Design einer Einsteigerbox beseitigt werden.

Nachdem die Tester die gestellte Aufgabe oder Aufgaben ausgeführt und fertig gespielt haben, gibt es noch eine Fragerunde. Hier kommt der Lautsprecher im Testraum zum Einsatz und wird eingeschaltet. Der Moderator im Beobachterraum moderiert jetzt die Fragen, die die Beobachter noch an die Tester stellen möchten. Dabei geht es um die Interpretation des Verhaltens der Tester, z.B. ob er wirklich an sein Smartphone gegangen ist, weil ihm langweilig war oder war es doch nur eine wichtige SMS. Es geht hierbei weniger darum schon mögliche Problemlösungen zu diskutieren, sondern nur darum das Verständnis zu verbessern, um später solche Lösungen ausarbeiten zu können. Sobald die Fragerunde beendet ist, verabschiedet der Moderator aus dem Testraum die Tester. Jeder Beobachter und auch die Moderatoren sollten zu diesem Zeitpunkt eine Top 3 der gefundenen Probleme geschrieben haben. Das können sie jetzt in einer kurzen Pause tun oder schon während der Beobachtung. Es sind nur die drei gravierendsten Probleme gefragt, damit ein Fokus auf die wesentlichen Probleme gefördert wird. Kleinere Problemstellen verändern sich ganz gerne nachdem man an den groben Problemen gearbeitet hat und sollten deshalb nicht weiter betrachtet werden. Sie rücken automatisch in den Fokus, wenn man in weiteren Testiterationen die groben Probleme abgestellt hat.

Diese Testdurchführung wiederholt man im Idealfall mit zwei weiteren Gruppen, so dass man gut Gemeinsamkeiten und Unterschiede zwischen den Runden beobachten kann und eine ausreichend fundierte Basis für Erkenntnisse hat. Wahrscheinlich macht es in unserem Fall Sinn diese drei Durchläufe zeitlich voneinander getrennt durchzuführen, da so eine Rollenspielrunde mehrere Stunden dauern wird und die genaue Dauer vorher unklar ist, so dass man vorab nicht weiß, wann man die zweite Testgruppe (vermutlich sogar an einem anderen Ort) einbestellen muss.

Das heißt nach jeder einzelnen Testrunde gibt es eine kurze Abschlussbesprechung, in der jeder seine Top 3 vorstellt und die gefundenen Stellen auch schon grob gruppiert werden sollten. Eine weitere Besprechung mit Priorisierung und möglichen Lösungen findet aber hier noch nicht statt. Die findet in der Besprechung nach der dritten Testrunde statt. Dort werden die Punkte aus allen drei Testrunden zusammen getragen und besprochen. Auch hier werden alle Punkte gruppiert. Dies geht am besten mit einem Whiteboard und Post-Its, was über Hangout nicht möglich ist. Da fehlt mir noch eine gute Idee für eine passende Software. Nachdem die Punkte gruppiert sind, wird priorisiert, z.B. indem jeder Beobachter drei Punkte auf die einzelnen Gruppen verteilt und am Ende nach Anzahl der Punkte sortiert wird. Diese priorisierte Liste ist dann das erste Ergebnis des Tests. Hier sollte man sich dann entscheiden, bis zu welchem Punkt man die Liste abarbeiten will. Zu diesen Punkten kann dann noch eine Lösungsdiskussion geführt werden. Diese kann aber auch unter den Personen geführt werden, die diese Lösungen tatsächlich umsetzen müssen oder bei ausgewählten Experten für das Thema.

Wenn die getestete Box ein reines Verlagsprodukt ist, auf dass wir keinen Einfluss haben, dann könnte der Prozess hier enden. Die Ergebnisse werden zusammengestellt und dem Verlag übermittelt, in der Hoffnung, dass es auf Resonanz stößt. Oder aber, wir basteln einen „Mock“ der Box, den wir dann verbessern können. Die Regelhelfte kann man kopieren und diese Kopien dann verändern, Pappaufsteller durch Minis ersetzen, Karten selbst neu malen, weitere Materialien hinzufügen usw. Das schadet zwar ein wenig dem optischen Ersteindruck, aber die Spielbarkeit sollte darunter nicht leiden. Mit dieser verbesserten „Mock-Box“ kann dann eine weitere Testrunde gemacht werden, um zu sehen, ob die Verbesserungen wirken oder neue Probleme auftreten.

zzbtSo ein Quatsch. So eine stümperhaft zusammengeschusterte Box wird doch keine Sau vernünftig spielen können.btzz

Warum nicht? Es funktioniert bei Software auch. Wenn man dem Tester vorab sagt, dass es eine Betaversion ist und Abstürze oder so etwas vorkommen können, dann lässt er sich darauf ein und testet ganz normal. Das ist oft genug nachgewiesen worden. Und wenn die Anwendung abstürzt oder etwas nicht so funktioniert, wie es soll, dann ist genau das der Punkt, an dem der Moderator im Testraum auftritt und dem Tester hilft trotzdem weiterzuspielen. Da Vorgehen wird mit einer Einsteigerbox genauso funktionieren.

Und nu?

Tja, gute Frage. Ich hatte die Idee und habe wenig Zeit. Aber wenn die Idee wirklich auf fruchtbaren Boden fällt und genug Leute Interesse haben so etwas umzusetzen und daran aktiv mitzuarbeiten, dann will ich mich daran auch gerne beteiligen.

zzbtOder es ist wie so oft bei euch tollen Rollenspielern: Die Idee steht im Raum, viele Leute finden sie gut, sind aber zu faul wirklich etwas dafür zu tun und damit verschwindet sie im ewigen Nirvana und du hast nen Haufen Zeit beim tippen des Artikels verschwendet.btzz

Tja, wir werden sehen. Zum Abschluss wünsche ich euch noch “Komt god in’t neeie Johr!“

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.