Wizard-of-Oz-Experiment

English
Wizard of Oz study, Wizard of Oz Prototyping, Wizard of Oz Testing, Oz-Paradigm, Experimenter-in-the-Loop

Synonyme

Zauberer-von-Oz-Methode

Beim Wizard-of Oz-Experiment testen Personen eine Mensch-Maschine-Interaktion. Die Reaktionen der Maschine oder des Computers werden jedoch nicht von einem Algorithmus, sondern von einem:einer Experimentator:in gesteuert. Die Versuchspersonen glauben, mit einer Maschine zu interagieren, sodass aus ihrem Verhalten Anforderungen für ein geplantes Computersystem abgeleitet werden können. Auf diese Wiese können Benutzeroberflächen oder Funktionen auf ihre Usability und Nützlichkeit getestet werden, ohne dass ein bereits funktionsfähiges System erstellt werden muss.

Methode Wizard of Oz Experiment

Wizard-of-Oz-Experiment

English
Wizard of Oz study, Wizard of Oz Prototyping, Wizard of Oz Testing, Oz-Paradigm, Experimenter-in-the-Loop

Synonyme

Zauberer-von-Oz-Methode

Beim Wizard-of Oz-Experiment testen Personen eine Mensch-Maschine-Interaktion. Die Reaktionen der Maschine oder des Computers werden jedoch nicht von einem Algorithmus, sondern von einem:einer Experimentator:in gesteuert. Die Versuchspersonen glauben, mit einer Maschine zu interagieren, sodass aus ihrem Verhalten Anforderungen für ein geplantes Computersystem abgeleitet werden können. Auf diese Wiese können Benutzeroberflächen oder Funktionen auf ihre Usability und Nützlichkeit getestet werden, ohne dass ein bereits funktionsfähiges System erstellt werden muss.

Methode Wizard of Oz Experiment
Wir empfehlen zum Thema Anforderung
PM Welt 2023: Mutig handeln in unsicheren Zeiten

Wie gehe ich mit den Herausforderungen fehlender Planbarkeit und Unsicherheit um? Welche Kompetenzen, Methoden und Tools sind gefordert, um sich mutig und sicher den Herausforderungen der Zukunft zu stellen? Diese und weitere spannende Themen erleben Sie am 4. Mai 2023 in München bei der PM Welt, unserer Projektmanagement-Konferenz. Seien Sie dabei! Mehr Infos

Einsatzmöglichkeiten

  • Benutzer-Experimente und Interaktions-Tests mit einem Computersystem (z.B. für künstliche Intelligenz), das noch nicht fertiggestellt ist
  • Prüfen von Hypothesen über die Mensch-Computer-Interaktion des betrachteten Systems
  • Erheben von Anforderungen an ein solches System, zu dem es noch keine ähnlichen Erfahrungswerte gibt
  • Verbesserung des Interaktionsdesigns in einem iterativen Design-Ansatz (schrittweise Implementierung eines Systems)

Die Methode wird meistens im Rahmen eines Laborexperiments durchgeführt, z.B. in einem dafür vorbereiteten Raum oder auch online. Der Aufwand ist absolut gesehen zwar sehr hoch, aber deutlich niedriger als das inkrementelle Erstellen und Testen von echten, funktionsfähigen Computersystemen, insbesondere wenn spezielle Hardware (z.B. Roboter) Teil der Neuentwicklung ist.

Ergebnisse

  • Erfahrungen aus der Interaktion der benutzenden Personen mit dem Computer (oder der Maschine)
  • Antworten auf die gestellten Forschungsfragen
  • Bestätigungen oder Widerlegungen von Hypothesen
  • Verbesserungsvorschläge für die weitere Entwicklung des Systems

Vorteile

Nicht fertiggestellte oder noch gar nicht existente Computersysteme werden für Benutzertests zugänglich. Dies reduziert Risiken bei der Entwicklung und spart Entwicklungskosten.
Die Methode liefert ein möglichst realistisches und unverfälschtes Feedback, da für die Testpersonen der Prototypcharakter des Testobjekts nicht sichtbar ist. Insbesondere kann so frühzeitig die Akzeptanz der Benutzer:innen geprüft werden.
Die Methode eignet sich für einen iterativen Design-Ansatz, da schrittweise neu entwickelte Funktionen hinzugenommen werden können. Dies beschleunigt die Produktentwicklung.
Durch die oben genannten Vorteile kann das Wizard-of-Oz-Experiment in manchen Situationen eine kostengünstige Methode zum Testen von Prototypen sein.

Durchführung: Schritt für Schritt

Bei der Methode "Wizard-of-Oz-Experiment" schlüpfen Sie (bzw. ein Teammitglied) in die Rolle des "Zauberers von Oz" und simulieren die Reaktionen des zu untersuchenden Systems auf die Benutzerinteraktionen von Testpersonen.

Der Name der Methode hat ihren Ursprung im Kinderbuch "The Wizard of Oz" (Der Zauberer von Oz) des US-amerikanischen Schriftstellers L. Frank Baum. In diesem Buch gibt sich die Titelfigur als mächtiger Zauberer aus, obwohl dahinter eigentlich nur ein ganz normaler Mann steckt – ohne jegliche Zauberkräfte (siehe "Herkunft").

Beispiel Chatbot

Ein IT-Unternehmen möchte einen Chatbot als Ergänzung oder Ersatz für persönlichen Support entwickeln. Bevor viel Zeit und Geld in die Programmierung des Chatbots investiert wird, soll geprüft werden, ob die Kundschaft den Chatbot überhaupt akzeptieren würde. Außerdem möchte das Unternehmen erfahren, wie genau und detailliert die Antworten des Chatbots sein müssen, damit die Kunden zufrieden sind und ob unterschiedliche, virtuelle Persönlichkeiten (z.B. Antwortstile) die Zufriedenheit mit dem Chatbot verändern.

Zu diesem Zweck beantworten zunächst in einem Laborexperiment geschulte Support-Mitarbeiter:innen als "Zauberer" die Fragen, die Test-Kund:innen dem vorgeblichen Chatbot stellen. Im Idealfall merken die Kund:innen nicht, dass hinter den Antworten kein bereits fertig programmierter Chatbot steckt, sondern ein Mensch die Antworten gibt.

In einem zweiten Schritt kann das Unternehmen das Experiment mit dem von Menschen simulierten Chatbot auf der produktiven Website für eine bestimmte Zeit durchführen, um möglichst reales Feedback zu erhalten.

Beispiel Ticketautomat

Ein Bahnunternehmen hat aus Befragungen erfahren, dass viele Bahnfahrende die Menüführung des Ticketautomaten als zu kompliziert wahrnehmen. Daraus entsteht die Vermutung, dass diese Gruppe Ticketschalter bevorzugt, die mit menschlichen Verkäufern besetzt sind.

Für einen Test, unter welchen Bedingungen und wie diese Kund:innen einen Automaten benutzen würden, bereiten Teammitglieder eine Versuchsanordnung unter realen Bedingungen vor. Hierfür verwenden sie eine Prototyping-Software, die eine direkte Interaktion mit einer fertigen Software simuliert. In diesem Fall interagieren die Kund:innen zwar mit der Prototyping-Software, die tatsächlichen Befehle werden aber dennoch vor der Kundschaft verdeckt von einem Teammitglied manuell überarbeitet und verdeckt in das System eingegeben.

Beispiel Autonomes Fahren

Ein wichtiger Aspekt bei der Entwicklung autonomer Fahrzeuge ist die Akzeptanz der passiven Fahrer:innen. Dabei geht es beispielsweise darum, welche Fahrweise für die Mitfahrer:innen als angenehm empfunden wird, wie die Person im Fahrersitz Feedback des Fahrzeugs erhält oder wie durch eine entsprechende Visualisierungen der Zustand des Fahrzeugs dargestellt werden kann.

In einem Zauberer-von-Oz Experiment können viele dieser Eigenschaften getestet werden, ohne dass eine entsprechende Automatisierung bereits vollständig entwickelt werden muss. Dabei steuert ein Mensch über eine Fernverbindung das Fahrzeug, wobei die Testperson der Meinung ist, dass das Fahrzeug autonom fährt. Im Anschluss wird durch Interviews erhoben, wie unterschiedliche Parameter (z.B. Fahrstil, Feedback, Visualisierung) auf die Testpersonen gewirkt haben.

Schritt 1: Bilden Sie eine Fragestellung und Hypothesen für das Experiment!

Ausgangspunkt für die Planung eines Wizard-of-Oz-Experiments ist eine Fragestellung (Forschungsfrage) zum Verhalten der potentiellen Benutzer:innen eines automatisch gesteuerten Systems. Evtl. gibt es auch mehrere Fragen, diese sollten aber klar priorisiert werden. In Bezug auf die Beispiele weiter oben könnten passende Fragestellungen wie folgt lauten:

  • Akzeptiert die Kundschaft einen Chatbot als Ersatz für Supportmitarbeiter:innen und wenn ja, für welche Anfragen?
  • Unter welchen Bedingungen benutzen Kund:innen, die normalerweise lieber mit Menschen sprechen, einen Ticketautomaten?
  • Welche Fahrweise eines autonomen Fahrzeugs wird von mitfahrenden Personen bevorzugt, die während der Fahrt lesen oder arbeiten?

Leiten Sie von dieser Fragestellung zu überprüfende Hypothesen über die Benutzer-Prototyp-Interaktionen ab. Diese Hypothesen sind Vermutungen über das Verhalten der Testpersonen, die es zu bestätigen oder zu widerlegen gilt. Sie erhalten Hypothesen, indem Sie z.B. mögliche Antworten auf die Forschungsfrage(n) formulieren. Mögliche Hypothesen für die oben genannten Fragen könnten z.B. sein:

  • Chatbots eignen sich, um Kundenfragen über Produkteigenschaften zu beantworten.
  • Ein Ticketautomat darf in jedem Bedienschritt maximal drei Auswahlmöglichkeiten anbieten, damit Kund:innen, die ihr Ticket lieber am Schalter kaufen, auch den Automaten akzeptieren.
  • Starkes Beschleunigen und abrupte Bremsvorgänge werden von mitfahrenden Personen als Fehlfunktionen des autonomen Fahrens empfunden.

Beschränken Sie sich in der Zahl der Hypothesen und formulieren Sie nur solche, die relevant für die weitere Produktentwicklung sind. Je mehr Hypothesen Sie zu überprüfen haben, desto aufwendiger wird der Versuch. Wenn Sie zu viele Ergebnisse aus einem Experiment erzielen wollen, gefährden Sie seine Aussagekraft, da sie damit zugleich die Zahl der Störfaktoren erhöhen (siehe nächster Schritt).

Aufgabengebiete