Design of Experiments (DoE)

Synonyme

DoE
statistische Versuchsplanung

Design of Experiments (DoE, Statistische Versuchsplanung) ist eine effiziente Methode, um aus einer Vielzahl von Parametern die relevanten Einflussfaktoren für einen Prozess oder ein Produkt zu ermitteln. Mit Hilfe eines Versuchsplans werden diese Faktoren weitgehend unabhängig voneinander variiert, um deren Effekte auf die Zielgrößen und damit ein Ursache-Wirkungs-Modell abzuleiten. Bei der Auswertung wird abgeschätzt, ob sich alle angestrebten Ziele erreichen lassen oder ob z.B. bestimmte Zielvorgaben widersprüchlich sind. Die zielgerichtete visuelle Aufbereitung der Daten dient als Grundlage für weitere Entscheidungen.

Design of Experiments (DoE)

Design of Experiments (DoE)

Synonyme

DoE
statistische Versuchsplanung

Design of Experiments (DoE, Statistische Versuchsplanung) ist eine effiziente Methode, um aus einer Vielzahl von Parametern die relevanten Einflussfaktoren für einen Prozess oder ein Produkt zu ermitteln. Mit Hilfe eines Versuchsplans werden diese Faktoren weitgehend unabhängig voneinander variiert, um deren Effekte auf die Zielgrößen und damit ein Ursache-Wirkungs-Modell abzuleiten. Bei der Auswertung wird abgeschätzt, ob sich alle angestrebten Ziele erreichen lassen oder ob z.B. bestimmte Zielvorgaben widersprüchlich sind. Die zielgerichtete visuelle Aufbereitung der Daten dient als Grundlage für weitere Entscheidungen.

Design of Experiments (DoE)

Einsatzmöglichkeiten

  • Entwicklung von Produkten und Prozessen
  • Optimierung von Zielgrößen im Hinblick auf Ausbeute und Performance
  • Identifizierung der optimalen Produktions-Einstellung, um Ausschuss zu reduzieren, Prozesse und Produkte sicherer zu machen, Kosten zu senken und die Qualität zu steigern
  • Untersuchung und ggf. Behebung von Fehlern, deren Ursache nicht eindeutig bekannt ist ("Trouble Shooting")
  • Analyse der Robustheit eines Systems gegen äußere Störgrößen
  • Validierung von Prozessen durch ihre methodische Untersuchung

DoE ist eine fachlich sehr anspruchsvolle Methode, da die implementierte Statistik hinter den Berechnungen verstanden werden sollte. Ziel einer DoE-Investigation ist es, mit geringstem Aufwand ein Maximum an Information über die untersuchten Faktoren und deren Variation zu erhalten. Oftmals sind es jedoch nicht die Berechnungen und die Analyse, sondern die Definition der Faktoren, die Planung und Durchführung von Versuchen sowie deren Bewertung, die viel Zeit in Anspruch nehmen. Auch wird häufig unterschätzt, dass die Versuche unter realen Bedingungen durchgeführt werden müssen und somit oftmals die Produktion steht, soweit keine Testanlagen vorhanden sind.

Der Aufwand hängt von der Komplexität des zu analysierenden Systems ab. DoE zielt zwar darauf ab, die Analyse und Modellierung eines Systems so einfach wie möglich zu halten, kann aber dennoch einen erheblichen Aufwand an Zeit und Ressourcen erfordern und den Charakter eines kleinen Projekts annehmen. Deshalb ist die Erstellung eines Business Cases für die Durchführung von DoE empfehlenswert (siehe Abschnitt "Benötigte Informationen").

Ergebnisse
  • Dokumentation der Einflussfaktoren, Untersuchungen, Modellierungen und Analysen
  • Ursache-Wirkungsmodell, das den Zusammenhang der Einflussfaktoren und Zielgrößen beschreibt
  • Basis für anschließende, faktenbasierte Diskussionen und Einrichtung von nachvollziehbaren, klaren Entscheidungswegen
Vorteile
DoE reduziert den Aufwand für Versuche auf ein Minimum. Oft wird dadurch überhaupt erst die systematische Analyse multifaktorieller Systeme möglich.
Die klar strukturierte Vorgehensweise reduziert den Zeitaufwand der sich ansonsten wiederholenden Besprechungen und Workshops.
Aufwand und Kosten für die Untersuchung können sehr früh abgeschätzt werden.
Fehlannahmen durch voreilige Schnellschüsse werden auf ein Minimum reduziert.
Weitere, bisher nicht beachtete Faktoren können bei Versuchsdurchführung und Auswertung als wichtige Einflussgrößen identifiziert werden.
Der ganzheitliche Ansatz deckt ggf. widersprüchliche Ziele auf und unterstützt bei der Lösungsfindung sowie dem Ableiten von Maßnahmen, wie z.B. Kompromisse, Einsparpotentiale oder Ausschussreduktion.
Grenzen, Risiken, Nachteile
Grenzen des Machbaren werden lediglich aufgedeckt, oftmals sind für deren Überwindung andere Methoden erforderlich.
Für ausschließlich qualitative Einflussfaktoren ist DoE nur eingeschränkt geeignet.
Wenn die Faktoren in einem zu breiten Fenster untersucht werden, sind die Effekte oft höherer Ordnung, haben mitunter nichtlineare (quadratische oder kubische Effekte) oder es bestehen Wechselwirkungen zwischen den Faktoren. Werden diese Effekte nicht berücksichtigt, sind die Modelle oftmals nicht ausreichend aussagekräftig.
Trotz Software-Unterstützung besteht die Gefahr, weniger relevante Faktoren aus der Problemformulierung zu untersuchen und damit die Effizienz der Methode zu reduzieren.
Voraussetzungen
  • Gute, offene Teamarbeit, um innerhalb der Problemformulierung die richtigen Faktoren mit der angemessenen Variationsbreite für die anschließende Untersuchung zu definieren
  • Einigkeit bei der Zieldefinition, z.B. mit Hilfe eines vereinbarten Business Cases. Oftmals verfolgen verschiedene Interessengruppen unterschiedliche und widersprüchliche Ziele. Eine gezielte Definition mit Priorisierung der Ziele erleichtert die spätere Konsensfindung.
  • Das Umfeld muss es ermöglichen, dass die Versuchsreihe wie geplant durchgeführt werden kann. Zusätzliche Störeinflüsse, die durch unterbrochene oder sequenzielle Versuchsreihen auftreten können, sind mitunter schwer zu erfassen und zu analysieren.
Qualifizierung

Die statistische Versuchsplanung findet Verwendung in vielen Bereichen der Entwicklung und Verbesserung. Somit richtet sich die Methode an Techniker, Laborpersonal, Auditoren, Wissenschaftler und Ingenieure aus allen Bereichen der Industrie und Wissenschaft.

Mindestens eine Person im Entwicklungs- oder Optimierungsteam sollte eine Ausbildung für "Design of Experiments" haben. Sie muss dazu befähigt sein, dem Team verständlich zu erklären, wie sich ein Versuchsplan zusammensetzt und warum diese "scheinbar unstrukturierten" Versuche in Ihrer Gesamtheit die zielgerichtete Analyse ermöglichen.

Eine DoE-Ausbildung dauert je nach gewünschtem Umfang zwei bis drei Tage. Am dritten Tag geht es häufig um die anspruchsvolleren Themen wie Untersuchungen zur Robustheit unter Berücksichtigung von Wahrscheinlichkeiten. Innerhalb der meisten Kurse werden die zum Verständnis der Methode erforderlichen statistischen Methoden wiederholt und im Zusammenhang dargestellt. Vorkenntnisse sind daher meist nicht erforderlich.

Innerhalb von zwei Tagen erlernen die Teilnehmer eigenständig, software-unterstützt kleinere Untersuchungen qualifiziert zu planen und durchzuführen. Falls Sie kein Mathematiker oder Statistiker sind, empfehle ich Ihnen, die umfangreiche DoE-Statistik nicht selbst z.B. in Excel, R oder Python abzubilden.

Oftmals finden Einführungen in die statistische Versuchsplanung innerhalb von "Design-for-Six-Sigma"-Schulungen statt. Diese sind zwar meist rudimentär, werden aber durch andere Aspekte wie begleitende Methoden zum Auffinden der richtigen Faktoren oder Qualifizierungspfaden für die Messmittelanalyse bereichert.

In manchen Fällen bietet es sich an, Experten hinzuzuziehen, wie z.B.:

  • wenn die Versuchsplanung nur sporadisch benötigt wird,
  • sehr viele Einflussgrößen untersucht werden sollen,
  • die Kosten für Versuche und die Zeit sehr kritisch wird
  • oder wenn die Situation im Team festgefahren ist und es notwendig ist, neue Fragen zu stellen.

In diesen Fällen sollte ein erfahrener Versuchsplaner hinzugezogen werden. Dies kann von Vorteil sein, da dieser meist die Problemformulierung aufgrund des geringeren Tunnelblicks und möglicher Spannungen im Team differenziert und offener angehen kann. In der Regel umfasst diese Begleitung inklusive des Wissenstransfers zwei bis drei Personentage, da der Versuchsplaner nicht zwangsläufig bei aufwendigen, über einen längeren Zeitraum verteilten Versuchen das Team vor Ort begleiten muss.

Benötigte Informationen
  • Fachexpertise des Product bzw. Process Owners oder der Mitarbeiter, die den Prozess oder das Produkt betreuen
  • Business Case für das mit DoE durchzuführende Optimierungsprojekt. Darin sollten die folgenden Themen berücksichtigt werden: die mit DoE zu behandelnde Problemformulierung, Nutzen, Chancen, Risiken, Umfang, Team, Zeitplan, Ressourcen und Budget.
Benötigte Hilfsmittel
  • Ausreichend großer Besprechungsraum
  • Arbeitsflächen wie Flipchart, Whiteboard oder Pinnwände. Entsprechende Moderationsmaterialien wie Haftnotizen, Moderationskarten, Filzstifte, Pinn-Nadeln usw.
  • Für DoE geeignete Statistik-Software zur Erstellung der Versuchspläne und deren Auswertung (siehe Durchführung, Abschnitt "Software für DoE"). Die Abarbeitung der Versuche erfolgt meist über ausgedruckte Versuchspläne.
  • Die jeweils spezifisch erforderliche Ausrüstung zur Durchführung der Versuche. Versuche können nur dann erfolgreich in Wissen transferiert werden, wenn deren Ergebnisse in hoher Güte messbar sind. Deshalb sollten auch die Überprüfung der Prüfmittel und ihre Verfügbarkeit gut geplant und sichergestellt sein.
Herkunft

Die statistische Versuchsplanung beruht auf der Regressions- und Varianzanalyse, bei der Gruppen eines Faktors meist auf mindestens zwei Leveln betrachtet werden. Sobald in einer Versuchsreihe mehr als ein Faktor gleichzeitig verändert wird, ist es allerdings wichtig darauf zu achten, dass die Faktoren unabhängig voneinander variiert werden. Im Englischen spricht man daher von "Design of Experiments". Das Wort "Design" steht hier für Orthogonalität, Symmetrie und Balance der Versuche in einem Versuchsplan.

Der britische Statistiker und Genetiker Ronald Aylmer Fisher (1890-1962) beschäftigte sich ab ca. 1920 intensiv mit statistischen Auswertungen und entwickelte hierfür eine Reihe von grundlegenden Methoden. Er prägte auch den Begriff "Design of Experiments". Mit der Verbindung von Optimierungsaufgaben und Versuchsplanung in der sog. "Response Surface Methodology" wurde die Versuchsplanung durch George E. P. Box (1919-2013) und K. B. Wilson ab 1951 ein breiteres Anwendungsfeld von zunehmender Bedeutung.

Einen richtigen Hype erfuhr die statistische Versuchsplanung mit der Einführung der nach ihrem Erfinder Genichi Taguchi (1924-2012) benannten Taguchi L-Pläne und den Methoden von Dorian Shainin (1914-2000), die es ermöglichten, Versuchsplanung mit einfachen Bordmitteln strukturiert abzuarbeiten noch bevor Computer und entsprechende Software zur Verfügung standen.

Heute ist die statistische Versuchsplanung wichtiger Bestandteil bei standardisierten Vorgehen in den Bereichen der Optimierung/Entwicklung und wird fast ausschließlich mit Hilfe von Software abgearbeitet.

Durchführung: Schritt für Schritt

Systeme aller Art – egal ob es sich um Prozesse, Organisationen, technische Produkte oder anderes handelt – werden in der Praxis stets von zahlreichen Faktoren beeinflusst. Oft ist aber nicht vollständig bekannt, welchen Einfluss ein einzelner Faktor oder die Faktorwechselwirkungspaare genau haben und wie stark sie das System beeinflussen. Um Systeme zu optimieren, z.B. hinsichtlich Fehlerfreiheit oder Durchsatz, werden deshalb zuerst diese Einflussfaktoren analysiert.

Auf keinen Fall sollte man Verfahren wie COST ("Change one Setting at a Time") oder OVAT ("One Factor at a Time") benutzen, in denen grundsätzlich immer nur ein Faktor variiert wird. Dies begründet sich darin, dass die jeweiligen Faktoren immer nur unter stationären Rahmenbedingungen untersucht werden. Ihr Einfluss kann somit nicht über den gesamten Versuchsraum unabhängig von den anderen Faktoren ermittelt werden, auch Wechselwirkungen mit anderen Faktoren werden dadurch häufig vernachlässigt. Bei DoE hingegen werden alle Faktoren strukturiert simultan in den Versuchen variiert, um deren jeweiligen Effekt unabhängig von den anderen Faktoren im gesamten Versuchsraum zu bestimmen.

Design of Experiments (DoE) wurde explizit dafür entwickelt, den Einfluss von vielen Faktoren in einem System möglichst schnell und strukturiert zu analysieren. Mit DoE ist es möglich, eine nahezu beliebige Anzahl von Faktoren auf ihre Wirkung für mehrere Zielgrößen zu untersuchen. Zudem bietet DoE auch die Möglichkeit, die meist unterschätzten Wechselwirkungen zwischen den Variablen gezielt zu untersuchen.

Der Einsatz von DoE erfolgt in mehreren Abschnitten. Am Anfang stehen meist die Definition und Formulierung des Problems im Team. Dabei werden die entscheidenden Faktoren und Zielgrößen bestimmt. Im Anschluss wird diese Information – meist software-gestützt – in einen abzuarbeitenden Versuchsplan überführt. Sind die Versuche durchgeführt und vermessen sowie bewertet, kann mit Hilfe spezieller DoE-Software ein Ursache-Wirkungs-Modell berechnet werden. Durch Visualisierungen – wie z.B. Prozesslandkarten – werden Grenzen und Möglichkeiten des Prozesses oder Produkts aufgezeigt. Diese helfen in anschließenden Meetings dabei, auf Basis der aufbereiteten Ergebnisse Entscheidungen zum weiteren Vorgehen abzuleiten.

Im Rahmen dieser Methodenbeschreibung kann lediglich das grundlegende Vorgehen sowie der Rahmen für den Einsatz von DoE beschrieben werden. Die zugrundeliegenden statistischen Zusammenhänge und Details insbesondere der Auswertung und Modellbildung können hier nicht ausführlich dargestellt werden. Diese können entweder im Rahmen einer spezifischen Ausbildung oder über entsprechende Literatur erworben werden. Eine ausführliche Darstellung von DoE findet sich z.B. in: Kleppmann, Wilhelm: "Versuchsplanung: Produkte und Prozesse optimieren (Praxisreihe Qualität)", Carl Hanser Vlg., 9. überarbeitete Aufl., 2016.

Aus Gründen der einfacheren Lesbarkeit wird im Folgenden nur noch die grammatikalisch männliche Form (Teilnehmer, Mitarbeiter, Qualitätsmanager usw.) verwendet. Es sind dabei aber stets Personen jeden Geschlechts gemeint.

Software für DoE

Die wichtigste Rolle der Software innerhalb der Versuchsplanung ist die Übernahme von sich wiederholenden aufwendigen Rechenoperationen. Diese umfassen die Rahmenbedingungen zur Erstellung des Versuchsplans in Abhängigkeit der Faktordefinition und die Modellierung von Ursache-Wirkungs-Modelle. Zudem unterstützt die Software bei der Beurteilung von Daten z.B. hinsichtlich ihrer Verteilung und bei der Erkennung von Ausreißern. Die Erstellung eigener Vorlagen für diese Verfahren ist sehr aufwendig und fehleranfällig. Auch wird eine eigene Software-Entwicklung / Programmierung und Validierung für automatisierte Abläufe oder gar Visualisierung sowie höherer statistische Auswertung schnell komplex (z.B. Mehrgrößenoptimierung, Monte Carlo Simulationen). Oftmals wird der Aufwand für die Validierung der Software unterschätzt und deren Übertragbarkeit für andere Fragestellungen überschätzt.

Die Palette der Software reicht von frei verfügbaren Skripten und Programmen bis hin zur Software mit Siegel "FDS Part 11 approved". Eine aktuelle Übersicht mit Leistungsspektrum bietet Kleppmann, 2016 (s.o.). Auch eine Recherche bei Wikipedia zu nicht kommerziellen Produkten ist eine Möglichkeit. Bevor Sie sich jedoch für eine Software entscheiden, lohnt es sich, einen Berater hinzuzuziehen, der Ihre Anforderungen möglichst unabhängig abstimmen kann. Die Beispiele und Darstellungen in diesem Artikel wurden mit der Software MODDE v.12.1 von Umetrics erstellt, diese Software konzentriert sich ausschließlich auf den DoE-Bereich und bietet für die Abarbeitung reichlich Unterstützung.

Schritt 1: Formulieren Sie das Problem im Team!

Die treffende Formulierung des zu behandelnden Problems bestimmt den Erfolg der Versuchsplanung, da hierbei die entscheidenden Rahmenbedingungen und Prioritäten beschlossen werden. Deshalb ist es wichtig, bei der Problemformulierung das ganze Team einzubinden, um die gesamte Expertise und alle Perspektiven auf die zu betrachtende Situation einzubeziehen.

Führen Sie hierzu einen Workshop mit dem Team durch. Bei Bedarf können Sie dafür die Methode Workshop verwenden.

Erläutern Sie den Teammitgliedern zunächst die bevorstehende Aufgabe und welche Beiträge zum Gelingen der Versuchsdurchführung sie leisten sollen. Machen Sie allen verständlich, dass nur eine qualitativ hochwertige Versuchsdurchführung mit messbaren Ergebnissen bzw. mit feingranularer Beurteilung zu einem guten Modell führen kann. Dies ist entscheidend für den Erfolg von DoE.

Die Problemformulierung besteht grundsätzlich aus folgenden Elementen:

  • Liste der Einflussfaktoren und deren zu untersuchenden Variationsbereichen
  • Liste der zu messenden Zielgrößen und ihrer Zielbereiche
  • Hypothesen über die Zusammenhänge von Einflussfaktoren und Zielgrößen sowie über Wechselwirkungen der Faktoren untereinander.

Je nach Zielsetzung bzw. Aufgabenstellung sind unterschiedliche Vorgehensweisen bei der Problemformulierung sinnvoll:

  • Bei Fehleranalyse bzw. Trouble-Shooting werden Einflussfaktoren identifiziert und ihre Bedeutung jeweils generell hinterfragt. Einzusetzende Methoden sind z.B.: Mind Mapping, Ishikawa-Diagramm, SIPOC, Zwerge-Modell (aus TRIZ), SCAMPER.
  • In der Entwicklung wird nach bestimmenden Faktoren gesucht, ohne dass deren Variationsbereich bekannt ist. Einzusetzende Methoden sind z.B.: Kraftfeldanalyse, Affinitätsdiagramm, Mind Mapping, Ishikawa-Diagramm, Clusteranalyse.
  • Bei einer Optimierung sind die Faktoren meistens bekannt. Hinterfragt wird, wie sie die verschiedenen Zielgrößen beeinflussen oder ob sie sogar in Widerspruch zu ihnen stehen. Einzusetzende Methoden sind z.B.: Zwerge-Modell, Ishikawa-Diagramm, Mind Mapping, Data Mining, Triz
  • Bei einer Robustheitsprüfung wird hinterfragt, ob die definierte Qualität des Produkts oder Prozesses aufgrund einer natürlich anzunehmenden Variation der Faktoren beeinflusst wird. Einzusetzende Methoden sind z.B.: Ablaufdiagramme, SIPOC, Störgrößen-Analyse, Analyse der "Standard Operating Procedures", Multivariante Data Analysis von Qualitätsdaten z.B. aus der Wareneingangskontrolle.

Beispiel: Spielzeugkatapult mit Einstellmöglichkeiten

Zur Illustration des Vorgehens bei DoE dient ein scheinbar einfaches Spielzeugkatapult aus Holz (Bild 1), bei dem eine Reihe von Parametern variierbar ist, wie z.B. Anschlagpunkt des Wurfarms, Position des Ballkorbs, Vorspannung des Gummibandes und die Art des Balls. Die zu optimierende Zielgröße ist die einstellbare Reichweite des Katapults.

Spielzeugkatapult aus Holz mit Einstellmöglichkeiten: links Original, rechts Konstruktionsskizze mit Erläuterungen
Bild 1: Spielzeugkatapult aus Holz mit Einstellmöglichkeiten: links Original, rechts Konstruktionsskizze mit Erläuterungen

Mit Hilfe von Mind Mapping wurden die in Bild 2 gezeigten Einflussfaktoren identifiziert, die zur Versuchsplanung herangezogen werden können.

Identifizierte Einflussfaktoren auf die Reichweite des Katapults
Bild 2: Identifizierte Einflussfaktoren auf die Reichweite des Katapults

Bereits an einem so "trivialen" Beispiel eines Holzkatapults ist schnell ersichtlich, dass die Anzahl der Faktoren schnell enorme Ausmaße annehmen kann. Um die Anzahl der Faktoren auf ein vernünftiges Maß zu reduzieren, benötigt man Werkzeuge zur Priorisierung. Die einfachste Möglichkeit ist das Multi-Voting, bei dem jeder Teilnehmer eine bestimmte Anzahl von Punkten erhält und diese an die für ihn wichtigsten erscheinenden Faktoren vergibt. Die Faktoren mit den meisten Punkten werden dann für die Analyse verwendet. Jedoch ist hier Vorsicht geboten, wenn sich die Teilnehmer auf die am einfachsten zu beherrschenden Faktoren stürzen. Hierbei bietet sich der Paarweise Vergleich an als eine einfache, systematische Methode. Aufwendig, aber für anspruchsvolle Systeme empfehlenswert, ist der Analytisch Hierarchische Prozess (AHP).

Das Katapult-Beispiel verwende ich in Vorlesungen und Trainings. Die Teilnehmer haben dabei die Möglichkeit, methodisch die Faktoren zu finden und deren Variationsbreite zu bestimmen. Nach dem Training wird diese Auswahl reflektiert, um für die anschließende Praxis das Bewusstsein zu schaffen, dass mitunter auch die falschen Faktoren oder die richtigen Faktoren im falschen Variationsraum untersucht werden können. Wie auch bei anderen Methoden bewirkt meist der praktische Teil des Trainings die höchste Identifikation der Teilnehmer mit der Methode. Zudem wirken Beispiele wie beim "Storytelling" so nach, dass das Wissen noch Jahre später mit den praktischen Versuchen nachhaltig verknüpft ist.

In Bild 3 sind die priorisierten zu variierenden Faktoren rot eingefärbt. Für die blauen Faktoren gab es entweder Vorgaben oder zusätzliche Angaben.

Priorisierte Faktoren für die Untersuchung
Bild 3: Priorisierte Faktoren für die Untersuchung

Praxistipps ...

Aufgabengebiete

Download PDFDownload PDF

Bewertungen und Kommentare

Diese Funktion steht nur eingeloggten Nutzern zur Verfügung.
0 Kommentare anzeigen & selbst mitreden!
Gesamt
Bewertungen 1
Kommentare 0