Wenn das Rauschen lauter ist als der Effekt

DoE-Happen #066Serie: Warum ist mancher Faktoreffekt nicht signifikant?Anwender7 Min. Lesezeitaktualisiert am 21.11.2026

  1. Pre-Screening
  2. Screening
  3. Charakterisierung
  4. Optimierung
  5. Toleranzen
  6. Robustheit

Kurz gesagt

Wer die Wiederholungen eines Versuchs zu Mittelwerten zusammenfasst und erst dann modelliert, wirft die Streuung weg – das Modell sieht dann besser aus, als der Prozess ist. Im Fall von Heinz zeigten erst die 55 Einzelwerte: Nur die Amplitude ist knapp nachweisbar, das Modell hat keine Vorhersagekraft (Q² negativ). Die nächsten Schritte sind Variationsfenster, Messsystem und Störgrößen zu prüfen.

Neulich meldete sich einer meiner Kursteilnehmer – nennen wir ihn Heinz.

Heinz hatte ein DoE durchgeführt. Drei Faktoren, vollfaktorielles Design, fünf randomisierte Wiederholungen je Versuchspunkt – denn er wusste: Zugprüfungen streuen. Alles richtig gemacht. Sein Overview Plot sah ordentlich aus. Die Mittelwerte lagen im Zielbereich, die Amplitude zeigte den größten Effekt, die Kennzahlen wirkten solide.

Und trotzdem zweifelte er.

„Die Wiederholbarkeit macht mir Sorgen“, schrieb er mir. „Kannst Du mal drüberschauen?“

Genau das haben wir getan. Was wir dabei gefunden haben, ist lehrreich – nicht nur für Heinz.

Was Heinz untersucht hat

Das Ziel war klar: Welche Parameter der Ultraschallverschweißung beeinflussen die Zugfestigkeit eines Kunststoffbauteils?

Drei Faktoren, zwei Stufen:

  • Amplitude – von 20 bis 40 µm
  • Schweißdruck – von 2,0 bis 4,0 bar
  • Triggerdruck – von 0,5 bis 1,5 bar

Design: 2³ vollfaktoriell, drei Centerpoints, elf Versuchspunkte gesamt. Centerpoints sind Versuche in der Mitte des Versuchsraums; sie zeigen, wie stark der Prozess bei identischer Einstellung streut. Jede Einstellung wurde fünfmal wiederholt – randomisiert, nicht nacheinander. Das schützt vor systematischen Fehlern, die entstehen, wenn Maschine, Material oder Umgebung sich schleichend verändern.

So weit ein solider Ansatz.

Das erste leise Signal – die Centerpoints

Heinz hatte die Mittelwerte je Versuchspunkt berechnet und daraus ein Modell abgeleitet. Die Amplitude dominierte den Effekt, die Kennzahlen stimmten, der Observed-vs.-Predicted-Plot zeigte die Punkte nahe der Diagonalen.

Overview Plot des Mittelwert-Modells in MODDE: hohe Modellgüte, Amplitude als stärkster Effekt
Abbildung 1: Overview Plot ZugPrf_MW – MLR-Modell auf Basis der Mittelwerte (MODDE 13.1)

Wer diesen Plot sieht, denkt: Das funktioniert.

Aber Heinz hatte genau hingeschaut. Die Mittelwerte der drei Centerpoints – identische Einstellungen – lagen bei 281 N, 271 N und 258 N. Eine Spanne von 23 N bei exakt gleichen Parametern.

Das ist kein Ausreißer. Das ist ein Signal.

Ein Prozess, der bei identischer Einstellung um 23 N schwankt, trägt eine Streuquelle in sich, die nicht in den Faktoren steckt. Heinz hatte das gespürt – aber noch nicht einordnen können. Deshalb hatte er mich kontaktiert.

Warum Mittelwerte in der Regression trügen

Wiederholungsversuche sind richtig und wichtig. Heinz hatte das instinktiv verstanden und jeden Versuchspunkt fünfmal randomisiert wiederholt.

Der nächste Schritt war der entscheidende – und er ist häufiger, als man denkt.

Heinz berechnete aus den fünf Wiederholungen einen Mittelwert je Versuchspunkt. Dann verwendete er diese elf Mittelwerte als Basis für seine Regression. Das Ergebnis: ein Modell, das auf geglätteten Daten gerechnet wurde.

Die echte, prozessimmanente Streuung war damit aus den Daten verschwunden. Das Modell kannte sie nicht. Die Effekte selbst bleiben dabei gleich groß – was verschwindet, ist ihre Unsicherheit. Und ein Modell, das die Streuung nicht kennt, beschreibt eine Welt, die es so nicht gibt.

Der Blick hinter die Mittelwerte

„Hast Du auch die Einzelwerte dabei?“, fragte ich.

Heinz hatte sie. Alle fünf Wiederholungen je Versuchspunkt – 55 Messwerte insgesamt. Wir luden sie gemeinsam in MODDE und ergänzten die Auswertung um drei Darstellungen in Excel.

Drei Excel-Diagramme: 55 Einzelwerte ohne erkennbare Struktur, geglättete Mittelwerte und breite, überlappende Boxplots je Versuch
Abbildung 2: Einzelergebnisse Zugfestigkeit (Scatter), Versuchsmittelwerte und Boxplot je Versuchspunkt (Excel)

Der Scatter Plot zeigt die 55 Einzelwerte – ohne Struktur, ohne erkennbare Trennung zwischen den Versuchen. Der Mittelwertplot daneben zeigt dieselben Daten geglättet: ordentlich, fast beruhigend. Und der Boxplot zeigt, was dahintersteckt: breite Verteilungen, die sich von Versuch zu Versuch stark überschneiden.

Wer nur den Mittelwertplot sieht, sieht eine Ordnung, die in den Rohdaten nicht existiert.

Was dann erschien, war ein anderes Bild

Overview Plot des Einzelwert-Modells in MODDE: überlappende Replikate, negatives Q², nur die Amplitude knapp nachweisbar
Abbildung 3: Overview Plot ZugPrf_EW – Modell auf Basis der 55 Einzelwerte (PLS mit einer Komponente, hier gleichwertig zur MLR; MODDE 13.1)

Die Ergebniswolken im Replicates-Plot überschnitten sich stark. Wer die niedrige und die hohe Amplitude vergleichen wollte, fand keine klare Trennung – sondern zwei breite Verteilungen, die weit ineinander ragten.

Der Koeffizientenplot bestätigte diesen Eindruck. Nur die Amplitude ist noch knapp vom Rauschen zu trennen: Ihr Konfidenzintervall bleibt gerade oberhalb der Null. Die Intervalle von Schweißdruck, Triggerdruck und der Wechselwirkung schließen die Null deutlich ein.

Erkenntnis

Ein Effekt, der im Rauschen versinkt, ist kein messbarer Effekt.

Und dann der Summary of Fit: Das Modell erklärt nur gut ein Zehntel der Streuung (R² ≈ 0,13), und Q² – das Maß für die Vorhersagekraft – ist negativ.

Zur Kontrolle haben wir die 55 Einzelwerte zusätzlich mit einer klassischen multiplen linearen Regression (MLR) ausgewertet. Das Ergebnis ist dasselbe: identische Koeffizienten, R² ≈ 0,14, Q² wieder negativ. Die schwache Aussage liegt also nicht an der Methode, sondern an den Daten.

Das ist keine schlechte Note. Das ist eine Disqualifikation!

Ein negatives Q² bedeutet: Das Modell trifft schlechtere Vorhersagen als der bloße Gesamtmittelwert aller Messwerte. Es wäre besser, einfach immer denselben Durchschnittswert zu tippen, als diesem Modell zu vertrauen. Sinnvolle Vorhersagen oder Optimierungsaussagen lassen sich daraus nicht ableiten.

Heinz schaute auf den Plot. Dann sagte er: „Das sieht nicht gut aus.“

Ich nickte: „Nein. Aber es ist ehrlich.“

Die Mittelwerte hatten eine ordentliche, beruhigende Geschichte erzählt. Die Einzelwerte erzählten die Wahrheit.

Warum ist das so? Drei mögliche Erklärungsversuche

Das Rauschen kommt selten aus einer einzigen Quelle. Bei Heinz waren vermutlich alle drei der folgenden Ursachen beteiligt – in unterschiedlichem Ausmaß.

Mindmap mit drei Erklärungen für nicht erklärbare Variation: Fenster zu klein, Fenster zu groß, Störgrößen außerhalb der Kontrolle
Abbildung 4: Nicht erklärbare Variation – drei Erklärungen

Erklärungsversuch 1 – Das Variationsfenster war zu klein

Die Amplitude wurde von 20 auf 40 µm variiert. Der mittlere Effekt auf die Zugfestigkeit betrug rund 28 N. Die Standardabweichung der fünf Wiederholungen lag je Versuchspunkt bei 30–45 N, im Mittel bei 38 N – zwischen dem schwächsten und dem stärksten Wert eines Versuchspunkts lagen sogar 70–115 N.

Das Signal war real – aber leiser als das Rauschen. Wenn der Effekt kleiner ist als die natürliche Streuung des Systems, kann kein Modell ihn sauber herausarbeiten. Ein erweitertes Variationsfenster – vorsichtig, kontrolliert – könnte hier Klarheit schaffen.

Erklärungsversuch 2 – Das Variationsfenster war zu groß

Der umgekehrte Fall ist ebenso tückisch. Zu weite Variation kann gleich zwei Probleme erzeugen.

Erstens: Proben oder Bauteile lassen sich an den Extrempunkten nicht mehr mit gleicher Qualität herstellen oder messen. Die Streuung steigt dann nicht wegen des Prozesses – sondern wegen der Messung selbst. Auch bei Heinz deutet sich das an: Bei 40 µm Amplitude lag die Standardabweichung der Wiederholungen bei 37–46 N, bei 20 µm nur bei 29–38 N.

Zweitens: Ein zu großes Fenster kann dazu führen, dass der Effekt eines Faktors im gewählten Bereich nicht mehr linear verläuft. Das lineare Regressionsmodell setzt jedoch genau das voraus. Tritt eine Krümmung auf, versucht das Modell, eine Kurve mit einer Geraden zu beschreiben – und scheitert. Der Effekt ist real, aber das Modell kann ihn nicht abbilden. Er erscheint als Rauschen.

Ein zu großes Fenster produziert manchmal mehr Rauschen als Erkenntnis – und mehr Fragen als Antworten.

Erklärungsversuch 3 – Störgrößen außerhalb der Kontrolle

Das ist die häufigste – und oft unangenehmste – Erklärung. Der Prozess streut nicht wegen der variierten Faktoren, sondern wegen Einflüssen, die gar nicht im Versuchsplan stehen.

Bei Zugprüfungen sind solche Quellen gut bekannt:

  • Einspannungsdifferenzen – minimale Abweichungen in der Probenausrichtung erzeugen Normalspannungsanteile, die die gemessene Zugfestigkeit verfälschen
  • Materialchargenschwankungen – unterschiedliche Kunststoffchargen bringen unterschiedliche Ausgangseigenschaften mit
  • Schweißgeometrie – kleinste Abweichungen in der Bauteilpositionierung beeinflussen die Energieeinleitung
  • Umgebungseinflüsse – Temperatur, Luftfeuchte, Maschinenzustand zum Zeitpunkt der Messung

Diese Quellen streuen unabhängig davon, welche Faktoreinstellung gerade getestet wird. Sie überlagern die eigentlichen Effekte – und machen das Modell blind für das, was es eigentlich sehen soll.

Ein Ergebnis ist ein Ergebnis

Erkenntnis

Im Versuch hatte Heinz alles richtig gemacht. Der Fehler steckte in der Auswertung – und den haben wir gemeinsam gefunden. Sein DoE hatte geliefert, nur nicht das, was er erwartet hatte: eine ehrliche Bestandsaufnahme.

Ein Ergebnis ist kein Urteil. Es ist kein Scheitern und kein Erfolg. Es ist eine Aussage über den Zustand, wie er ist – zum Zeitpunkt der Messung, mit den gewählten Faktoren, unter den herrschenden Bedingungen.

Wer das versteht, hört auf, Ergebnisse schönzureden. Und fängt an, sie zu lesen.

Für Heinz bedeutete das drei konkrete nächste Schritte:

  1. Variationsfenster prüfen – ist der Bereich groß genug, damit der Effekt das Rauschen übersteigt?
  2. Messsystem analysieren – wie reproduzierbar ist die Zugprüfung allein, ohne Schweißprozess?
  3. Störgrößen suchen – strukturiert, mit Ishikawa-Diagramm oder Brainwriting im Team, bevor der nächste Versuchsplan startet.

Denn das Beste, was ein DoE-Ergebnis leisten kann, ist manchmal nicht die Antwort. Sondern die richtige Folgefrage.

Wissen to Go

  • Einzelwerte statt Mittelwerte modellieren: Mittelwerte glätten die Streuung weg – das Modell wirkt besser, als der Prozess ist.
  • Q² ernst nehmen: Ein negatives Q² heißt, das Modell sagt schlechter voraus als der Gesamtmittelwert.
  • Effekt gegen Rauschen stellen: Ist der Effekt kleiner als die Streuung bei identischer Einstellung, hilft kein Modell – erst Fenster, Messsystem und Störgrößen klären.

Häufige Fragen – testen Sie Ihr Wissen

Einsteiger Warum wiederholt man Versuche überhaupt?

Weil jeder Prozess und jede Messung streut. Erst Wiederholungen bei gleicher Einstellung zeigen, wie groß diese Streuung ist – und damit, ob ein Unterschied zwischen zwei Einstellungen echt ist oder Zufall.

Anwender Darf ich für ein DoE-Modell die Mittelwerte der Wiederholungen verwenden?

Für einen ersten Überblick ja, für die Bewertung nein. Die Effekte bleiben gleich groß, aber die Streuung verschwindet aus dem Modell. R², Q² und Konfidenzintervalle wirken dann besser, als der Prozess ist. Für die Auswertung gehören die Einzelwerte ins Modell.

Anwender Was tun, wenn das Rauschen größer ist als der Effekt?

Erst die Ursachen klären, dann neu planen: prüfen, ob das Variationsfenster passt, das Messsystem separat analysieren und Störgrößen strukturiert suchen, etwa mit einem Ishikawa-Diagramm.

Experte Was bedeutet ein negatives Q², und spielt PLS oder MLR dabei eine Rolle?

Q² misst die Vorhersagekraft über Kreuzvalidierung. Ist es negativ, sagt das Modell schlechter voraus als der Gesamtmittelwert – es ist für Vorhersage und Optimierung unbrauchbar. Bei orthogonalen Designs liefern MLR und PLS mit einer Komponente praktisch dieselben Koeffizienten; ein negatives Q² ist dann ein Datenproblem, kein Methodenproblem.

Beitrag als PDF herunterladen

Stefan Moser

Stefan Moser
Trainer und Berater für Versuchsplanung (DoE), MVDA und DFSS

Mehr aus Ihren Prozessen herausholen?

Sie wissen nicht weiter – oder wollen einfach mal gemeinsam auf Ihre Daten schauen? Dann melden Sie sich. Kollegial, unverbindlich, auf Augenhöhe.

Ob DoE-Einstieg oder knifflige Spezialthemen wie Screening, Robustheit, Mischungen oder Troubleshooting – ich begleite Sie praxisnah: mit Trainings, Beratung und methodischer Unterstützung, vom ersten Workshop bis zur Umsetzung. Auch bei MVDA, DFSS oder QFD stehe ich gern an Ihrer Seite.

Bleiben Sie experimentierfreudig! – Stefan Moser

Erfahrungen & Bewertungen zu Stefan Moser Process Optimization