DoE-Happen #61: „Der Katalysator ist nicht signifikant – also lassen wir ihn weg.“
1. Einstieg – Alltag, Denkfalle, Situation
„Der Katalysator ist nicht signifikant – also lassen wir ihn weg.“
Ein Satz, der in so manchem Auswerte-Meeting fällt. Verständlich. Denn wenn in einem Screening-Design der Effekt eines Faktors nicht über der Signifikanzgrenze liegt, wirkt das wie ein klarer Hinweis:
keine Wirkung → keine Relevanz → Kosten sparen.
Vielleicht etwas überspitzt dargestellt – ähnlich wie in dem bekannten Sparkassen-Werbespot mit den Fähnchen, an den Sie sich möglicherweise erinnern.
Aber was, wenn genau dieser Eindruck trügt?
2. Kontext – Woher wir diese Situation möglicherweise kennen
In vielen Formulierungs- und Prozessentwicklungen arbeiten wir mit Additiven, die eine bestimmte Wirkung entfalten sollen – aber eben nicht linear. Besonders Katalysatoren sind dafür ein Paradebeispiel:
- Unterhalb einer bestimmten Dosierung: keine erkennbare Wirkung
- Darüber hinaus: plötzlicher Anstieg der Reaktionsgeschwindigkeit
- Ab einem gewissen Punkt: Sättigung – mehr bringt nichts außer Mehrkosten
Analysieren wir solche Systeme mit einem klassischen vollfaktoriellen Screening-Design (lineare Effekte plus Wechselwirkungen), wird es schnell eng – für die Signifikanzgrenze und für die richtige Interpretation.
3. Fallbeispiel – unser Versuch mit Kat, Kettenverlängerer und Polymer
In einem bewusst einfachen Demonstrationsbeispiel wurde ein 2-Faktor-Design aufgesetzt – plus einer konstanten Polymerbasis:
- Polymer-Basis: 100 Teile (konstant)
- Kettenverlängerer: linear wirksam (Expertise des Kunden)
- Katalysator: nichtlinear wirksam, jedoch laut Kunden im zielführenden Bereich variiert
Ziel: Die Einstellung einer optimalen Viskosität für einen mehrstufigen Prozess (Mischen, Vernetzen, Abfüllen).
Der Versuchsplan umfasst:
- klassische Eckpunkte (Corner Experiments),
- Centerpoints zur Reproduzierbarkeitsprüfung,
- sowie später ergänzende Versuchspunkte.
Ein übersichtliches, aber bewusst reduziertes Setup.
4. Erste Analyse – Main Effect Plot und Signifikanzbetrachtung
Wird das aktuelle Design (zunächst nur Screening Versuche 1–7) mit einer linearen Regression inklusive Wechselwirkungen ausgewertet, ergibt sich ein scheinbar paradoxes Bild:
Doch warum? Weil das Modell den nichtlinearen Schwellencharakter der Katalysatorwirkung nicht erfassen kann.
5. Der Main Effect Plot – wo das lineare Modell in die Irre führt
Der Main Effect Plot für den Katalysator zeigt sehr anschaulich, wo das lineare Modell an seine Grenzen stößt:
- Blauer Bereich (Kat = 2,5): Die Katalysatorzugabe liegt unterhalb der Wirkschwelle. Die Reaktion bleibt aus – und damit auch der Effekt des Kettenverlängerers.
👉 Die Viskosität bleibt niedrig, obwohl der KV variiert wird.
- Rosa Bereich (zwischen 2,5 und 3,75): Hier liegt ein methodischer Graubereich vor: Das Design enthält nur zwei echte Stützpunkte (niedrig und hoch) sowie einen Centerpoint, bei dem alle Faktoren gleichzeitig auf dem mittleren Niveau liegen.
👉 Der Übergang zwischen „keine Wirkung“ und „volle Wirkung“ kann so nicht exakt lokalisiert werden.
- Gelber Bereich (ab Kat = 3,75): Ab hier ist ausreichend Katalysator vorhanden, um die Vernetzungsreaktion in Gang zu setzen. Jetzt wird auch der Effekt des Kettenverlängerers sichtbar – und die Viskosität steigt deutlich.
👉 Die reale Dynamik beginnt in diesem Bereich – wird vom linearen Modell aber nicht korrekt abgebildet.
Die Regression erkennt das nicht, weil sie den Unterschied zwischen niedrig und hoch als linearen Trend interpretiert – der hier einfach nicht gegeben ist.
Zur Modde-Grafik – Plot für Plot kurz erklärt:
🔹 Replicates – Viskosität (oben links) : Zeigt die Reproduzierbarkeit an den Centerpoints (Versuche 5–7) – mit guter Konsistenz bei ~45–47. 👉 „Die Wiederholungen sind stabil – das Messsystem liefert zuverlässige Werte.“
🔹 Summary of Fit (oben rechts): R² ist mittelmäßig, Q² sogar negativ – das Modell ist rechnerisch da, aber nicht brauchbar zur Vorhersage. 👉 „Das Modell beschreibt die gemessenen Daten nur teilweise und versagt bei der Vorhersage.“
🔹 Coefficients (unten links): Nur der Kat-Effekt ist klar sichtbar – KV und WW zeigen keine Signifikanz, da deren Wirkung ohne ausreichenden Kat nicht zum Tragen kommt. 👉: „Der Katalysator sticht heraus – aber das Modell repräsentiert die eigentliche Dynamik nicht.“
🔹 Observed vs. Predicted (unten rechts): Deutliche Abweichungen von der Ideal-Diagonale – besonders bei Versuchen mit KV-Effekt. 👉 „Das Modell unterschätzt systematisch die Viskosität, sobald die Reaktion tatsächlich läuft.“
Was das Modell (noch) nicht kann – und wie wir es verbessern
In der ersten Modellversion (linker Plot) wird der Zusammenhang durch eine lineare Regression beschrieben. Dabei verbindet das Modell die Stützpunkte „niedrig“ und „hoch“ zwangsläufig mit einer Geraden.
- Diese Gerade überdeckt jedoch einen Effekt, der in Wirklichkeit nicht kontinuierlich, sondern schwellenartig verläuft.
- Der breite Vertrauensbereich macht deutlich, dass das Modell den tatsächlichen Verlauf nur sehr unsicher beschreibt.
- Der Grund dafür ist einfach: Der Katalysator wirkt nicht linear. Er entfaltet seine Wirkung erst ab einer bestimmten Mindestdosierung und geht bei höheren Mengen in eine Sättigung über.
Die Lösung: Mehr Struktur im Design
Durch die Erweiterung des Designs um zusätzliche mittlere Punkte – etwa in Form eines CCF-Designs (Central Composite Face-Centered) – kann das Modell diese Nichtlinearität erfassen.
Das Ergebnis:
- Die Regressionskurve folgt dem realen Reaktionsverlauf besser.
- Der Vertrauensbereich wird deutlich schmaler.
- Der Effekt des Kettenverlängerers wird sichtbar, weil nun klar ist, ab wann die Reaktion überhaupt stattfindet.
Im rechten voranstehenden Plot wurde das Design erweitert – mit zusätzlichen mittleren Punkten, wie sie z. B. ein CCF-Design (Central Composite Face-Centered) enthält. Dadurch erkennt das Modell den nichtlinearen Verlauf und kann die Katalysatorwirkung realitätsnäher beschreiben.
👉 Das Ergebnis im Main Effect Plot rechts:
- Die Kurve passt sich dem echten Reaktionsverlauf besser an.
- Der Vertrauensbereich wird deutlich schmaler.
- Der Effekt des KV wird sichtbar, weil jetzt klar wird, wann die Reaktion überhaupt stattfinden kann.
Modellgüte nach der Design-Erweiterung
Nach der Ergänzung der Versuche zeigt sich ein deutlich anderes Bild:
- R² und Q² sind nun hoch – das Modell passt und ist prädiktiv.
- Im Coefficient Plot werden alle relevanten Effekte sichtbar, inklusive Wechselwirkungen.
- Der Replicate Plot bleibt unverändert – er zeigt Rohdaten, nicht Modellqualität.
Grenzen des Modells – und warum das völlig in Ordnung ist
Auch nach der Erweiterung bleibt klar: Ein Modell ist nie die Realität – sondern immer nur ein Abbild davon.
Modell = Realität + Unsicherheit + Reduktion
Ein DoE-Modell bildet ganz bewusst einen Ausschnitt der Realität ab – so kompakt wie möglich, so informativ wie nötig.
Natürlich ließe sich der Verlauf mit noch mehr Versuchen detaillierter darstellen – etwa als saubere S-Kurve mit vielen Stützpunkten.
Aber: Mehr Wissen ist nicht automatisch besser.
Denn irgendwann stellt sich die Frage:
- Bringt uns dieses zusätzliche Detailwissen im Projekt „wirklich“ weiter?
- Und rechtfertigt es den Aufwand, die Zeit, die Ressourcen?
Diese Entscheidung ist nicht statistisch, sondern strategisch. Und sie lässt sich meist nur im konkreten Projektkontext sinnvoll beantworten.
5. Erkenntnis – Was wir daraus lernen können
Ein nicht signifikanter Effekt ist nicht automatisch irrelevant.
Er kann durch Nichtlinearität, Schwellenwerte oder unpassende Designs verdeckt sein – gerade bei chemischen Systemen.
Wer hier zu früh streicht oder aufgibt, verschenkt oft Optimierungspotenzial.
6. Reflexionsfrage an Sie:
👉 Haben Sie selbst schon erlebt, dass ein scheinbar „irrelevanter“ Faktor später doch entscheidend wurde? Wie gehen Sie in solchen Fällen mit Modellierung und Versuchsplanung um? …. Vielleicht war dieser Fall c) aus Blog #58 ja ein Aha-Moment für Sie. Dann freue ich mich über Feedback oder einen Kommentar – wo hat es bei Ihnen Klick gemacht?
Und ein kleines Highlight zum Schluss
Nach intensiver Vorbereitung habe ich alle bisherigen DoE-Beiträge in unsere neue LinkedIn-Gruppe übertragen. So haben alle DoE-Interessierten nun einen zentralen Ort, an dem auch ältere Inhalte leicht auffindbar sind, neue Themenvorschläge eingebracht werden können und der fachliche Austausch rund um Design of Experiments weiter wächst.
Im Abstand von etwa 1–2 Wochen erscheinen dort neue Blogbeiträge aus meiner DoE-Reihe. Ich freue mich besonders auf den Austausch in der Gruppe, eure Erfahrungen, Fragen und lebendige Diskussionen.
Ich lade euch herzlich ein, der neuen Gruppe beizutreten:
Mehr aus Ihren Prozessen rausholen?
Ob DoE-Grundlagen oder Spezialthemen wie Troubleshooting, Screening, Optimierung, Mischungsdesigns oder Robustheit – ich unterstütze Sie mit praxisnahen DoE-Trainings, gezielter Beratung und methodischer Begleitung. Auch bei MVDA, DFSS und QFD bin ich an Ihrer Seite – vom ersten Workshop bis zur robusten Umsetzung.
