[B] V9 - Durchführung einer Simulationsstudie

• Zielbeschreibung / Aufgabenspezifikation

• Modellbildung

• Datenbeschaffung und -aufbereitung

• Experimentplanung und -durchführung

• Experimentauswertung, Verifikation und Validierung

• Phase zu Beginn eines Simulationslaufes ist nicht immer repräsentativ für den laufenden Prozess

  • Aufgrund nicht repräsentaiver Startbedingungen (bspw. leere Produktionslinie)

• Startphase wirkt sich dennoch auf die Ergebnisgrößen aus

• Folge => verfläscht Ergebnisgrößen wie bspw. etwaige Statistiken

• Aufgrund nicht repräsentaiver Startbedingungen (bspw. leere Produktionslinie)

• Voraussetzungen => kein eindeutig definierbarer Startzustand des betrachteten Systems vorhanden und damit kein einfach definierbarer Startzustand des zugehörigen Modells

• Zur Bestimmung der Einschwingzeit werden Ergebnisgrößen beobachtet, die zur Simulationszeit im zeitlichen Verlauf gemessen werden

• Annahme => Das betrachtete Modell erreicht nach einer gewissen Zeit einen eingeschwungenen Zustand

  • In diesem Zustand wird der beobachtete Mittelwert einer Ergebnisgröße einen nahezu stabilen Wert annehmen

  • Mittelwert => Wurde als Zeitreihe erhoben wurde

• Ergebnisgrößen, die zur Simulationszeit im zeitlichen Verlauf gemessen werden

• Beobachten der Ergebnisgrößen, die zur Simulationszeit im zeitlichen Verlauf gemessen werden

  • Entwicklung einer Ergebnisgröße als Reihe von n Messwerten

  • Wichtig ist dabei die zeitliche Bezugsgröße, mit der die Messwerte erhoben werden

• Annahme => Das betrachtete Modell erreicht nach einer gewissen Zeit einen eingeschwungenen Zustand

  • In diesem Zustand wird der beobachtete Mittelwert einer Ergebnisgröße einen nahezu stabilen Wert annehmen

  • Mittelwert => Wurde als Zeitreihe erhoben wurde

Alle Messwerte aus der Einschwingphase werden „abgeschnitten “, d. h. bleiben bei der Auswertung unberücksichtigt.

Durch abschneiden aller Messwerte aus der Einschwingphase (d. h. Messwerte bleiben bei der Auswertung unberücksichtigt) kann folgendes erreicht werden

• Repräsentative Ergebnisse

• relativ Stabile Mittelwerte

• In der Literatur findet sich eine Reihe von Ansätzen zur Abschätzung der Dauer der Einschwingphase:

  • Methode nach Welch

  • Regal nach Conway

  • MSER-5 (Marginal Standard Error Rule-5)

  • SPC-Method

  • Randomization Test

  • Crossing of the Means Rule

• Basis dieser Methoden bildet immer die Entwicklung einer Ergebnisgröße als Reihe von n Messwerten

• Graphische Beurteilung des gleitenden Durchschnittes

• Entscheidungsregel => Sobald der gleitende Durchschnitt sich nicht mehr erheblich verändert (steigt oder fällt), ist die Einschwingphase beendet

• Graphische Beurteilung des gleitenden Durchschnittes

• Es wird ein Paramter 𝑤 festgelegt, der die Größe des Intervalls für den gleitenden Durchschnitt festlegt => Interval = 𝑖 +/- 𝑤

  • Ausnahme => Ersten 𝑤 Werte der Reihe, die aufgrund der geringeren Anzahl Werte links vom aktuellen 𝑖 auf Basis einer jeweils kleineren Wertemenge ermittelt werden

• Gleitender Durchschnitt => Es werden immer die Werte von (𝑖–𝑤) bis (𝑖+𝑤) aus der Gesamtzahl 𝑛 der Werte zu einem Durchschnittswert zusammengefasst

• Entscheidungsregel => Sobald der gleitende Durchschnitt sich nicht mehr erheblich verändert (steigt oder fällt), ist die Einschwingphase beendet

• Wahl von 𝑤 beeinflusst maßgeblich das Ergebnis

• Zeitpunkt ist nicht eindeutig bestimmbar durch grafische Ablesemethode

• Das Ende der Einschwingphase ist dann erreicht , wenn der aktuelle Wert der Reihe weder das Minimum noch das Maximum der „restlichen“ Reihe darstellt darstellt

• Durch Betrachtung von Minimum / Maximum kann ein einzelner Wert ausschlaggebend für das Ergebnis sein

• Führt häufig zu einer Unterschätzung der Einschwingphase

  • Einschwingphase wird deutlich zu kurz gewählt

• Algorithmus zum finden des Punktes in einer Datenreihe an dem der Standardfehler der Daten minimal ist

• Basiert auf Batchdaten (Batchgröße 5)

• Ausgehend von der Summe der quadrierten Abweichungen vom Erwartungswert der Replikation 𝑗 wird der optimale Abschneidepunkt 𝑑(𝑗) bestimmt

• Der Abschneidepunkt ist ungültig, wenn er in der zweiten Hälfte der Daten liegt

  • In diesem Fall werden mehr Daten erzeugt und analysiert, bis ein Abbruchpunkt innerhalb der ersten Hälfte der Datenreihe gefunden wird

• Methoden leiten die Dauer der Einschwingphase nicht sicher ab

  • Modelle können temporär stabile Zustände einnehmen, obwohl die Einschwingphase noch nicht beendet

  • Folge => Gefahr, dass ein Zwischenzustand als eingeschwungener Zustand bewertet und damit die Einschwingphase zu kurz gewählt wird

• Wahl der betrachteten Ergebnisgröße kann Einfluss auf die ermittelte Dauer

  • Verschiedene Messgrößen könn u.U. zu unterschiedlichen Zeitpunkten auf einen eingeschwungenen Zustand hindeuten.

• Lösung => Mehrere Messgrößen betrachten, mehrere Methoden vergleichen und zur Not eine längere Einschwingphase wählen

• Mehrere Messgrößen betrachten, mehrere Methoden vergleichen und zur Not eine längere Einschwingphase wählen

• Simulationsdauer einzelner Läufe kann wie folgt definiert sein

  • dynamisch durch ein bestimmtes Endereignis

  • statisch durch ein zeitbezogenes Ereignis

• Mit Festlegung der Simulationsdauer ist nicht gesagt, wie viele Messwerte während eines Laufes erhoben werden.

• Im einfachsten Fall wird mit jedem Lauf ein Messwert für eine betrachtete Ergebnisgröße generiert.

  • Anzahl der Replikationen entspricht dann der Anzahl der Messwerte

• Es können aber auch mehrere Messwerte innerhalb eines Laufes als Zeitreihe erhoben werden , wenn diese Werte aus einzelnen Abschnitten dieses Laufes gemessen werden.

• Die erhobenen Messwerte sind aus der Sicht der Statistik Ergebnisse einer Stichprobe.

• Bei Unabhängigkeit der Messwerte reicht ein Simulationslauf mit der gewünschten statistischen Ergebnisgenauigkeit

• Verwendung der relativen Abweichung

• Verwendung von Konfidenzintervallen

• Verwendung der relativen Abweichung vom Erwartungswert

• Ziel => Rrelative Abweichung des Erwartungswerts einer Ergebisgröße (bspw. der Mittelwert des Durchsatzes) soll zu zwei festgelegten Zeitpunkten nicht mehr als ein festeglegtes epsilon (ε) auseinanderliegen

  • Die Zeitspanne / Abstand zwischen zwei Zeitpunkten ist vorher festzulegen

• Problematik => Wahl von Zeitspanne und epsilon beeinflussen maßgeblich Ergebnis

  • Zeitpanne darf nicht zu klein gewählt werden!

• Ziel => Linke (Mittelwert - b) und rechte Grenze (Mittelwert + b) des Konfidenzintervalls sollen nicht mehr als 2*𝑎 auseinanderliegen

  • b (tatsächliches Konfidenzintervall) wird bestimmt über einen Simulations(vor-)lauf

• Bestimmung der Anzahl an unabhängigen Stichprobenwerten n2 und damit der Simulationszeit die benötigt wird, damit das gewünschte Konfidenzintervall 2*a erreicht wird

• Autokorrelation

• Voraussetzung für die Berechnung von Konfidenzintervallen => Stichprobenwerte identisch verteilt (gleicher Zeitabstand) aber unabhängig

• Einzelnen Stichprobenwerte sind aber in vielen Fällen autokorreliert

• Lösung => Mehrfache Durchführung eines Simulationslaufs mit unterschiedlichen Zufallszahlenströmen (Seeds)

• Problem => Die Simulationszeit, die notwendig ist, um die gewünschte Genauigkeit von Ergebnisgrößen zu erreichen, kann insbesondere wenn die Einschwingphase lang ist relativ groß sein sein

  • Der (zeitliche) Aufwand zur mehrfachen Wiederholung von Läufen wird hoch

Verwendung von Konfidenzintervallen zur Bestimmung der Anzahl an Replikationen

• Für 𝑛 ≤ 30 liefert die Student-t-Verteilung bessere Approximationen als die Normalverteilung

• Falls die berechnete Intervallbreite zu groß ist, muss die Anzahl der Simulationsläufe 𝑛 erhöht werden.

• Die Wahl der betrachteten Ergebnisgröße kann einen großen Einfluss auf die ermittelte Simulationsdauer haben.

• Es kann eine Messgröße deutlich früher als eine andere Messgröße terminieren bzw. weniger Replikationen erzeugen.

• Unter Umständen macht es Sinn verschiedene Ergebnisgrößen zu betrachten und nur zu terminieren wenn für alle Größen das Stoppkriterium erfüllt ist

• Schlussfolgerung => Es sollten verschiedene Messgrößen betrachtet und im Zweifel lieber eine etwas zu lange Dauer bzw. Anzahl an Replikationen gewählt werden.

• Es gibt keine vorgefertigten Methoden zum Abschneiden der Einschwingphase und zur Bestimmung der Simulationsdauer in AnyLogic

• Die allgemeinen Methoden können verwendet werden.

  • Für Graphische Lösungen

    • „Time Plot“ kann zur Visualisierung verwendet werden.

  • Messwerte können in der Konsole oder in einer Excel File ausgegeben und ausgewertet werden

  • Iterative Heuristiken können in eine Funktion implementiert und über ein Event zyklisch geprüft werden.

• Bspw. über ein Event mit folegnder ActioN:

  • statistics_name.reset reset()

• Parameter Variation Experiment

  • Über „Additional experiment stop conditions” könenn Abbruchkriterien eingefügt werden

• Über Befehle

  • finishSimulation()

  • stopSimulation()

  • getEngine().finish()

  • getEngine().stop()

  
  

• finishSimulation()

• stopSimulation()

• getEngine().finish()

• getEngine().stop()

• Über „Additional experiment stop conditions “ können Abbruchkriterien eingefügt werden

• Über Parameter Variation Experiment

• Zwei Möglichkeiten:

  • Fixed number of replications

  • Varying number of replications

• Stoppen der Replikationen nach einer Mindestanzahl von Replikationen, wenn das Konfidenzniveau erreicht ist

• OptQuest-Engine bricht die Auswertung einer Lösung ab, wenn einer der folgenden Fälle eintritt

  • Der Zielwert liegt innerhalb eines bestimmten Prozentsatzes vom Mittelwert der bisherigen Replikationen.

  • Der aktuelle Replikationszielwert konvergiert nicht.

  • Die maximale Anzahl von Replikationen wurde durchgeführt

• Problematik: Genaue Berechnungsgrundlage und verwendete Verteilung (Normal oder t Verteilung) nicht bekannt => Überprüfung der Ergebnisgüte empfohlen!

• Der Zielwert liegt innerhalb eines bestimmten Prozentsatzes vom Mittelwert der bisherigen Replikationen.

• Der aktuelle Replikationszielwert konvergiert nicht.

• Die maximale Anzahl von Replikationen wurde durchgeführt

• Beschreibt allgemein einen Simulationslauf

  • also ein einmaliges Durchführen einer Simulation

  • einmaliges drücken auf Run bei einem Simulation Experiment)

• Mehrere Durchläufe beschreiben somit das mehrmalige Durchführen einer Simulation

  • mehrmaliges drücken auf Run bei einem Simulation Experiment

• Ob die Inputparameter in mehreren Durchläufen gleich oder variiert werden ist nicht durch den Begriff Durchlauf definiert.

• Wiederholen eines Simulationslaufs mit den gleichen Inputparametern

• Dies macht nur bei stochastischen Modellen mit zufälligem Seed Sinn

  • Stochastisches Modell hat interne Zufallsquellen => Jeder Durchlauf selbst mit den gleichen Parametern kann eine andere Ausgabe ergeben

  • Daher => Bei stochastischen Modellen sind je Versuch mehrere Läufe notwendig

• Verwendung von Kofidenzintervallen zur Bestimmung der ANzahl an Replikationen