Sprungmarken

Servicenavigation

Hauptnavigation

Sie sind hier:

Hauptinhalt

Benchmarkdaten

Benchmarking

Benchmarks sind für die Neu- und Weiterentwicklung von Verfahren sehr wichtig, weil sie einen objektiven Vergleich zwischen verschiedenen Ansätzen ermöglichen. Benchmarking beruht auf den drei Grundregeln der Validierbarkeit, Reproduzierbarkeit und Vergleichbarkeit von Ergebnissen.

  • Validierbarkeit beinhaltet eine standardisierte, statistisch abgesicherte Vorgehensweise welche gewährleistet, dass die erzielten Resultategültig sind und keine zufällig oder durch eine falschen Entwurf des Experiments zustande gekommenen Zufallsprodukte darstellen.
  •  Reproduzierbarkeit bedeutet eine klare Spezifikation aller Aspekte des Experiments welche es anderenWissenschaftlern ermöglicht die Untersuchung zu wiederholen und prinzipiell zu denselben Resultaten zu gelangen. Dies bedarf insbesondere der allgemeinen Verfügbarkeit der dem Experiment zugrundeliegenden Benchmarkdaten oder -probleme, idealerweise aber auch der algorithmischen Implementierung.
  • Vergleichbarkeit beinhaltet die direkte Gegenüberstellung der Ergebnisse unterschiedlicher Veröffentlichungen ohne die Notwendigkeit selber Experimente aller Forschergruppen zu wiederholen. Vergleichbarkeit setzt identische experimentelle Rahmenbedingungen hinsichtlich der Daten und statistischen Analyse voraus. Daher sollten sich möglichst alle Gruppen an einer etablierten experimentellen Vorgehensweise ausrichten und nur in wohlbegründeten Fällen davon abweichen.

Für alle Problemstellungen, sei es Klassifikation, Funktionsapproximation oder Systemidentifikation gelten folgende Entwurfshinweise:

  • Häufig wird die Notwendigkeit für die Entwicklung neuer Verfahren über kompliziertere Anwendungen mit speziellen Eigenschaften begründet. Auch in diesen Fällen sollte aber gezeigt werden, welche Ergebnisse die neuen Verfahren auf einfacheren Benchmarkdatensätzen oder -problemen zeigen. Sie sollten dort zumindest vergleichbar zu Standardverfahren abschneiden. Zudem sollten existierende Standardverfahren auf die Datensätze der komplizierteren Anwendung angewendet werden, um ihre Grenzen zu zeigen. Am besten ist es, wenn die Daten oder Systeme der komplizierteren Anwendung als neuer Benchmark gemacht werden. Eine solche Vorgehensweise erhöht die Akzeptanzchancen einer Publikation über neue Methoden in angesehenen Fachzeitschriften erheblich.
  • Generell sollten neue Verfahren immer auf möglichst vielen verschiedenen Benchmarks getestet werden, weil sich die Ergebnisse oft unterscheiden. Für eine gute Bewertung eines neuen Verfahrens reicht es aus, wenn es auf mindestens einem der Benchmarks in der Spitzengruppe ist oder andere Vorteile (z.B. geringer Rechenaufwand, bessere Interpretierbarkeit usw.) aufweist.
  • Bei allen Benchmarkdatensätzen ist eine Validierung über unabhängige Testdaten dringend erforderlich. Das kann über eine einmalige Aufteilung in Lern- und Testdaten (gut geeignet für große Datensätze) mit einer optionalen weiteren Unterteilung des Lerndatensatzes in Lerndatensätze für Parameter- und Struktursuche oder durch eine mehrmalige Aufteilung durch Verfahren wie Kreuzvalidierung, Leave-one-out und Bootstrap erfolgen.

 

Benchmarkdatensätze Klassifikation

 

Benchmarkdatensätze Text Mining

 

Benchmarkdatensätze nichtlineare Regression und Funktionsapproximation

 

Benchmarkprobleme nichtlineare Systemidentifikation und Regelung

    Synthethische Probleme

    Datensätze zur Systemidentifikation

    Nichtlineare Modelle für die Identifikation und Regelung

 



Nebeninhalt

Kontakt

Geschäftsstelle der GMA

Dr.-Ing. Dagmar Dirzius
VDI/VDE, GMA Gesellschaft Mess- und Automatisierungstechnik 
Postfach 10 11 39, D-40002 Düsseldorf 
Tel.: ++49 (0)211 6214 145
Fax: ++49 (0)211 6214-97 145 
dirzius

oder

apl. Prof. Dr. rer. nat Frank Hoffmann, Fachausschussleiter
Technische Universität Dortmund
Lehrstuhl für Regelungssystemtechnik
Tel. ++49 (0)231 755 3998