Zu dieser Karteikarte gibt es einen kompletten Satz an Karteikarten. Kostenlos!

Hier ist die Idee das man noch abstraktere Parameter einführt (komplexität des models, art des Lernalgorithmuses) und die Daten in 3 Teile teilt um verschieden Modelle zu testen.

Trainingsdaten, Validierungsdaten und Testdaten.
Aus den Trainingsdaten werden die Hypothesen gebildet (für verschiedene abstrake Parameter).
Über die Validierungsdaten wird jene Hypothese ausgewählt die den geringsten fehler bei den Validierungsdaten hat.
Über die Testdaten wird die performance der ausgewählten Hypothese abgeschätzt.

Verschiedene lernalgorithmen werden also mit dem selben Trainingset gefüttert.
Daraus entstehen verschiedene Hypothesen.
Über die Validierungsdaten wird jene Hypothese ausgewählt die den niedrigsten validation error (kosten) hat.
Über die unabhängigen Testdaten wird der testfehler / testkosten der ausgewählten Hypothese bestimmt.