Wann soll die L1- und L2-Regularisierung verwendet werden?

Inhaltsverzeichnis:

Wann soll die L1- und L2-Regularisierung verwendet werden?
Wann soll die L1- und L2-Regularisierung verwendet werden?
Anonim

Aus praktischer Sicht neigt L1 dazu, die Koeffizienten auf Null zu verkleinern, während L2 dazu neigt, die Koeffizienten gleichmäßig zu verkleinern. L1 ist daher nützlich für die Merkmalsauswahl, da wir alle Variablen, die mit Koeffizienten verbunden sind, die gegen Null gehen, weglassen können. L2 hingegen ist nützlich, wenn Sie kollineare/koabhängige Merkmale haben.

Wozu dient die Regularisierung Was sind L1- und L2-Regularisierung?

L1-Regularisierung gibt die Ausgabe in binären Gewichtungen von 0 bis 1 für die Features des Modells und wird verwendet, um die Anzahl der Features in einem riesigen dimensionalen Datensatz zu verringern. Die L2-Regularisierung verteilt die Fehlerterme auf alle Gewichtungen, was zu genaueren angepassten endgültigen Modellen führt.

Was sind die Unterschiede zwischen L1- und L2-Regularisierung?

Der wichtigste intuitive Unterschied zwischen der L1- und L2-Regularisierung besteht darin, dass die L1-Regularisierung versucht, den Median der Daten zu schätzen, während die L2-Regularisierung versucht, den Mittelwert der Daten zu schätzen, um eine Überanpassung zu vermeiden. … Dieser Wert ist mathematisch gesehen auch der Median der Datenverteilung.

Was ist L1- und L2-Regularisierung beim Deep Learning?

L2-Regularisierung ist auch als Gewichtszerfall bekannt, da sie die Gewichte dazu zwingt, gegen Null (aber nicht genau Null) zu zerfallen. In L1 haben wir: Dabei bestrafen wir den absoluten Wert der Gewichte. Im Gegensatz zu L2 können hier die Gewichte auf Null reduziert werden. Daher ist es sehr nützlich, wenn wir versuchen zu komprimierenunser Modell.

Wie funktioniert die Regularisierung von L1 und L2?

Ein Regressionsmodell, das die L1-Regularisierungstechnik verwendet, heißt Lasso-Regression, und ein Modell, das L2 verwendet, heißt Ridge-Regression. Der Hauptunterschied zwischen diesen beiden ist die Strafzeit. Die Ridge-Regression fügt der Verlustfunktion die „quadratische Größe“des Koeffizienten als Strafterm hinzu.

Empfohlen:

Interessante Beiträge
Welches ist die Etagenaufteilung?
Weiterlesen

Welches ist die Etagenaufteilung?

Floor-Division ist eine normale Divisionsoperation, außer dass sie die größtmögliche ganze Zahl zurückgibt. Diese Ganzzahl ist entweder kleiner oder gleich dem normalen Divisionsergebnis. Die Bodenfunktion wird mathematisch durch dieses Symbol ⌊ ⌋ gekennzeichnet.

Wie entferne ich den Drehzahlbegrenzer am Roller?
Weiterlesen

Wie entferne ich den Drehzahlbegrenzer am Roller?

Die Begrenzungsscheibe befindet sich um die vordere Riemenscheibe und kann bei den meisten Rollern von Hand oder mit einer Spitzzange entfernt werden. Bringen Sie die linke Riemenscheibe wieder an und ersetzen Sie die Frontplatte des Variatorgehäuses.

Was bedeutet Aspermatismus?
Weiterlesen

Was bedeutet Aspermatismus?

: Unfähigkeit Samen zu produzieren oder zu ejakulieren - vergleiche Azoospermie. Was versteht man unter Aspermie? Aspermie ist der vollständige Mangel an Samenflüssigkeit mit Ejakulation, entweder aufgrund einer Unfähigkeit, Samen zu transportieren (Anejakulation) oder in antegrader Richtung zu ejakulieren [