Regulatoren ermöglichen es Ihnen, während der Optimierung Strafen auf Layer-Parameter oder Layer-Aktivitäten anzuwenden. Diese Strafen werden in der Verlustfunktion summiert, die das Netzwerk optimiert. Regularisierungsstrafen werden pro Schicht angewendet.
Was ist Aktivitätsregulator?
Der Aktivitätsregulator arbeitet in Abhängigkeit von der Ausgabe des Netzes und wird hauptsächlich verwendet, um versteckte Einheiten zu regularisieren, während weight_regularizer, wie der Name schon sagt, an den Gewichten arbeitet (z. B. sie zerfallen lassen).
Wann sollte ich den Activity Regularizer verwenden?
Wenn Sie möchten, dass die Ausgabefunktion den Ursprung passiert (oder einen Schnittpunkt näher am Ursprung hat), können Sie den Bias-Regulator verwenden. Wenn Sie möchten, dass die Ausgabe kleiner (oder näher an 0) ist, können Sie den Aktivitätsregulator verwenden.
Wie verwende ich Keras Regularizer?
Um einem Layer einen Regularizer hinzuzufügen, müssen Sie einfach die bevorzugte Regularisierungstechnik an das Schlüsselwortargument 'kernel_regularizer' des Layers übergeben. Die Implementierungsmethoden der Keras-Regularisierung können einen Parameter bereitstellen, der den Hyperparameterwert der Regularisierung darstellt.
Was ist Kernel und Bias?
Dense-Klasse
Dense implementiert die Operation: output=activation(dot(input, kernel) + bias) wobei die Aktivierung die elementweise Aktivierungsfunktion ist, die als Aktivierungsargument übergeben wird, Kernel ist eine Gewichtungsmatrix, die von der Schichtund erstellt wirdbias ist ein von der Ebene erstellter Bias-Vektor (nur anwendbar, wenn use_bias True ist).
