Activation Functions
(활성화 함수 or 출력 함수(transfer functions))
활성화 함수는 노드에서 입력값에 기반하여 어떤 출력값을 생성할지를 결정한다. Sigmoid 활성화 함수가 가장 대중적이며, ReLU가 현재 가장 많이 사용되고 있다. DeepLearning4J에서 활성화 함수는 layer level에 설정되고, 해당 레이어의 모든 뉴런들에 적용된다.
지원되는 활성화 함수는 다음과 같다.
- CUBE
- ELU
- HARDSIGMOID
- HARDTANH
- IDENTITY
- LEAKYRELU
- RATIONALTANH
- RELU
- RRELU
- SIGMOID
- SOFTMAX
- SOFTPLUS
- SOFTSIGN
- TANH
다음과 같이 활성화 함수를 설정할 수 있다.
layer(2, new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD).activation(Activation.SOFTMAX)
Custom layers, activation functions and loss functions
Deeplearning4j 는 Custom Layer, 활성화 함수(activation functions), 손실 함수(loss functions)를 지원한다.
댓글을 달아 주세요
댓글 RSS 주소 : http://www.yongbi.net/rss/comment/792