ReLU

ReLU（Rectified Linear Unit）とは、以下の式で表される関数のことです。

\[f(x)=\text{max}(0, x)\]

ここで、\(\text{max}(0, x)\)は、0と\(x\)のうち、大きい方を返すという関数です。

ReLUをグラフにすると、以下です。