L1 regularization, L2 regularization 간단한 개념

벡터 사이의 거리를 norm이라고 한다.

-p는 Norm의 차수를 의미한다. p = 1이면 L1 Norm을 의미하고, p = 2이면 L2 Norm이다.

-n은 해당 벡터의 원소 수이다.

 

L1 Norm

벡터 p, q의 각 원소들의 차이를 절대값의 합이다. == 두 벡터 간의 거리를 절댓값으로 구하는 것

 

p = ( 2, 1, -2)   q = (4, 0, 5) 일 경우,

p,q의 L1 Norm은   ㅣ2-4ㅣ + ㅣ1-0ㅣ + ㅣ-2+5ㅣ = 2+1+3 = 6

 

 

 

L2 Norm

유클리디안 거리이다. (오랫동안 두 점 사이의 거리로 사용했던 Euclidean Distance)

 

 

검정색 두 점사이의 L1 Norm은 빨간색, 파란색, 노란색 선이다. L2 Norm은 초록색 선이다. 

L1 Norm은 여러가지 path를 가지지만 L2 Norm은 가장 짧은 path만 가진다.

 

 

참고

 

https://light-tree.tistory.com/125

딥러닝 용어 정리, L1 Regularization, L2 Regularization 의 이해, 용도와 차이 설명

https://velog.io/@gnlenfn/L1-L2-Regularization

L1, L2 Regularization