내적

내적은 두 벡터의 같은 위치 성분을 곱한 뒤 모두 더한 값입니다. 수식으로는 a·b = a₁b₁ + a₂b₂ + … 입니다.

딥러닝에서는 선형 변환의 한 스텝, 즉 가중치 벡터와 입력 벡터의 내적이 뉴런 하나의 출력이 됩니다. 여러 뉴런이 있으면 가중치 행렬과 입력의 곱(행렬 곱)으로 한 번에 계산하고, 그 안에서 각 원소가 바로 내적 한 번씩입니다.

또한 두 벡터의 내적이 클수록 방향이 비슷하다고 해석할 수 있어서, attention·유사도·임베딩 비교처럼 '얼마나 비슷한지'를 숫자 하나로 잴 때 자주 쓰입니다.