모델/아키텍처중급
Attention
어텐션 · Attention Mechanism
입력 데이터의 특정 부분에 가중치를 부여하는 메커니즘
상세 설명
Attention (어텐션)
신경망이 입력의 어느 부분에 집중해야 하는지 학습하는 메커니즘입니다.
작동 원리
- 입력 시퀀스의 각 요소에 대해 중요도 점수 계산
- 소프트맥스로 확률 분포 변환
- 가중합 계산
Transformer의 핵심 구성 요소로, 긴 시퀀스에서의 의존성 학습을 가능하게 합니다.
태그
#신경망#메커니즘