인프라/배포입문
GPU
그래픽 처리 장치 · Graphics Processing Unit
병렬 처리에 최적화된 하드웨어로 AI 모델 학습과 추론을 가속화하는 장치
상세 설명
GPU
원래 그래픽 처리용이었지만, 병렬 처리 능력 때문에 AI 학습에 혁신을 가져왔습니다.
주요 제조사
- NVIDIA: H100, RTX 시리즈 (가장 많이 사용)
- AMD: MI300X
- Google: TPU
필요성
- 모델 학습 시간: 수주 → 며칠
- 추론 속도: 초 단위 → 밀리초
태그
#하드웨어#성능#비용