"흩어진 GPU 하나로 묶어"...구글, '비동기·분산식' 모델 학습법 공개

구글이 기존의 하드웨어 ‘완전 동기화’ 구조를 벗어나, 비동기·분산 방식으로도 안정적인 대규모 모델 학습이 가능한 새로운 아키텍처를 제시했다.구글 딥마인드는 23일현지시간 기존 AI 학습의 핵심 제약으로 꼽히던 동기화 문제를 해결하는 새로운 학습 아키텍처 ‘디커플드 디로코Decoupled DiLoCo·Distributed LowCommunication’를 온라인 아카이브를 통해 공개했다. 지금까지 대형언어모델LLM은 수천~수만개의 GPU나 TPU가 동시에 같은 속도로 계산을 수행하고, 단계마다 결과를 맞혀야 하는 구조로