산업
구글 리서치, AI 압축의 한계 돌파한 ‘터보퀀트’ 공개... “성능 저하 없이 KV 캐시 6배 압축”
구글 리서치Google Research와 딥마인드DeepMind, 뉴욕대 그리고 KAIST 전기및전자공학부 한인수 교수가 참여한 공동연구팀이 대형언어모델LLM의 고질적인 병목 현상인 메모리 과부하 문제를 수학적으로 해결한 차세대 양자화 알고리즘 ‘터보퀀트TurboQuant’를 전격 공개했다.이번 기술은 단순한 모델 경량화를 넘어, 벡터 기반 AI 연산 구조 자체를 재설계했다는 점에서 차세대 AI 인프라 기술로 주목된다.현지시간 24일 발표된 이 기술은 LLM이 문맥을 기억하는 공간인 ‘KV 캐시KeyValue Ca
이 콘텐츠는 인공지능신문 원본 기사의 요약입니다. 전문은 원본 사이트에서 확인해주세요.
원문 기사 보기 →