DeltaNet 계열 선형 어텐션 변형 살펴보기

한 줄 요약

소프트맥스 어텐션에서 선형 어텐션으로 진화하는 과정과 DeltaNet, Gated DeltaNet, Kimi Delta Attention(KDA)의 단계적 개선을 다룸.

핵심 내용

• 소프트맥스 어텐션의 시간 복잡도(O(n²))를 극복하기 위해 선형 어텐션 도입

• 고정 크기 상태(Fixed-Size State)를 사용한 기본 선형 어텐션 구조

• 과거 key-value 외적의 합을 상태(S_t)에 저장해 효율성 개선

• 오류만 기록하는 DeltaNet 메커니즘으로 정확도 향상

• 전체 상태를 감쇠하는 Gated DeltaNet의 추가 개선

• 채널별로 감쇠를 조절하는 Kimi Delta Attention(KDA)의 최신 기법

왜 중요한가

LLM의 추론 효율성은 자동회귀 생성 단계에서 선형 어텐션이 핵심이다. 소프트맥스 어텐션은 각 토큰마다 전체 컨텍스트와의 상호작용을 계산해야 하지만, 선형 어텐션은 누적된 상태만 업데이트하면 된다. DeltaNet에서 Kimi K3에 이르는 진화는 이러한 효율성 개선이 정확도를 해치지 않도록 하는 방법론의 발전을 보여준다.

참조한 것 · 가져온 것

• 원문: 별도 논문/기술 자료

• GeekNews: https://news.hada.io/topic?id=31925