DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf]

한 줄 요약

DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크

핵심 내용

• DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크

• 병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간 의존성 부재로 후반부 수락률 급감(acceptance decay) 이 발생하는 문제를 준자기회귀 구조와 부하 인지 검증으로 동시 해결

• 무거운 병렬 백본에 경량 순차 모듈을 결합해 블록 내부 의존성을 주입, 드래프트 속도를 유지하면서 접미부 붕괴(suffix decay) 완화

• 신뢰도 헤드(confidence head) 가 위치별 접두부 생존 확률을 추정하고, 하드웨어 인지 스케줄러가 엔진 처리량 곡선에 맞춰 요청마다 검증 길이를 동적으로 조정

• 오프라인 벤치마크에서 자기회귀 baseline(Eagle3) 및 병렬 baseline(DFlash) 대비 수락 길이(accepted length) 일관 향상, DeepSeek-V4 실서비스 배포 시 검증 낭비 억제

왜 중요한가

병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간 의존성 부재로 후반부 수락률 급감(acceptance decay) 이 발생하는 문제를 준자기회귀 구조와 부하 인지 검증으로 동시 해결 무거운 병렬 백본에 경량 순차 모듈을 결합해 블록 내부 의존성을 주입, 드래프트 속도를 유지하면서 접미부 붕괴(suffix decay) 완화 신뢰도 헤드(confidence head) 가 위치별 접두부 생존 확률을 추정하고, 하드웨어 인지 스케줄러가 엔진 처리량 곡선에 맞춰 요청마다 검증 길이를 동적으로 조정

GeekNews 상세 정리

• DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크

• 병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간 의존성 부재로 후반부 수락률 급감(acceptance decay) 이 발생하는 문제를 준자기회귀 구조와 부하 인지 검증으로 동시 해결

• 무거운 병렬 백본에 경량 순차 모듈을 결합해 블록 내부 의존성을 주입, 드래프트 속도를 유지하면서 접미부 붕괴(suffix decay) 완화

• 신뢰도 헤드(confidence head) 가 위치별 접두부 생존 확률을 추정하고, 하드웨어 인지 스케줄러가 엔진 처리량 곡선에 맞춰 요청마다 검증 길이를 동적으로 조정

• 오프라인 벤치마크에서 자기회귀 baseline(Eagle3) 및 병렬 baseline(DFlash) 대비 수락 길이(accepted length) 일관 향상, DeepSeek-V4 실서비스 배포 시 검증 낭비 억제

• 기존 production baseline인 MTP-1 대비 동일 처리량에서 사용자별 생성 속도 60–85% 가속, 엄격한 상호작용 제약 하에서 도달 불가했던 성능 구간을 열어 Pareto frontier 확장

• 문제 정의 — 병렬 드래프터의 두 가지 병목

• LLM은 토큰을 자기회귀적으로 생성, 각 토큰마다 선행 토큰 전체에 조건화된 순전파가 필요해 추론 지연이 출력 길이에 비례, 낮은 GPU 활용도와 높은 대기 시간이 production 서빙의 주요 병목으로 작용

• 추측 디코딩은 경량 draft 모델이 후보 블록을 제안하고 target 모델이 단일 순전파로 검증, rejection sampling으로 target 분포와 일치하는 최장 접두부를 수락하므로 품질 손실 없이 가속

• 자기회귀 드래프터의 한계

• 각 위치를 이전 토큰에 조건화해 강한 모델링 능력을 가지나, 드래프팅 비용이 블록 크기에 선형 비례(𝑇draft ∝ 𝛾)해 작은 블록과 얕은 구조로 제약

• 병렬 드래프터의 한계

• 모든 위치를 한 번에 생성해 드래프트 지연이 블록 크기와 거의 무관, 큰 블록(예: 𝛾=16) 사용 가능

• 각 위치를 독립적으로 예측해 토큰 간 의존성 모델링 불가, 다중 모드 충돌(multi-modal collision) 과 후반부 급격한 수락률 저하 유발

참조한 것 · 가져온 것

• 원문: https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

• GeekNews: https://news.hada.io/topic?id=30902