qwen

한 줄 요약

Alibaba의 Qwen3.8-27B가 Unsloth를 통해 개인 컴퓨터에서 로컬 실행 가능하도록 최적화되었습니다.

핵심 내용

• Qwen3.8-27B 모델이 GGUF/NVFP4 포맷으로 공개되어 개인 장비에서 바로 실행 가능

• 4-bit 양자화 기준 17~19GB 메모리만으로 실행 가능하며, 24GB 메모리 Mac이나 고성능 GPU에서 운영 가능

• 27B 밀집형(dense) 모델이면서도 비전, 추론, 256K 컨텍스트를 지원하며, YaRN 사용 시 1M까지 확장 가능

• Unsloth Desktop을 통해 macOS/Windows/Linux에서 모델 검색/다운로드/실행을 일원화

• 극단적 양자화(IQ2_XXS 9GB)에서도 원본 대비 82.5% 정확도 유지

• 코딩 성능이 전 버전 대비 크게 향상: Terminal Bench 63.4→73.0, SWE-bench Pro 53.5→61.7, LiveCodeBench 83.9→90.3

• Thinking/Non-thinking 모드와 추론 깊이 조절, 개선된 도구 호출 파싱 지원

왜 중요한가

초거대 모델 Qwen3.8은 성능이 우수하지만 2.4T 버전은 개인이 호스팅하기 불가능한 규모였습니다. 27B 버전의 공개는 최고 성능 모델을 개인 PC에서 직접 사용할 수 있는 길을 열었습니다. 특히 로컬 실행은 데이터 프라이버시, 인터넷 없는 환경 운영, 커스터마이징 같은 실무적 이점을 제공하여 AI 개발자와 조직의 선택지를 크게 확대합니다.

참조한 것 · 가져온 것

• 원문: https://unsloth.ai/docs/models/qwen3.8

• GeekNews: https://news.hada.io/topic?id=32514