로컬 LLM 모델 볼 때 나오는 Dense, Sparse, MoE 쉽게 이해하기

로컬 LLM 모델을 찾아보다 보면 이런 표현을 자주 보게 된다.

Dense Model
Sparse Model
MoE Model
Total Parameters
Active Parameters

처음 보면 꽤 헷갈린다.

특히 모델 이름에 7B, 14B, 32B, 8x7B, 30B-A3B, 235B-A22B 같은 표현이 붙어 있으면 더 어렵다.

“그래서 이 모델이 무거운 건가?”
“내 컴퓨터에서 돌아가는 건가?”
“Active Parameter가 작으면 무조건 빠른 건가?”

이런 의문이 생긴다.

결론부터 말하면 핵심은 이거다.

Dense는 모델 전체를 비교적 조밀하게 사용하는 구조이고,
Sparse는 일부만 선택적으로 사용하는 방식이며,
MoE는 Sparse 구조의 대표적인 형태다.

---

1. Dense 모델이란?

Dense 모델은 가장 일반적인 LLM 구조라고 보면 된다.

Dense는 “조밀한”, “빽빽한”이라는 뜻이다.
입력 토큰이 들어오면 모델의 레이어를 지나가면서 대부분의 연산 경로를 사용한다.

쉽게 말하면 이런 느낌이다.

질문 입력
↓
모델 전체가 처리
↓
답변 생성

비유하면 회사에 직원이 70억 명 있다고 했을 때,
질문 하나가 들어올 때마다 회사 전체가 함께 일하는 구조에 가깝다.

물론 실제로 모든 파라미터가 사람처럼 독립적으로 일하는 것은 아니지만,
개념적으로는 모델 전체를 고르게 사용하는 방식이라고 이해하면 된다.

---

Dense 모델의 특징

Dense 모델은 구조가 비교적 단순하다.

그래서 로컬에서 실행하기 좋다.
Ollama, LM Studio, llama.cpp 같은 도구에서도 Dense 모델은 지원이 잘 되는 편이고, 속도나 메모리 사용량도 예측하기 쉽다.

정리하면 Dense 모델은 이런 느낌이다.

구조가 단순하다
로컬 실행이 비교적 안정적이다
속도 예측이 쉽다
모델 크기와 메모리 사용량을 계산하기 쉽다

그래서 로컬 LLM을 처음 돌려보는 사람이라면
처음에는 Dense 모델부터 시작하는 것이 편하다.

---

2. Dense 구조 대표 모델

Dense 구조를 설명할 때 예시로 들기 좋은 모델들은 다음과 같다.

구조대표 모델특징

Dense	Llama 3 / Llama 3.1	Meta의 대표 LLM 계열
Dense	Mistral 7B	7B급 고성능 경량 모델
Dense	Qwen2.5	다양한 크기로 제공되는 Qwen 계열 모델
Dense	Gemma 계열	Google의 경량 오픈 모델 계열

Meta의 Llama 3.1은 8B, 70B, 405B 크기로 공개된 모델군이다. Llama 계열은 로컬 LLM을 이야기할 때 가장 자주 언급되는 대표적인 모델군 중 하나다. (Hugging Face)

Mistral 7B는 7.3B 파라미터 모델이며, Grouped-query Attention과 Sliding Window Attention을 사용해 추론 효율과 긴 문맥 처리 비용을 개선한 모델로 소개되었다. (Mistral AI)

Qwen2.5는 Qwen 계열의 대표 모델군으로, 다양한 크기의 모델이 제공된다. 이후 Qwen3에서는 Dense 모델과 MoE 모델을 함께 제공하면서 Dense와 MoE를 비교하기 좋은 모델군이 되었다. (Hugging Face)

---

3. Sparse 모델이란?

Sparse는 “희소한”, “드문드문한”이라는 뜻이다.

Dense가 모델 전체를 비교적 조밀하게 사용하는 방식이라면,
Sparse는 전체 중 일부만 선택적으로 사용하는 방식이다.

질문 입력
↓
필요한 부분만 선택
↓
선택된 부분만 계산
↓
답변 생성

Dense가 모든 직원을 매번 일하게 하는 구조라면,
Sparse는 필요한 직원만 불러서 일하게 하는 구조에 가깝다.

여기서 중요한 개념이 나온다.

Total Parameters = 모델 전체 파라미터 수
Active Parameters = 실제 추론 시 활성화되는 파라미터 수

Dense 모델은 보통 Total Parameters와 Active Parameters가 거의 비슷하다.

Dense 14B
→ 전체 14B
→ 추론 시에도 대략 14B 규모 사용

반면 Sparse 구조에서는 전체 모델은 커도 실제 계산에 참여하는 부분은 더 작을 수 있다.

Sparse 40B
→ 전체는 40B
→ 실제 추론 시에는 일부만 활성화

---

4. Sparse는 하나의 모델 이름이 아니다

여기서 중요한 점이 있다.

Sparse는 특정 모델 이름이라기보다 “희소하게 계산한다”는 큰 개념에 가깝다.

그래서 Sparse 구조는 크게 두 가지 방향으로 볼 수 있다.

1. Sparse Attention
2. Sparse Activation

---

1. Sparse Attention

일반 Transformer의 self-attention은 모든 토큰이 모든 토큰을 참고하려고 한다.

문장이 짧을 때는 괜찮지만, 문맥 길이가 길어지면 계산량과 메모리 사용량이 크게 늘어난다.

Sparse Attention은 이 문제를 줄이기 위해
모든 토큰 쌍을 전부 계산하지 않고, 필요한 일부 관계만 계산하는 방식이다.

대표 모델로는 Longformer와 BigBird가 있다.

Longformer는 긴 문서를 처리하기 위해 attention 계산이 sequence length에 대해 선형적으로 확장되도록 설계된 모델이다. (arXiv)

BigBird는 full attention의 quadratic dependency를 줄이기 위해 sparse attention mechanism을 사용한 모델이며, 긴 sequence 처리를 목표로 설계되었다. (arXiv)

---

2. Sparse Activation

Sparse Activation은 모델 안의 모든 파라미터를 매번 다 쓰지 않고,
입력에 따라 일부 경로만 활성화하는 방식이다.

이 방향에서 대표적으로 자주 나오는 구조가 바로 MoE다.

Switch Transformer는 sparsely activated model을 통해 큰 모델을 효율적으로 확장하려는 대표적인 연구 사례로 볼 수 있다. (JMLR)

---

5. MoE 모델이란?

MoE는 Mixture of Experts의 약자다.
한국어로 하면 “전문가 혼합 구조” 정도로 이해하면 된다.

MoE 모델 안에는 여러 개의 Expert, 즉 전문가가 들어 있다.
그리고 입력 토큰이 들어오면 Router가 어떤 Expert를 사용할지 선택한다.

구조를 단순화하면 이렇다.

입력 토큰
↓
Router가 판단
↓
여러 Expert 중 일부 선택
↓
선택된 Expert만 계산
↓
결과 생성

예를 들어 Expert가 8개 있는 모델이 있다고 해보자.

Expert 1
Expert 2
Expert 3
Expert 4
Expert 5
Expert 6
Expert 7
Expert 8

여기서 토큰 하나를 처리할 때 8개를 전부 쓰는 것이 아니라,
Router가 그중 2개 정도만 골라서 사용할 수 있다.

전체 Expert: 8개
실제 사용 Expert: 2개

이게 MoE의 핵심이다.

---

6. MoE를 쉽게 비유하면

Dense 모델은 이런 느낌이다.

문제가 들어오면 모든 선생님이 다 같이 푼다.

MoE 모델은 이런 느낌이다.

문제가 들어오면 담당자가 판단해서
수학 문제면 수학 선생님,
영어 문제면 영어 선생님,
코딩 문제면 코딩 선생님을 부른다.

즉, MoE는 모든 능력을 한 번에 다 쓰는 것이 아니라
상황에 맞는 전문가를 선택해서 사용하는 구조다.

그래서 전체 모델 크기는 크지만,
실제로 계산에 참여하는 파라미터 수는 상대적으로 작을 수 있다.

---

7. MoE 구조 대표 모델

MoE 구조를 설명할 때 대표적으로 넣기 좋은 모델들은 다음과 같다.

구조대표 모델특징

MoE	Mixtral 8x7B	8개 Expert 중 2개 선택
MoE	DBRX	132B total / 36B active
MoE	DeepSeek-V3	671B total / 37B active
MoE	Qwen3-30B-A3B	30B total / 3B active 계열
MoE	Qwen3-235B-A22B	235B total / 22B active 계열
MoE	Llama 4 Scout	109B total / 17B active
MoE	Llama 4 Maverick	400B total / 17B active

Mixtral 8x7B는 MoE 구조를 설명할 때 가장 좋은 예시 중 하나다. Mixtral은 Sparse Mixture of Experts 모델이며, 각 토큰마다 router가 8개의 expert 중 2개를 선택한다. 전체적으로는 47B 파라미터에 접근할 수 있지만, 추론 시에는 약 13B active parameters만 사용한다. (arXiv)

DBRX는 Databricks가 공개한 MoE 모델이다. 132B total parameters를 가지고 있으며, 입력마다 36B parameters가 활성화되는 구조로 소개되었다. (Databricks)

DeepSeek-V3는 초대형 MoE 모델의 대표 예시다. Technical Report에 따르면 DeepSeek-V3는 671B total parameters를 가지고 있으며, 각 토큰마다 37B parameters가 활성화된다. (arXiv)

Qwen3는 Dense 모델과 MoE 모델을 함께 제공하는 모델군이다. Qwen3-30B-A3B 같은 이름에서 30B는 전체 파라미터 규모, A3B는 활성화되는 파라미터 규모를 의미하는 식으로 이해하면 좋다. Qwen3는 Dense와 MoE를 비교하기 좋은 예시다. (Hugging Face)

Llama 4 Scout와 Llama 4 Maverick은 Meta의 MoE 계열 모델이다. Meta는 Llama 4 Maverick이 400B total parameters와 17B active parameters를 가지고 있으며, alternating dense and mixture-of-experts layers를 사용한다고 설명한다. Llama 4 Scout와 Maverick은 Llama 4 모델 카드에서도 mixture-of-experts LLM으로 소개된다. (Meta AI)

---

8. Dense, Sparse, MoE 차이 한눈에 보기

구분DenseSparseMoE

의미	모델 전체를 조밀하게 사용	일부만 선택적으로 사용	여러 Expert 중 일부만 선택
핵심 개념	전체 경로 사용	희소 계산	Router + Expert
Active Params	Total Params와 거의 비슷	Total보다 작을 수 있음	Total보다 작음
대표 예시	Llama 3.1, Mistral 7B, Qwen2.5	Longformer, BigBird, Switch Transformer	Mixtral, DBRX, DeepSeek-V3, Qwen3 MoE, Llama 4
장점	단순하고 안정적	계산 효율 개선	큰 모델 성능을 효율적으로 활용 가능
단점	큰 모델은 무거움	구조에 따라 이해가 어려움	메모리와 실행 엔진 지원 여부가 중요

---

9. 가장 많이 하는 오해: MoE면 무조건 가볍다?

MoE를 처음 보면 이런 생각이 들 수 있다.

“Active Parameters만 작으면 로컬에서 가볍게 돌아가겠네?”

하지만 꼭 그렇지는 않다.

MoE는 실제 계산량을 줄일 수는 있지만,
모델 실행에 필요한 메모리까지 항상 작아지는 것은 아니다.

예를 들어 이런 모델이 있다고 해보자.

Total Parameters: 47B
Active Parameters: 13B

이 말은 전체 모델 크기는 47B급이지만,
한 토큰을 처리할 때 실제로 계산에 참여하는 파라미터는 약 13B라는 뜻이다.

하지만 로컬 환경에서는 전체 Expert들을 메모리에 올려야 하는 경우가 많다.

즉, MoE 모델을 볼 때는 Active Parameters만 보면 안 된다.

Total Parameters
Active Parameters
양자화 방식
RAM / VRAM 용량
Context Length
실행 엔진의 MoE 지원 여부

이걸 같이 봐야 한다.

---

10. Quantization과는 다른 개념이다

Dense, Sparse, MoE를 보다 보면 이런 표현도 자주 보인다.

Q4_K_M
Q5_K_M
Q8_0
4bit
8bit
GGUF
AWQ
GPTQ

이건 모델 구조가 아니라 양자화 방식이다.

Dense, Sparse, MoE는 이런 질문에 대한 답이다.

모델이 어떤 구조로 계산하는가?

반면 Quantization은 이런 질문에 대한 답이다.

모델 가중치를 얼마나 압축해서 저장하고 계산하는가?

비유하면 이렇다.

개념비유

Dense / Sparse / MoE	회사 조직 구조
Quantization	회사 자료를 압축해서 보관하는 방식

즉, 어떤 모델은 Dense 구조이면서 Q4로 양자화될 수 있고,
어떤 모델은 MoE 구조이면서 Q4로 양자화될 수도 있다.

Dense + Q4
Dense + Q8
MoE + Q4
MoE + Q8

이런 조합이 가능하다.

---

11. 로컬 LLM을 고를 때 보는 기준

로컬에서 LLM 모델을 고를 때는 단순히 “몇 B 모델인가?”만 보면 안 된다.

1. 내 장비에서 돌아가는가?

가장 먼저 봐야 하는 것은 RAM과 VRAM이다.

모델이 아무리 좋아도 내 장비에서 못 돌리면 의미가 없다.

특히 MoE 모델은 Active Parameters가 작아 보여도
Total Parameters가 크면 메모리를 많이 사용할 수 있다.

---

2. Dense인지 MoE인지 확인하기

처음 로컬 LLM을 돌리는 단계라면 Dense 모델이 편하다.

Dense 모델
→ 구조가 단순함
→ 실행 안정적
→ 속도 예측이 쉬움

반대로 어느 정도 로컬 LLM 실행에 익숙해졌고,
더 큰 모델의 성능을 효율적으로 써보고 싶다면 MoE 모델도 고려할 수 있다.

MoE 모델
→ 전체 모델은 큼
→ 일부 Expert만 활성화
→ 성능 대비 계산 효율이 좋을 수 있음

---

3. Total Params와 Active Params를 구분하기

MoE 모델을 볼 때는 이 둘을 반드시 구분해야 한다.

Total Params = 모델 전체 규모
Active Params = 실제 토큰 처리 시 사용되는 규모

예를 들어 다음 두 모델이 있다고 해보자.

A 모델: Dense 14B
B 모델: MoE Total 40B / Active 10B

B 모델은 실제 계산량만 보면 10B급처럼 보일 수 있다.

하지만 메모리 관점에서는 40B 모델에 가까울 수 있다.

그래서 로컬 실행 가능성을 판단할 때는
Active Params만 보면 안 되고 Total Params도 같이 봐야 한다.

---

12. 구조별 대표 모델 최종 정리

분류대표 모델설명

Dense	Llama 3 / Llama 3.1	일반적인 LLM 구조 예시로 자주 언급되는 Meta 모델군
Dense	Mistral 7B	7.3B 파라미터 경량 모델, GQA와 SWA 사용
Dense	Qwen2.5	다양한 크기의 Qwen 계열 Dense 모델군
Sparse Attention	Longformer	긴 문서 처리를 위해 attention 계산을 줄인 모델
Sparse Attention	BigBird	sparse attention으로 긴 sequence 처리를 개선한 모델
Sparse Activation	Switch Transformer	일부 expert만 활성화하는 sparse expert 구조 연구 사례
MoE	Mixtral 8x7B	47B total / 13B active, 8개 expert 중 2개 선택
MoE	DBRX	132B total / 36B active
MoE	DeepSeek-V3	671B total / 37B active
MoE	Qwen3-30B-A3B	Qwen3의 MoE 모델, 약 3B active 구조
MoE	Qwen3-235B-A22B	Qwen3의 대형 MoE 모델, 약 22B active 구조
MoE	Llama 4 Scout	109B total / 17B active
MoE	Llama 4 Maverick	400B total / 17B active

---

13. 한 줄로 정리하면

Dense, Sparse, MoE를 한 줄로 정리하면 이렇다.

Dense = 모델 전체를 매번 사용하는 구조
Sparse = 일부 파라미터만 선택적으로 사용하는 구조
MoE = 여러 전문가 중 일부만 선택해서 사용하는 Sparse 구조

조금 더 쉽게 말하면:

Dense는 전 직원이 다 같이 일하는 회사
Sparse는 필요한 직원만 일하는 회사
MoE는 분야별 전문가를 골라 부르는 회사

로컬 LLM 기준에서는 이렇게 이해하면 된다.

Dense는 단순하고 안정적이다.
Sparse는 계산을 줄이기 위한 넓은 개념이다.
MoE는 Sparse 구조의 대표적인 형태이며, Total Parameters와 Active Parameters를 구분해서 봐야 한다.

---

마무리

로컬 LLM 모델을 고를 때 처음에는 7B, 14B, 32B 같은 숫자만 보게 된다.

하지만 조금 더 들어가면 중요한 것은 단순한 파라미터 수가 아니다.

Dense인지
Sparse인지
MoE인지
Total Parameters는 얼마인지
Active Parameters는 얼마인지
내 장비에서 실제로 돌아가는지

이걸 같이 봐야 한다.

특히 MoE 모델은 전체 파라미터 수와 실제 활성화 파라미터 수가 다르다.

그래서 모델 설명에 이런 표현이 있다면 꼭 구분해서 봐야 한다.

Total Parameters
Active Parameters

결국 로컬 LLM에서 중요한 것은
“가장 큰 모델을 돌리는 것”이 아니라
내 장비에서 안정적으로 돌아가고, 내가 원하는 작업에서 충분히 빠르고, 답변 품질이 괜찮은 모델을 고르는 것이다.