LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
앞서 LLM 평가 시스템을 만든 이야기와 6개월치 실행 로그를 정리한 글을 썼다. 두 글 모두 모델을 종합 점수 하나로 줄여서 비교했다.
이번에는 그 줄이기 전 단계를 봤다. 점수를 6개 문제군으로 쪼개면 같은 데이터에서 다른 순위가 나온다.
무엇을 어떻게 봤나
기준은 v0.5.12 문제셋이다. 2026년 4월 27일부터 7월 11일까지 가장 오래 쓴 버전이고, 그동안 여러 모델이 같은 문제로 채점됐다. 문제셋이 바뀌면 점수를 비교할 수 없으니 한 버전 안에서만 봐야 한다.
- 6개 문제군을 전부 완주한 모델: 34종 (로컬 25종, 상용 9종)
- 그 34종의 유효 실행: 577건
문제군은 이렇게 나뉘어 있다.
| 문제군 | 측정하는 것 |
|---|---|
coding |
코드 작성과 계산 |
korean |
한국어 이해·생성 |
agent |
도구 호출, 다단계 작업 수행 |
long-context |
긴 입력에서 필요한 정보 찾기 |
instruction-hierarchy |
상충하는 지시가 있을 때 우선순위 판단 |
structured-io |
요구된 출력 형식 준수 |
먼저 밝혀둘 것이 있다. 34종 × 6군 = 204칸인데, 한 칸에 들어간 실행 수의 중앙값은 3건이고 42칸은 1건뿐이다. 그래서 이 글은 “어느 모델이 몇 위” 같은 이야기를 하지 않는다. 개별 칸 하나로는 그런 말을 할 수 없다. 34종 전체에 걸친 분포와 경향만 본다. 마지막 절에 한계를 따로 정리했다.
코딩은 모델을 갈랐고, 한국어는 못 갈랐다
먼저 문제군별로 34종의 점수가 얼마나 흩어지는지 봤다.
| 문제군 | 34종 평균 | 최저 | 최고 | 표준편차 |
|---|---|---|---|---|
coding |
56.4% | 10.0% | 100.0% | 33.7p |
instruction-hierarchy |
68.1% | 18.3% | 100.0% | 26.0p |
structured-io |
67.4% | 20.0% | 100.0% | 23.8p |
long-context |
67.6% | 17.5% | 100.0% | 23.7p |
agent |
72.8% | 26.7% | 100.0% | 23.5p |
korean |
67.7% | 40.0% | 97.5% | 17.9p |
coding 의 표준편차가 33.7p 로 가장 크고 korean 이 17.9p 로 가장 작다. 거의 두 배 차이다.
최저점을 보면 더 뚜렷하다. coding 에서 꼴찌는 10.0%인데, korean 에서 꼴찌는 40.0%다. 가장 못하는 모델도 한국어에서는 40점을 받는다.
이건 모델에 대한 정보이기도 하지만 문제셋에 대한 정보이기도 하다. 내 korean 문제군은 변별력이 약하다. 작은 모델도 그럭저럭 답하는 문제들이라는 뜻이다. 반대로 coding 은 되거나 안 되거나가 분명하다. 코드는 돌거나 안 돌고, 계산은 맞거나 틀린다.
“어느 문제군에서 점수가 벌어지는가”는 그 문제군이 잘 만들어졌는지를 알려준다. 모든 모델이 비슷한 점수를 받는 문제군은 순위에 기여하지 못하면서 평균만 끌어올린다.
현재 문제셋(v0.6.0, 14종)에서도 확인해봤다. coding 이 28.6p 로 여전히 가장 크다. 다만 가장 작은 군은 long-context(14.5p)로 바뀌었고 korean 은 18.1p 였다. coding 이 제일 잘 가른다는 것만 두 버전에서 공통이다.
종합 점수가 높을수록 고르게 잘한다
모델마다 최고 문제군과 최저 문제군의 차이(편차폭)를 재봤다.
종합 점수와 편차폭의 상관계수는 -0.71이었다. 종합이 높을수록 편차가 작다.
| 구간 | 평균 편차폭 |
|---|---|
| 종합 상위 8종 | 9.2p |
| 종합 하위 8종 | 33.1p |
상용 도구 쪽이 특히 평평하다.
| 모델 | 종합 | coding | korean | agent | long-ctx | instr-hier | struct-io | 편차폭 |
|---|---|---|---|---|---|---|---|---|
| codex:gpt-5.4 | 99.6% | 100.0% | 97.5% | 100.0% | 100.0% | 100.0% | 100.0% | 2.5p |
| codex:gpt-5.3-codex | 99.2% | 100.0% | 95.0% | 100.0% | 100.0% | 100.0% | 100.0% | 5.0p |
| claude-opus-4-7 | 98.3% | 100.0% | 95.0% | 100.0% | 100.0% | 100.0% | 95.0% | 5.0p |
| chatgpt-pro | 97.9% | 100.0% | 92.5% | 100.0% | 96.7% | 98.3% | 100.0% | 7.5p |
상위권에서는 문제군을 쪼개는 의미가 거의 없다. 어디서 재도 100%에 붙어 있다. 종합 점수 하나로 줄여도 잃는 정보가 없다는 뜻이다.
로컬 모델은 다르다.
| 모델 | 종합 | coding | korean | agent | long-ctx | instr-hier | struct-io | 편차폭 |
|---|---|---|---|---|---|---|---|---|
| Kimi-K2.7-Code | 92.5% | 94.7% | 90.0% | 90.0% | 100.0% | 95.0% | 85.0% | 15.0p |
| glm5.2-nvfp4-lukealonso | 88.3% | 90.0% | 80.0% | 95.0% | 80.0% | 95.0% | 90.0% | 15.0p |
| gpt-oss-120b | 87.5% | 85.0% | 85.0% | 95.0% | 75.0% | 95.0% | 90.0% | 20.0p |
| glm5.2-nvfp4-nvidia | 85.8% | 85.0% | 85.0% | 95.0% | 80.0% | 90.0% | 80.0% | 15.0p |
| MiniMax-M2.7 | 80.8% | 62.5% | 75.0% | 97.5% | 82.5% | 92.5% | 75.0% | 35.0p |
| Kimi-K2.6 | 70.0% | 64.0% | 57.6% | 84.3% | 77.5% | 75.8% | 60.6% | 26.7p |
| gemma-4-31B-it | 68.3% | 40.0% | 71.7% | 88.3% | 65.0% | 76.7% | 68.3% | 48.3p |
| Qwen3.5-397B-A17B-GPTQ-Int4 | 64.6% | 42.5% | 76.2% | 77.5% | 62.5% | 65.0% | 63.8% | 35.0p |
종합 점수가 중간인 모델일수록 종합 점수로 판단하면 안 된다. 편차폭이 35~48p 라는 건, 그 모델이 어떤 일에는 쓸 만하고 어떤 일에는 못 쓴다는 뜻이다. 평균은 그 둘을 섞어서 “중간”이라고 말한다.
순위가 뒤집히는 자리
가장 뚜렷한 예가 MiniMax-M2.7 이다.
| 기준 | 순위 | 점수 |
|---|---|---|
| 종합 (로컬 25종 중) | 5위 | 80.8% |
agent (로컬 25종 중) |
1위 | 97.5% |
coding (로컬 25종 중) |
6위 | 62.5% |
에이전트 작업만 놓고 보면 로컬 모델 중 1등인데, 종합에서는 5위로 내려간다. 자기 안에서만 봐도 agent 97.5%와 coding 62.5%는 35p 차이다.
내가 로컬 모델을 쓰는 주 용도가 도구 호출과 다단계 작업이라면, 종합 순위표를 보고 1~4위를 고르는 건 잘못된 선택일 수 있다. 같은 표에서 이 모델은 목적에 따라 1위이기도 하고 5위이기도 하다.
Huihui-Qwen3.5-27B-abliterated 는 편차폭이 56.7p 로 34종 중 가장 컸다.
| 문제군 | 점수 |
|---|---|
structured-io |
80.0% |
korean |
63.3% |
agent |
55.0% |
long-context |
53.3% |
instruction-hierarchy |
43.3% |
coding |
23.3% |
종합 53.1%로 34종 중 23위지만, 출력 형식을 지키는 능력만 보면 13위다. JSON 을 뱉는 파이프라인 부품으로는 쓸 수 있고 코드를 시키면 안 되는 모델이라는 얘기가 된다.
이런 건 종합 점수 한 줄로는 절대 안 보인다.
그래서 순위표를 어떻게 바꿨나
대시보드에서 종합 순위를 없애지는 않았다. 대신 두 가지를 바꿨다.
1. 편차폭을 같이 보여준다. 종합 점수 옆에 최고군-최저군 차이를 적는다. 편차폭이 큰 모델은 종합 점수를 믿지 말라는 표시다.
2. 용도별로 먼저 고르고 종합은 참고만 한다. 실제로 상시 띄울 모델을 정할 때 이렇게 봤다.
| 쓰려는 일 | 보는 문제군 |
|---|---|
| 에이전트·도구 호출 | agent, instruction-hierarchy |
| 코드 생성 | coding |
| 문서 요약·번역 | korean, long-context |
| 파이프라인 부품(JSON 출력 등) | structured-io |
종합 점수는 모델을 후보군에서 탈락시킬 때만 썼다. 종합이 낮으면서 편차폭도 작으면 어디에도 못 쓴다는 뜻이라 바로 뺀다. 종합이 낮은데 편차폭이 크면 한 번 더 들여다본다.
이 표를 어디까지 믿을 수 있나
앞에서 밝힌 대로 한 칸당 실행 수가 적다. 정직하게 정리하면 이렇다.
믿을 수 있는 것
- 문제군별 표준편차 차이 (
coding33.7p vskorean17.9p). 34종 전체를 걸친 값이고, 다른 문제셋 버전(v0.6.0)에서도coding이 최대라는 점이 재현됐다 - 종합 점수와 편차폭의 음의 상관(-0.71). 34개 표본의 경향이라 개별 칸의 흔들림에 덜 민감하다
- 편차폭이 30p 를 넘는 모델이 존재한다는 사실. 이건 몇 건을 재든 종합 점수로 뭉개면 안 된다는 근거로 충분하다
믿으면 안 되는 것
- 개별 모델의 문제군 점수를 소수점까지 비교하는 것.
Kimi-K2.7-Code는 문제군당 1건씩만 돌았다 - “A 모델이 B 모델보다
coding에서 낫다” 같은 1:1 비교. 표본이 1~3건이면 문제 하나 차이로 뒤집힌다 - 상용과 로컬의 격차 크기. 상용 쪽은 100%에 붙어 천장에 막혀 있어서 실제 차이가 더 클 수도, 문제가 쉬워서일 수도 있다
이 한계를 줄이려면 문제군당 실행 수를 늘려야 하는데, 로컬 모델 한 번 돌리는 데 수백 초씩 걸린다. 표본을 늘리는 비용과 결론의 정밀도를 맞바꾸는 문제고, 나는 지금 경향만 보는 쪽을 택했다. 그래서 이 글도 경향까지만 말한다.
정리
- 종합 점수는 문제군별 점수를 평균 낸 값이다. 평균이 뭉개는 것이 있다
- 문제군마다 변별력이 다르다.
coding은 표준편차 33.7p,korean은 17.9p 였다 - 모든 모델이 비슷한 점수를 받는 문제군은 순위에 기여하지 않으면서 평균만 올린다. 문제셋을 점검할 근거가 된다
- 종합 점수가 높을수록 고르게 잘한다(상관계수 -0.71). 상위권은 편차폭 평균 9.2p, 하위권은 33.1p
- 종합이 중간인 모델일수록 종합 점수로 판단하면 안 된다. 편차폭 35~48p 는 “어떤 일엔 되고 어떤 일엔 안 된다”는 뜻이다
- 종합 5위 모델이 특정 문제군에서는 1위였다. 용도가 정해져 있으면 그 문제군만 봐야 한다
- 종합 점수는 고를 때보다 탈락시킬 때 쓸모 있었다
- 표본이 얇으면 경향까지만 말한다. 칸마다 1~3건인 표로 개별 모델 순위를 논하지 않는다