LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
#벤치마크
3개의 글
LLM을 직접 평가하는 시스템을 만들었다 — 1TB 모델과 20GB 모델의 차이
공개 벤치마크로는 내 용도에 뭐가 맞는지 알 수 없었다. 로컬 모델과 상용 API를 같은 문제로 채점하는 시스템을 만들고 얻은 결과를 정리했다.
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.