LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
#로컬LLM
5개의 글
AI 작업용 워크스테이션을 게이밍 부품으로 짠 이유 — 9900X + RTX 5090
AI 개발용 컴퓨터는 얼마나 좋아야 할까. GPU 서버를 따로 굴리면서도 정작 개발은 평범한 게이밍 데스크톱으로 하는 이유를 정리했다.
RTX PRO 6000 Blackwell 8장으로 로컬 LLM 서버 짜기 — VRAM 768GB
GPU 8장으로 VRAM 768GB를 갖췄는데 정작 512GB 시스템 RAM이 먼저 막혔다. 듀얼 파워 구성, 회로 분리, 방 온도 30도까지 실제로 겪은 것들.
LLM을 직접 평가하는 시스템을 만들었다 — 1TB 모델과 20GB 모델의 차이
공개 벤치마크로는 내 용도에 뭐가 맞는지 알 수 없었다. 로컬 모델과 상용 API를 같은 문제로 채점하는 시스템을 만들고 얻은 결과를 정리했다.
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.