LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
#LLM
5개의 글
LLM을 한 번만 호출하지 마라 — 후보 생성과 자동 채점으로 품질 올리기
같은 모델을 쓰면서 답변 품질을 올리는 방법은 프롬프트 튜닝만이 아니다. 여러 후보를 만들고 채점해 고르는 파이프라인 구조를 정리했다.
아이가 쓸 앱에서 LLM을 실시간 호출하지 않기로 한 이유
자녀용 독서 퀴즈 앱을 만들며 내린 결정. 문장 해설을 실시간 생성 대신 미리 만들어둔 이유와 그때 얻은 것들을 정리했다.
LLM을 직접 평가하는 시스템을 만들었다 — 1TB 모델과 20GB 모델의 차이
공개 벤치마크로는 내 용도에 뭐가 맞는지 알 수 없었다. 로컬 모델과 상용 API를 같은 문제로 채점하는 시스템을 만들고 얻은 결과를 정리했다.
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.