LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
AI 에이전트
LLM 에이전트를 직접 설계하고 굴려본 기록
9개의 글
에이전트들이 서로의 작업을 모른다 — 히스토리를 공유하는 허브 만들기
장비마다 도는 AI 에이전트가 각자 기억을 가지면 같은 일을 반복한다. 모든 것을 경로로 다루고 UI를 둘로 나눈 설계를 정리했다.
Claude Code와 Codex를 한 회의방에 앉혀 결론까지 내게 만들기
여러 AI CLI 에이전트를 동시에 쓰면 의견이 흩어진다. 발언권과 투표를 서버가 강제하게 만들어 결론까지 도달시킨 설계 기록을 정리했다.
AI 리서치 비서를 만들 때 정한 원칙 — 사지 않고 알려주기만 한다
매일 아침 뉴스와 공시를 대신 읽는 봇을 만들었다. 자동매매를 뺀 이유, AI가 인터넷을 직접 뒤지지 못하게 막은 이유를 정리했다.
LLM을 한 번만 호출하지 마라 — 후보 생성과 자동 채점으로 품질 올리기
같은 모델을 쓰면서 답변 품질을 올리는 방법은 프롬프트 튜닝만이 아니다. 여러 후보를 만들고 채점해 고르는 파이프라인 구조를 정리했다.
AI가 코드를 고치기 전에 계획서를 내게 만들기 — 실행 관문 다섯 개
AI 코딩 에이전트가 엉뚱한 파일을 고치는 걸 막으려면 규칙보다 관문이 낫다. 계획 제출과 변경 지문 검증을 강제한 CLI 설계를 정리했다.
LLM을 직접 평가하는 시스템을 만들었다 — 1TB 모델과 20GB 모델의 차이
공개 벤치마크로는 내 용도에 뭐가 맞는지 알 수 없었다. 로컬 모델과 상용 API를 같은 문제로 채점하는 시스템을 만들고 얻은 결과를 정리했다.
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.
AI가 만든 알림을 내보내기 전에 검증 게이트를 통과시키기
종목 코드를 잘못 붙이거나 미래 데이터로 과거를 판단한 알림은 없느니만 못하다. 여러 프로젝트가 공유하는 검증 관문을 만든 이야기.