
LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
AI 에이전트, 자동화 파이프라인, 개발 도구를 직접 만들면서 남긴 기록. 되는 방법과 안 되는 이유를 같이 적는다.

모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.

장비마다 도는 AI 에이전트가 각자 기억을 가지면 같은 일을 반복한다. 모든 것을 경로로 다루고 UI를 둘로 나눈 설계를 정리했다.

CLAUDE.md에 규칙을 아무리 적어도 에이전트는 가끔 어긴다. 지침을 강제 장치로 옮겨 실수 자체를 불가능하게 만든 방법을 정리했다.

여러 AI CLI 에이전트를 동시에 쓰면 의견이 흩어진다. 발언권과 투표를 서버가 강제하게 만들어 결론까지 도달시킨 설계 기록을 정리했다.

매일 아침 뉴스와 공시를 대신 읽는 봇을 만들었다. 자동매매를 뺀 이유, AI가 인터넷을 직접 뒤지지 못하게 막은 이유를 정리했다.

AI 개발용 컴퓨터는 얼마나 좋아야 할까. GPU 서버를 따로 굴리면서도 정작 개발은 평범한 게이밍 데스크톱으로 하는 이유를 정리했다.