LLM 종합 점수 하나로 줄이면 무엇이 사라지나 — 문제군별로 쪼갠 기록
모델 34종을 6개 문제군으로 쪼개 봤다. 코딩은 표준편차 33.7p로 모델을 갈랐고 한국어는 17.9p에 그쳤다. 종합 점수가 높은 모델일수록 편차가 작았다.
전체 글
25개의 글
에이전트들이 서로의 작업을 모른다 — 히스토리를 공유하는 허브 만들기
장비마다 도는 AI 에이전트가 각자 기억을 가지면 같은 일을 반복한다. 모든 것을 경로로 다루고 UI를 둘로 나눈 설계를 정리했다.
AI 코딩 에이전트가 규칙을 안 지킬 때 — 문서 말고 훅으로 막기
CLAUDE.md에 규칙을 아무리 적어도 에이전트는 가끔 어긴다. 지침을 강제 장치로 옮겨 실수 자체를 불가능하게 만든 방법을 정리했다.
Claude Code와 Codex를 한 회의방에 앉혀 결론까지 내게 만들기
여러 AI CLI 에이전트를 동시에 쓰면 의견이 흩어진다. 발언권과 투표를 서버가 강제하게 만들어 결론까지 도달시킨 설계 기록을 정리했다.
AI 리서치 비서를 만들 때 정한 원칙 — 사지 않고 알려주기만 한다
매일 아침 뉴스와 공시를 대신 읽는 봇을 만들었다. 자동매매를 뺀 이유, AI가 인터넷을 직접 뒤지지 못하게 막은 이유를 정리했다.
AI 작업용 워크스테이션을 게이밍 부품으로 짠 이유 — 9900X + RTX 5090
AI 개발용 컴퓨터는 얼마나 좋아야 할까. GPU 서버를 따로 굴리면서도 정작 개발은 평범한 게이밍 데스크톱으로 하는 이유를 정리했다.
알림이 많으면 아무도 안 본다 — 소음에 침묵하는 감시 시스템 만들기
10분마다 위험을 점검하지만 대부분은 알리지 않는 감시 서비스를 만들었다. 등급이 오를 때만 경고하도록 설계한 이유를 정리했다.
브라우저에서 서버랙을 3D로 조립하기 — 빌드 없는 Three.js
알루미늄 프로파일로 서버랙을 짜기 전에 웹에서 미리 조립해보는 도구를 만들었다. 빌드 도구 없이 CDN만 쓰고, 정적 서버가 공개할 파일을 화이트리스트로 제한한 이야기.
예측 점수 말고 근거 점수 — 데이터가 부족한 대상을 유리하게 만들지 않기
기업 점수를 매기는 엔진을 만들며 부딪힌 함정. 정보가 적은 회사가 오히려 높은 점수를 받는 문제를 신뢰도 가중으로 해결한 과정.
오픈소스를 fork 하지 않고 서브모듈로 관리하기 — GPU 서버 여덟 개를 굴리며
TTS, LLM, STT, OCR 서버를 한 저장소에서 관리한다. 오픈소스를 복사하거나 fork 하는 대신 서브모듈로 묶은 이유와 그 구조를 정리했다.
GPU 6대를 하나의 풀로 쓰기 — 준비 안 된 엔진은 고르지 못하게
영상 생성 작업을 여러 GPU에 분산하는 대시보드를 만들었다. 모델 파일 확인, 공유 GPU 제외, 모델명 하드코딩을 없앤 이야기.
매일 한 명에게 카톡 보내기가 어려운 이유 — 플랫폼 정책이라는 벽
가족에게 매일 리마인더를 보내는 자동화를 만들며 만난 것은 기술 문제가 아니라 정책이었다. 우회하지 않고 안에서 푼 과정.
LLM을 한 번만 호출하지 마라 — 후보 생성과 자동 채점으로 품질 올리기
같은 모델을 쓰면서 답변 품질을 올리는 방법은 프롬프트 튜닝만이 아니다. 여러 후보를 만들고 채점해 고르는 파이프라인 구조를 정리했다.
설치가 필요 없는 도구 만들기 — 파이썬 표준 라이브러리만으로
여러 장비에 배포할 모니터링 도구를 pip 설치 없이 만들었다. 의존성을 0개로 유지했을 때 실제로 얻은 것과 포기한 것을 정리했다.
AI가 코드를 고치기 전에 계획서를 내게 만들기 — 실행 관문 다섯 개
AI 코딩 에이전트가 엉뚱한 파일을 고치는 걸 막으려면 규칙보다 관문이 낫다. 계획 제출과 변경 지문 검증을 강제한 CLI 설계를 정리했다.
아이가 쓸 앱에서 LLM을 실시간 호출하지 않기로 한 이유
자녀용 독서 퀴즈 앱을 만들며 내린 결정. 문장 해설을 실시간 생성 대신 미리 만들어둔 이유와 그때 얻은 것들을 정리했다.
서버 20개를 한 머신에 띄우며 정한 규칙 — 희귀 포트와 WireGuard 전용 바인딩
개인 프로젝트 서버가 늘어나면 포트가 충돌하고 0.0.0.0 바인딩이 쌓인다. 포트를 프로젝트 고정값으로 박고 wg0 에만 묶기로 한 이유를 정리했다.
RTX PRO 6000 Blackwell 8장으로 로컬 LLM 서버 짜기 — VRAM 768GB
GPU 8장으로 VRAM 768GB를 갖췄는데 정작 512GB 시스템 RAM이 먼저 막혔다. 듀얼 파워 구성, 회로 분리, 방 온도 30도까지 실제로 겪은 것들.
LLM을 직접 평가하는 시스템을 만들었다 — 1TB 모델과 20GB 모델의 차이
공개 벤치마크로는 내 용도에 뭐가 맞는지 알 수 없었다. 로컬 모델과 상용 API를 같은 문제로 채점하는 시스템을 만들고 얻은 결과를 정리했다.
검색 API를 직접 만들었다 — SearXNG에 키 로테이션과 본문 추출 붙이기
유료 검색 API의 무료 한도는 금방 마른다. SearXNG를 소스로 띄우고 여러 무료 API 키를 돌려쓰는 자체 검색 서버를 만든 과정과 설계 판단을 정리했다.
서버가 20개를 넘으면 뭐가 떠 있는지 모른다 — 자동으로 찾아내는 사이트맵
systemd 유닛을 스캔해 실행 중인 서비스를 자동 발견하고 포트까지 추론하는 대시보드를 만들었다. 목록을 손으로 관리하지 않기로 한 이유.
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.
터미널 창 60개를 동시에 띄우면 생기는 일 — 연결 슬롯 예산 만들기
SSH 터미널을 가상 데스크톱마다 독립 프로세스로 띄웠더니 동시 접속이 몰려 터졌다. 슬롯 예산과 프로세스 격리로 해결한 과정.
번역이 실패하면 원문이라도 보여줘야 할까 — 안 보여주기로 한 이유
해외 커뮤니티 글을 모으는 피드를 만들며 부딪힌 선택. 번역 실패 시 원문 노출(fail-open)을 막고 상태를 세 개로 나눠 관리한 이유를 정리했다.
AI가 만든 알림을 내보내기 전에 검증 게이트를 통과시키기
종목 코드를 잘못 붙이거나 미래 데이터로 과거를 판단한 알림은 없느니만 못하다. 여러 프로젝트가 공유하는 검증 관문을 만든 이야기.