예측 점수 말고 근거 점수 — 데이터가 부족한 대상을 유리하게 만들지 않기
기업 점수를 매기는 엔진을 만들며 부딪힌 함정. 정보가 적은 회사가 오히려 높은 점수를 받는 문제를 신뢰도 가중으로 해결한 과정.
#데이터
2개의 글
LLM 벤치마크를 6개월 돌린 기록 — 4,791번의 실행이 남긴 것
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.
2개의 글
기업 점수를 매기는 엔진을 만들며 부딪힌 함정. 정보가 적은 회사가 오히려 높은 점수를 받는 문제를 신뢰도 가중으로 해결한 과정.
반년간 모델을 계속 재보며 남은 실행 로그를 시간순으로 정리했다. 문제셋을 33번 고친 이유와, 처음 발행한 수치가 왜 틀렸는지까지 함께 적는다.