AI 리서치 비서를 만들 때 정한 원칙 — 사지 않고 알려주기만 한다

매일 아침 뉴스, 공시, 유튜브 영상, 재무제표를 다 읽을 수는 없다. 그래서 대신 읽어주는 걸 만들었다. 정해진 시간에 알아서 돌고, 중요한 것만 골라 디스코드로 보낸다.

만들면서 가장 오래 고민한 건 기능이 아니라 어디까지 하게 둘 것인가였다.

자동매매를 넣지 않은 이유

주식 데이터를 모으고 AI가 판단까지 하는 시스템을 만들면, 다음 단계는 자연스럽게 “그럼 주문도 넣게 하자”가 된다. API도 있고 기술적으로 어렵지도 않다.

넣지 않았다. 이유는 틀렸을 때 되돌릴 수 없기 때문이다.

AI가 요약을 잘못하면 내가 잘못된 정보를 읽는다. 그건 내가 원문을 확인하면 걸러진다. 그런데 AI가 주문을 넣으면 돈이 나간다. 원문을 확인할 기회가 없다.

그래서 시스템의 역할을 한 줄로 못박았다.

절대 사고팔지 않는다. “이거 한번 봐보세요” 하고 알려주기만 한다. 모든 결정은 사람이 한다.

이 선을 코드가 아니라 README 맨 위에 적어둔 이유가 있다. 나중에 기능을 추가할 때 이 문장을 먼저 보게 된다. “이거 편한데 넣을까?” 싶을 때 브레이크가 걸린다.

AI가 인터넷을 직접 뒤지지 못하게 했다

두 번째 원칙이 더 중요했다.

AI는 인터넷을 직접 검색하지 않는다. 사람이 한 번 정리해 둔 자료만 읽는다. 그 자료에는 출처와 수집 시각이 붙어 있다.

처음에는 반대로 만들려고 했다. LLM에 검색 도구를 붙이면 알아서 필요한 걸 찾아 읽으니 편하다. 그런데 이렇게 하면 결과물을 검증할 수 없다.

브리핑에 “A사가 신규 수주를 따냈다”고 적혀 있을 때, 그게 어디서 나온 이야기인지 알 수 없다. 공시인지, 기사인지, 유튜버 추측인지, 아니면 모델이 지어낸 건지 구분이 안 된다. 투자 판단에 쓰는 정보에서 이건 치명적이다.

파이프라인을 이렇게 나눴다.

정해진 시간 (예: 매일 아침 7:30)
   ↓
① 데이터 수집 — 뉴스 검색·주가·재무점수·유튜브 자막·공시
   ↓            (각 항목에 출처 URL 과 수집 시각을 붙인다)
② AI 가 읽고 정리 — "이게 왜 중요한지" 사람 말로 풀어준다
   ↓            (①에서 모은 자료 밖으로 나가지 못한다)
③ 디스코드로 발송 — 짧고 읽기 쉽게
   ↓
④ 나중에 복기 — 추천한 종목이 1일/5일/20일 뒤 어떻게 됐나 자동 채점

수집(①)과 해석(②)을 분리한 게 핵심이다. AI는 ②만 한다. ①에서 모으지 않은 정보는 브리핑에 나올 수 없다.

이렇게 하니 “어디서 나온 정보인지” 항상 추적된다. 이상한 문장이 보이면 원본 자료를 찾아가 확인할 수 있고, 대체로 수집 단계의 문제였다.

자동 채점을 넣은 이유

④번, 복기 단계가 실제로는 가장 값어치가 있었다.

추천했던 종목이 1일, 5일, 20일 뒤에 어떻게 됐는지 자동으로 채점한다. 이걸 넣기 전에는 시스템이 계속 그럴듯한 브리핑을 내보냈고, 나는 그게 맞는지 알 방법이 없었다.

채점을 붙이고 나서 알게 된 게 있다. 그럴듯한 요약과 맞는 요약은 다르다. 읽기 좋게 정리된 브리핑이 성과로는 별로인 경우가 많았다. 사람이 읽기에 매끄러운 문장을 만드는 능력과 중요한 신호를 골라내는 능력은 별개다.

이건 AI 시스템 전반에 해당하는 것 같다. 출력이 그럴듯해 보이면 검증을 건너뛰게 된다. 그래서 자동으로 채점되는 구조를 처음부터 넣어두는 편이 낫다. 나중에 붙이려고 하면 “지금 잘 돌아가는데 굳이”가 된다.

디스코드로 보내기로 한 이유

대시보드를 먼저 만들었는데 안 봤다. 브라우저를 열고 주소를 치는 과정이 매일 아침에는 생각보다 큰 장벽이었다.

메신저로 보내니 봤다. 알림이 오고, 이미 켜져 있는 앱이고, 짧으니까.

대시보드는 없앤 게 아니라 역할이 바뀌었다. 상세히 파고들 때만 연다. 요약은 밀어주고(push), 상세는 당겨오게(pull) 나눈 셈이다.

정리

• 되돌릴 수 없는 동작(주문 실행)은 AI에게 주지 않는다. 알려주는 것과 실행하는 것은 위험도가 다르다
• 수집과 해석을 분리하면 결과를 추적할 수 있다. AI에게 검색 도구를 쥐여주면 편하지만 검증이 불가능해진다
• 자동 채점은 처음부터 넣는다. 나중에는 안 넣게 된다
• 그럴듯한 출력과 맞는 출력은 다르다
• 매일 봐야 하는 건 메신저로 밀어준다. 대시보드는 잘 안 열게 된다