AI 요약이 숫자를 틀리는 세 가지 자리 — 증권사 리포트 1,837건을 정독시키며 찾은 것

한눈에

• 매일 나오는 증권사 리서치를 자동으로 모아 AI가 정독하고, 한 장짜리 대시보드로 텔레그램에 받습니다. 지금까지 PDF 1,837개·1.9GB가 쌓였습니다.
• 텔레그램은 메시지가 4,096자에서 잘립니다. 그래서 긴 내용은 채팅창에 쏟지 않고 HTML 파일로 첨부합니다 — 폰에서도 표와 색이 그대로 열립니다.
• AI가 숫자를 틀리는 자리는 정해져 있었습니다. 단위 바꿔 적기(10배 오류) · 회계 괄호를 양수로 읽기 · 원문에 없는 값을 역산해 지어내기. 하지 말 것을 하나씩 적어주니 재시험에서 지어낸 값이 0개가 됐습니다.
• 원문이 길수록 요약이 부실해집니다 — 5,000자 이하 41% · 12,000~25,000자 8% · 25,000자 이상 1.5%. 20만자짜리가 575자로 나온 적이 있고, 긴 것만 좋은 모델로 보내니 3,187자가 됐습니다.

증권사 리서치는 매일 쏟아집니다. 다 읽을 수는 없고, 안 읽으면 놓칩니다. 그래서 매일 나오는 리포트를 자동으로 모아 AI가 정독하고, 한 장짜리 대시보드로 만들어 텔레그램으로 받도록 만들었습니다.

지금까지 PDF 1,837개, 1.9GB가 쌓였습니다. 그런데 이 글에서 하고 싶은 이야기는 「자동화했더니 편해졌다」가 아닙니다. AI에게 요약을 시켰더니 틀리는 자리가 정해져 있었다는 쪽입니다.

전체 흐름은 다섯 단계입니다

단계	하는 일
① 수집	공개된 증권사 리서치 목록을 훑고 PDF를 내려받아 글자를 뽑습니다
② 정독	조회수 상위 몇 건을 AI가 전문으로 읽습니다
③ 작성	정독한 것과 발췌를 묶어 하루치 본문을 만듭니다
④ HTML	읽을 만한 대시보드 한 장으로 꾸밉니다
⑤ 발송	채팅엔 짧은 카드, 내용은 파일 첨부로 보냅니다

⑤가 이 구조의 핵심 발상입니다. 텔레그램 메시지는 4,096자에서 잘립니다. 리포트 요약을 채팅창에 쏟으면 중간에서 끊깁니다. 그래서 긴 내용은 HTML 파일로 첨부했습니다. 폰에서 눌러도 브라우저로 열리고, 표·색·접기가 그대로 살아납니다.

그런데 AI가 숫자를 틀렸습니다

완성했다고 생각하고 며칠 돌린 뒤, 요약문과 원문을 나란히 놓고 대조해봤습니다. 틀린 곳이 있었고, 무작위가 아니었습니다. 같은 종류의 실수가 반복됐습니다.

① 단위를 바꿔 적습니다. 표 머리에 「영업이익(십억원)」이라고 쓰여 있고 칸에 `691.0`이 있으면, 그건 6,910억원입니다. 그런데 AI가 「691억원」이라고 적었습니다. 10배가 틀립니다. 문장은 매끄럽게 읽혀서 그냥 넘어가기 쉽습니다.

② 괄호를 못 읽습니다. 재무제표에서 (3.6)은 −3.6입니다. 이걸 그냥 3.6으로 읽으면 적자가 흑자로 바뀝니다.

③ 없는 숫자를 지어냅니다. 이게 가장 놀랐습니다.

원문은 "원가율 64.0%로 전년 동기 대비 10.9%p 상승"이었습니다.
요약은 "64.0%로 전년동기(58.1%p) 대비"라고 적었습니다.

그런데 58.1이라는 숫자는 원문 어디에도 없습니다. 게다가 64.0에서 10.9를 빼면 53.1이니 역산해도 틀렸습니다. 없는 값을 만들어 넣고, 만드는 계산마저 틀린 것입니다.

이걸 막는 방법은 「똑똑한 모델을 쓰라」가 아니었습니다. 하지 말아야 할 것을 하나씩 적어주는 것이었습니다. 단위를 바꾸지 마라, 괄호는 음수다, 원문에 없는 값을 만들지 마라 — 이런 항목을 지시문에 넣었습니다.

그러고 나서 다시 시험했더니 요약에 나온 소수 26개 중 원문에 없는 값이 0개가 됐습니다.

긴 리포트일수록 요약이 부실해집니다

또 하나 잰 것이 있습니다. 원문 길이별로 요약이 얼마나 담고 있는가입니다.

짧은 리포트는 41%를 담는데, 25,000자가 넘어가면 1.5%로 떨어집니다. 200,000자짜리 리포트가 575자로 요약된 적이 있습니다. 그건 요약이 아니라 제목을 늘려 쓴 것입니다.

여기서 「전부 좋은 모델로 바꾸자」는 답이 아니었습니다. 짧은 리포트는 지금도 잘 하고 있고, 비용만 몇 배가 됩니다. 그래서 긴 것만 성능 좋은 모델로 보냈습니다. 같은 리포트가 575자에서 3,187자가 됐고, 수치가 보존된 비율도 40%에서 64%로 올랐습니다.

「짧게 써라」는 넣지 말아야 했습니다

요약이 너무 길어서 지시문에 "짧게 써라"를 넣어본 적이 있습니다. 결과는 나빴습니다.

AI가 분량을 줄일 때 먼저 버리는 건 알맹이입니다. 수치와 근거가 사라지고 "실적이 개선될 전망이다" 같은 문장만 남습니다. 짧아지긴 하는데 읽을 이유가 없어집니다.

그래서 반대로 했습니다. 요약은 길게 쓰게 두고, 보여줄 때 접었습니다. 목록은 제목만 짧게 나오고, 누르면 펼쳐집니다. 정보를 줄이는 것과 화면을 줄이는 것은 다른 문제였습니다.

비용도 재고 정했습니다

처음엔 다른 회사의 무료 모델을 여러 개 돌려쓰는 방식이었습니다. 무료 한도가 차면 다음 모델로 넘어가는 사다리를 만들어뒀습니다.

이걸 접은 이유는 두 가지입니다. 모델 이름이 자주 바뀌어 어제 되던 게 오늘 안 됩니다. 사다리 자체가 관리 대상이 됐습니다. 그리고 무료 한도를 맞추느라 전문을 다 못 태우고 있었습니다.

계산해보니 이랬습니다. 리포트 원문이 중앙값 9,522자인데 전문을 다 태우면 하루치가 상당한 양이 되고, 과거 1,467건을 소급 처리하면 훨씬 커집니다. 그래서 가볍고 싼 모델 하나로 통일했습니다. 소급 전체가 20달러 안쪽이었고, 매일 돌리는 것도 비슷한 수준입니다.

사다리를 없애니 관리할 게 사라졌습니다. 성능이 필요한 긴 리포트만 위 모델로 올리는 규칙 하나만 남았습니다.

외부로 나가면 안 되는 것을 막는 장치

마지막으로 하나 더 넣었습니다. AI에게 보내기 전에 내용을 검사하는 방벽입니다.

지금은 공개된 리포트만 다루니 문제가 없습니다. 그런데 나중에 제 계좌 데이터를 같은 도구로 다루게 되면 이야기가 달라집니다. 계좌번호나 인증키가 섞인 채로 외부에 나가면 되돌릴 수 없습니다.

그래서 「이건 공개 자료다」라고 명시적으로 표시한 것만 통과시키고, 나머지는 민감한 문자열이 있는지 먼저 훑게 했습니다. 사고가 나기 전에 만들어두는 게 요점입니다. 나고 나서는 늦습니다.

정리하면

이 도구를 만들면서 배운 건 AI를 어떻게 부리느냐보다 «AI가 틀렸을 때 어떻게 알아차리느냐»였습니다.

요약문만 보면 다 그럴듯합니다. 10배 틀린 숫자도, 지어낸 값도 문장은 매끄럽습니다. 원문과 대조해보기 전까지는 몰랐습니다. 그래서 지금은 새 기능을 붙일 때마다 「이게 틀리면 어떻게 알 수 있나」를 같이 만듭니다.

다음 편에서는 이 도구를 26~97쪽짜리 인뎁스 리포트에 적용한 이야기를 적겠습니다. 거기서 더 큰 착각을 하나 발견했습니다.

※ 이 글은 개인의 개발 기록입니다. 리포트 원문이나 그 내용은 공개하지 않으며, 특정 종목의 매수·매도를 권유하지 않습니다. 증권사 리포트의 저작권은 각 발행사에 있습니다.