반응형 전방참조4 AI에게 같은 오류 수십 번 지적- 결국 도구로 막음 백테스트 결과를 받아 보다가 또 그걸 봤습니다. 장 마감 동시호가에 판 돈으로, 같은 동시호가에 다른 종목을 사고 있더군요.처음이 아닙니다. 솔직히 몇 번째인지 모르겠습니다. 수십 번은 됩니다. 지적할 때마다 AI는 «맞습니다, 실제로는 불가능한 매수입니다»라고 하고, 기록해 두겠다고 하고, 다음 실험에서 또 합니다.오늘은 한마디 더 했습니다. «맨날 이야기해도 맨날 어기니, 막을 방법을 찾아봐. 기록은 되어 있나 모르겠군.»이 글은 그 뒤에 벌어진 일입니다.뭐가 문제냐면장 마지막 10분, 15시 20분부터 30분까지는 동시호가입니다. 주문을 받아만 두고 15시 30분에 한꺼번에 체결합니다. 그러니 15시 25분에 판 주식의 돈은 15시 30분에야 들어옵니다. 그때는 장이 끝나 있죠. 그 돈으로 그날 다.. 2026. 9. 27. 백테스트가 미래를 훔쳐보는 여섯 가지 길 — 전방참조 점검표 한눈에전방참조(미래참조, Look-ahead Bias)는 백테스트가 그 시점에 알 수 없었던 정보를 쓰는 것입니다. 한 종류가 아니라 최소 여섯 갈래로 들어옵니다.전방참조를 걷어내면 백테스트 성적은 대체로 내려갑니다. 올라가는 경우도 있지만 드뭅니다.가장 비싼 유형은 체결 가정입니다. 「3% 오르면 산다」고 적었는데 백테스트는 3% 올랐다가 밀린 종목을 안 산 것으로 처리하고 있었습니다.편향이 있다고 반드시 손해인 것은 아닙니다. 실제로 재보면 피해가 0인 경우도 있습니다.지난 글에서 연 1억 퍼센트짜리 백테스트의 정체가 전방참조였다는 이야기를 했습니다.그런데 그게 하나가 아니었습니다.하나를 찾고 나서 다른 백테스트들을 전부 다시 뒤졌습니다. 그랬더니 같은 병이 모양만 바꿔서 여기저기 들어 있었습니다. .. 2026. 8. 20. 백테스트 수익률이 비현실적으로 높을 때 — 연 1억%의 정체 지난 글에서 연 1억 퍼센트짜리 백테스트 결과를 보여드렸습니다. 그리고 그게 말이 안 된다는 것도 같이 적었습니다.이번 글은 그게 왜 그랬는지, 그리고 알아내기까지 제가 무엇을 했는지에 대한 기록입니다.결론부터 말씀드리면 이렇습니다. 제 AI는 시험을 잘 본 게 아니라, 답이 적힌 시험지를 받았습니다.먼저, 실제 돈으로 돌렸습니다백테스트가 저렇게 나오는데 안 돌려볼 사람은 없습니다. 저도 그랬습니다.모델을 실거래 시스템에 연결했습니다. AI가 매긴 수익 확률이 일정 점수를 넘는 종목만 사도록 문턱을 걸었습니다. 매일 저녁 스캔 결과에 「AI 수익확률 0.93」 같은 숫자가 찍혀 나왔습니다. 그럴듯했습니다.결과는 손실이었습니다.그런데도 저는 모델이 잘못됐다고 생각하지 않았습니다. 표본이 적어서겠지, 시장이.. 2026. 8. 20. 자동매매 백테스트 첫 결과 — 말도 안 되는 수치가 나왔을 때 의심할 것 ⚠ 먼저 밝혀둡니다 — 이 글의 「연 1억%」는 나중에 백테스트 오류로 드러났습니다.실제로 번 돈이 아니라, 과거 데이터로 돌린 모의 결과였고 그 계산에 결함이 있었습니다. 무엇이 어떻게 잘못됐는지는 백테스트 수익률이 비현실적으로 높을 때 — 연 1억%의 정체에 전부 적었습니다. 아래 글은 그 착각에 빠져 있던 시점의 기록으로 읽어주시기 바랍니다.채팅창으로 스캐너를 몇 개 만들어보니 신기하긴 했습니다. 그런데 동시에 무척 힘든 일이기도 했습니다.코딩을 하다 보면 반드시 오류가 납니다. 그러면 그 긴 코드 중에서 고쳐야 할 부분만 찾아서 바꿔야 하는데, 클로드가 새로 만들어준 코드를 통째로 붙여넣으면 다른 게 망가지고, 일부만 바꾸려면 어디를 바꿔야 하는지 제가 알아야 합니다.전문 개발자가 아니면 이 상태.. 2026. 8. 20. 이전 1 다음 반응형
