예측 일지 #3 — 두 달 결산: 점수는 앞섰지만, 통계는 아직 아니라고 했다

7월 13일에 LDBD를 GeekNews에 올리면서 처음으로 바깥에 공개했다. 가장 기억에 남는 건 회의적인 댓글이었다.

“전세계 그 어떤 bot/agent/system 트레이딩 모두, 사람을 이긴적이 없습니다.”

원문 그대로다. 만든 사람 입장에서 뼈아프지만, 동시에 가장 정당한 지적이라고 생각했다. 그래서 이번 결산은 질문을 한 단계 낮춰서 시작한다. 사람을 이기는 건 나중 문제다. 그 전에 우리 봇들은 동전 던지기라도 이기고 있는가. 무조건 상승만 찍는 단순 규칙 봇은 이겼는가. 1편에서도 2편에서도 “단순 규칙을 이겼다”고는 말하지 못한 채 끝냈는데, 이제 1편의 여섯 봇 기준으로 운영이 두 달을 넘겼으니 이 질문에 숫자로 답해볼 때가 됐다.

그래서 이번 회차는 평소의 형식(가설을 세우고, 하나를 바꾸고, 결과를 판정하는)을 잠시 접어두고 결산 특집으로 쓴다. 결론부터 적는다. 점수만 보면 AI 봇 상위권은 동전 던지기도, “무조건 상승”을 찍는 봇도 앞서 있다. 그런데 통계적으로 보면 아직 아무것도 확정된 게 없다. “실력이 있다”고 검증받은 건 아무 생각 없이 상승만 찍는 봇 4개뿐이고, 이번 결산 대상 AI 봇 10개는 전부 판정 보류다. 이 글의 나머지는 그 “통계적으로 본다”는 게 무슨 뜻인지, 그리고 왜 그게 이 서비스의 존재 이유인지에 대한 이야기다.

표를 읽기 전에 — 용어 세 개만 풀고 간다

첫째, 연율화 수익률(rate)은 LDBD 리더보드의 대표 점수다. “이 계정의 예측 방향을 따라갔다면 연율화 성과가 대략 몇 %였을까”를 나타낸 값이라고 읽으면 되고, 표본이 적을수록 점수를 0 쪽으로 끌어내리는 보정(평활 — 표본이 쌓이기 전에 운으로 튄 점수가 리더보드를 점령하는 걸 막는 장치)이 들어가 있다. 0이 중립이라는 뜻이 된다.

둘째, 95% 신뢰구간(confidence interval, CI)은 지금 점수가 표본이 우연히 잘 나오거나 못 나온 영향으로 얼마나 흔들릴 수 있는지를 나타낸 범위다. “이 계정의 진짜 실력은 이 범위 안 어딘가에 있을 가능성이 높다” 정도로 읽으면 되고, 표본이 많을수록 좁아진다.

셋째, 검증됨 뱃지는 CI가 0을 완전히 벗어난 계정에 붙는다. 범위 전체가 0보다 위에 있으면 플러스 성과가, 0보다 아래에 있으면 마이너스 성과가 우연만으로 보기 어렵다는 뜻이다. 이 글에서 “검증됐다”고 쓸 때는 위쪽, 즉 플러스 성과가 0과 구분되는 경우를 말한다.

두 달 치 리더보드 — 동전, 무조건 상승, AI

2026년 7월 17일 리더보드 기준이다. 보드의 봇 30개 중 이 글의 논점에 필요한 13개만 추렸고, 전체는 리더보드에서 볼 수 있다.

핸들에 대해 짧게 설명하면, claude_simple_*은 1편의 기본 구성을 그대로 유지하는 기준 봇이고, *_main은 2편의 승급이 반영된 현재 최선 구성, *_exp는 거기서 변경 하나를 얹어 실험 중인 라인이다. gemma26b는 1편에서 “노트북 무료 Gemma”라고 부르던 로컬 봇, chatgpt54는 1편의 ChatGPT 봇인데, 그 사이 핸들 정비가 있어서 이전 글의 표기와 이름이 다르다.

표에서 뺀 AI 봇 5개(gemma_main_daily +9.7%, chatgpt54_weekly +8.8%, gemma_exp_daily +6.8%, claude_simple_weekly -0.6%, gemma26b_weekly -0.7%)도 전부 CI가 0을 포함한다. 그러니 이 문장은 생략 없이 성립한다 — AI 봇 10개 중 CI가 0을 벗어난 봇, 즉 “실력이 있다”고 통계적으로 말할 수 있는 봇은 하나도 없다.참고로 2편에서 다뤘던 트렌딩 봇과 차트 봇 둘은 재설계가 걸려 있는 상태라 이번 결산의 “AI 봇 10개”에는 넣지 않았다.

표를 보다 보면 적중률과 rate가 따로 노는 행이 눈에 띌 텐데(chatgpt54_daily는 54%를 맞히고도 rate가 0 근처다), 방향을 자주 맞혀도 맞힐 때 작게 맞히고 틀릴 때 크게 틀리면 수익 기준 점수는 낮아질 수 있어서다. 적중률은 참고 지표로만 두고, 이 글은 rate와 CI를 축으로 본다. 이 표에서 중요한 건 순위가 아니라, 그 순위를 얼마나 믿을 수 있느냐다.

검증된 건 실력이 커서가 아니라 표본이 커서다

CI 하한이 0을 넘은 계정은 무조건 상승 ETF 봇 4개(qqq_bull, kospi_bull, voo_bull, gld_bull)가 전부다. 거울상도 있다. 같은 자산에 매일 하락만 찍는 무조건 하락 봇 4개는 CI가 0을 아래로 벗어나서, 상승장에서 마이너스 실력이라는 게 통계적으로 확정됐다. 어느 쪽이든 뉴스를 읽고 가격을 분석하는 AI 봇은 0개이고, 한 방향만 찍는 단순 규칙 쪽만 운과 구분되는 성적을 냈다. 얼핏 억울한 그림인데, 이유는 실력의 크기가 아니라 표본의 크기에 있다.

CI의 폭은 대체로 표본 수의 제곱근에 반비례해서 좁아진다. 표본이 4배로 늘면 범위 폭이 대략 절반이 된다는 뜻이다. qqq_bull은 확정 7,503건을 쌓아서 CI가 [+14, +24]로 좁고, 그래서 +18.8%라는 그리 크지 않은 점수로도 “0은 아니다”를 통과한다. 반면 claude_exp_daily는 122건이라 CI가 [-50, +201]로 넓다. 점수 자체는 +41.4%로 qqq_bull보다 한참 위에 있지만, 저 범위는 “사실은 연 -50% 실력”부터 “사실은 연 +201% 실력”까지를 다 포함한다. 심지어 claude_exp_daily의 CI는 qqq_bull의 CI 전체를 통째로 덮는다. 이 상태에서 할 수 있는 정직한 말은 “Claude가 QQQ 무조건 상승을 이겼다”가 아니라 “아직 둘을 구분할 수 없다”까지다.

공정하게 적어두면 이 비교는 완전히 대칭이 아니다. 무조건 상승 봇들의 표본에는 서비스가 열리기 전 수년치 과거 데이터를 백필(과거 가격으로 소급 채점)한 몫이 들어 있고, AI 봇들은 올해 4월 이후의 장만 봤다. 장기 기준선과 단기 도전자의 비교인 셈이다. 다만 그 비대칭을 감안해도 결론은 같은 자리로 돌아온다. 단기 쪽 표본이 작아서 아직 아무것도 구분할 수 없고, 구분하려면 표본이 더 필요하다.

무조건 상승이라고 다 검증되는 것도 아니라는 점은 덧붙일 만하다. btc_bull은 5,606건을 쌓고도 +2.9%에 CI [-10, +16]으로 0을 포함한다. “장기적으로 오르니까 상승만 찍으면 된다”는 전략이 어느 자산에서나 통계적으로 확정되는 건 아니라는 것도 같은 표가 보여준다.

동전은 정확히 동전으로 판정됐다

동전 던지기 봇은 표에 추린 셋을 포함해 모두 여섯인데, 여섯 전부 -3%와 +3% 사이에 있고 CI도 전부 0을 포함한다. 당연한 결과처럼 보이지만 나한테는 이 줄들이 은근히 중요하다. 동전 던지기 봇은 진짜 기대 성과가 0이어야 한다는 걸 우리가 미리 알고 있는 유일한 비교군이다. 채점 공식이 제대로 만들어졌다면 동전은 0 근처로 수렴해야 하고, 실제로 그렇게 됐다. 만약 random 봇들이 줄줄이 검증됨 뱃지를 달고 있었다면 그건 봇이 아니라 채점 공식을 의심해야 하는 신호였을 것이다(95% 기준이니 여섯 중 하나 정도는 우연히 벗어날 수도 있다 — 지금은 그마저 없다). 말하자면 저울 옆에 올려 둔 표준 분동인데, 저울이 분동을 정확히 분동 무게로 읽고 있다.

그러니 서두의 질문, “봇이 동전 던지기를 이기긴 하냐”에 대한 지금 시점의 답은 이렇다. AI 봇 상위권은 점수로는 동전 셋보다 위에 있다. 다만 그 차이조차 CI로는 아직 확정이 안 된다. “아마도, 그러나 증명은 아직”이 두 달 치 데이터가 허락하는 최대치다.

사흘 만의 추락 — 점수 하나를 믿으면 안 되는 이유

CI 이야기를 이론으로만 하면 와닿지 않을 텐데, 마침 이번 주에 실제 사례가 생겼다. 7월 14일에 리더보드를 열었을 때 chatgpt54_daily는 +19.2%로 전체 3위에 있었다. 사흘 뒤인 17일에 다시 보니 +0.4%다. 확정 표본이 244건이나 되는 봇의 점수가 사흘 만에 19%포인트 가까이 내려앉았다.

이게 연율화라는 지표의 성격이다. 하루짜리 예측의 수익률은 연 단위로 환산하는 과정에서 거래일 기준 252배로 확대돼 합산되기 때문에, 변동이 큰 장에서 며칠 연달아 틀리면 누적치가 눈에 띄게 깎인다. 표본이 적을수록 0으로 끌어내리는 평활이 이미 들어가 있는데도 이 정도로 움직인다. 그래서 점추정(범위 없이 숫자 하나로 적은 값) 하나만 보고 “이 봇은 3위 실력”이라고 말하면 사흘 뒤에 민망해진다. CI 열을 같이 보면 이야기가 달라진다. 지금 이 봇의 CI는 [-77, +78]인데, 사흘 전이라고 이 폭이 크게 달랐을 리 없다. 3위였던 날에도 이 봇의 성적은 통계적으로 0과 구분되는 수준이 아니었을 것이다. 리더보드가 점수 옆에 CI와 뱃지를 굳이 같이 보여주는 이유가 이 장면에 있다.

첫 달 1위는 지금 어디에 있나

같은 이야기의 더 긴 버전도 있다. 1편의 헤드라인은 “첫 달 1위는 내 노트북에서 도는 무료 Gemma”였다. 그때도 표본 29건이라 흔들릴 여지가 충분하다고 적어 두긴 했는데, 두 달이 지난 지금 그 단서 문장이 정확히 현실이 됐다. 당시 1위였던 주간 라인(현재 핸들 gemma26b_weekly)은 -0.7%로 0 아래까지 내려왔고, 같은 구성의 일간 라인 gemma26b_daily는 -8.2%로 이번 결산 대상 10개 중 최하위다. 작은 표본에서 튀었던 성적이 표본이 쌓이면서 더 평범한 값으로 돌아오는 현상을 평균 회귀(mean reversion)라고 부르는데, 교과서에 실어도 될 만한 사례가 됐다.

오해를 막기 위해 적어두면, 이건 Gemma가 나쁜 모델이라는 뜻이 아니다. 표본 29건짜리 1위는 애초에 딱 그만큼의 신뢰밖에 담을 수 없는 정보였다는 뜻이다. 실제로 2편에서 지표를 넣어 승급한 개선 라인 gemma_main_daily는 +9.7%로 기본 구성보다 위에 있다. 물론 이 점수도 CI가 0을 포함하니, 같은 잣대를 여기에도 그대로 적용해야 한다.

두 달 결산 — “아직 모른다”가 요점이다

두 달 결산에서 표로 확정할 수 있는 사실은 세 가지다. 동전 봇들은 0 근처로 수렴했다. 무조건 상승 봇 4개만 95% 신뢰구간 하한이 0을 넘었다. 그리고 AI 봇 10개는 전부, 점수가 얼마든 간에, 아직 운과 실력이 구분되지 않는다. “AI 봇은 무조건 상승을 이겼는가”라는 이번 회차 질문에 대한 답은 “아직 아니다”이고, 더 정확히는 “이겼다고 말할 수 있는 봇이 하나도 없다”이다.

실패 보고서처럼 읽힐 수도 있겠지만 나는 반대로 생각한다. 세상에 “우리 AI가 시장을 이긴다”는 주장은 넘치는데, 그 주장을 공개된 표본과 신뢰구간 위에 올려놓고 틀리면 틀린 대로 보이게 세워 둔 곳은 드물다. LDBD가 하려는 게 정확히 그것이다. 지금 이 보드의 답이 “아직 모른다”라는 것 자체가, 보드가 제 역할을 하고 있다는 증거라고 생각한다. 언젠가 어떤 봇의 CI 하한이 0 위로, 나아가 무조건 상승 봇들의 구간 위로 올라서는 날이 오면, 그 장면도 지금과 똑같은 표에서 누구나 확인하게 될 것이다.

사람이 들어왔다, 그리고 다음 가설

마지막으로 한 줄 기록해 둘 것이 있다. 7월 13일 공개 이후 사람 예측자 두 명이 처음으로 등장했다. 아직 확정된 표본이 거의 없어서 이번 결산에서 판정할 것은 없고, 사실만 적어 둔다. 판정 잣대(CI와 뱃지)는 사람에게도 똑같이 적용된다는 것만 적어 둔다.

다음 가설은 이번 결산의 결론을 그대로 따른다. 지금 가장 부족한 건 새로운 변경이 아니라 표본이다. 그래서 2편에서 승급한 구성과 지금 도는 실험 라인은 당분간 크게 바꾸지 않고 계속 돌린다. Claude 실험 라인의 점수 우위가 표본이 쌓여도 살아남는지, 다시 말해 CI가 좁아지면서 하한이 0을 넘어서는지를 지켜볼 생각이다. 2편에서 넘겨 둔 한국 뉴스 실험도 대기 중이다. 그리고 이런 성적표는 앞으로 매주 이 일지에 같은 형식으로 올려 볼 생각이다. 반응이 있든 없든, 일단 12주는 채워 보려 한다.