우리 AI 봇들의 오래된 버릇 하나는 뉴스의 톤을 그대로 따라가는 것이다. 헤드라인이 낙관적이면 상승을, 비관적이면 하락을 찍는 식인데, 문제는 그 뉴스가 이미 가격에 반영된 경우가 많다는 점이다. 지난 실험(일지 #2)에서 두 봇을 승급시키고 나서, 이번에는 이 쏠림을 겨냥해 판정 절차를 바꿔 봤다. 결론부터 내지 말고, 상승 근거를 나열해 점수를 매기고, 하락 근거를 나열해 점수를 매기고, 빠뜨린 관점이 없는지 한 번 반성한 다음에야 방향을 정하게 했다. 금융 예측 LLM 연구(RETuning, arXiv 2510.21604)에서 가져온 구조라 비용은 0이고, 프롬프트만 바꾸면 된다.
이 절차를 서로 다른 세 라인에 적용했다. Gemma와 Claude 실험 라인은 7월 초에 나란히 시작했고, 성적이 특히 나빴던 차트 봇은 7월 말 재설계 과정에서 같은 원리를 다른 장치들과 함께 받았다. 결과는 셋 다 달랐다. 그리고 그 갈림이 이번 일지의 알맹이다. 좋은 프롬프트 기법이라는 것이 모델과 무관하게 존재하지 않을 수 있다는 것.
무엇을 바꿨고, 무엇으로 판정하기로 했나
바꾼 것은 자산별 판단 절차 하나다. 상승 근거 나열과 점수화(0~10), 하락 근거 나열과 점수화, 빠뜨린 관점·이미 가격에 반영된 뉴스가 없는지 반성, 그 다음에야 방향 결정. 실험 봇과 기존 봇은 매일 같은 자산을 같은 시점에 예측하므로, 같은 문제를 두고 다르게 답한 케이스(정면대결)를 모아 공정하게 비교할 수 있다.
승급 기준은 실험을 시작하기 전에 정해 뒀고, 지난 회차와 같다. ① 기간 연율화 점수가 기존 봇보다 명확히 위, ② 정면대결 승률 55% 이상, ③ 약한 자산(비트코인· 코스피)에서 개선. 이 셋 중 둘 이상이면 승급이다. 연율화 점수는 세 기준 중 하나이지 전부가 아니라는 점을 미리 적어 둔다. 결과를 보고 나서 기준을 고르지 않기 위해서다.
Gemma: 같은 처방이 독이 됐다
작은 모델 쪽 결과는 나빴다. 판정 기간 동안 실험 봇은 128건에서 적중률 45%, 기존 봇은 120건에서 50%였고, 연율화 점수는 -16.2% 대 +8.5%로 크게 밀렸다. 정면대결 23건에서도 9승 14패였다. 세 기준 중 어느 것도 충족하지 못했다. 실험은 기각했고, 절차는 폐기했다.
해석은 이렇다. Gemma 라인에서 지금까지 성공한 개선(원시 가격을 지표 한 줄로 압축)은 모델의 부담을 덜어주는 방향이었다. 이번 절차는 반대로 부담을 얹는 방향이다. 근거를 나열하고 점수를 매기고 반성까지 하라는 요구가, 큰 모델에게는 생각을 정돈해 주는 발판이 되지만 작은 모델에게는 짊어질 짐이 하나 더 늘어난 것에 가까웠던 듯하다. 일반 법칙이라고 말할 표본은 아니다. 정확히 말하면, 적어도 지금의 Gemma 모델과 지금의 입력 구성에서는 “더 생각하게 하기”보다 입력과 절차를 단순하게 만드는 쪽이 유망해 보인다는 것까지다.
Claude: 방향은 이겼는데 점수는 졌다
큰 모델 쪽은 흥미롭게 이겼다. 적중률은 62% 대 56%로 실험 봇이 앞섰고, 정면대결 25건에서 16승 9패(64%)로 기준 ②를 넘었으며, 약한 자산에서도 7승 4패로 기준 ③을 충족했다. 그런데 대표 지표인 연율화 점수(기준 ①)는 +38.8% 대 +68.2%로 크게 졌다.
어떻게 방향을 더 잘 맞히는데 점수가 낮을 수 있나. 우리 점수는 맞힌 횟수가 아니라 맞힌 날의 가격 변동 크기까지 반영하기 때문이다. 기존 봇은 크게 움직인 날들을 몇 번 맞혔고, 실험 봇은 자잘한 날들을 더 자주 맞혔다. 어느 쪽이 진짜 실력인지는 이 표본만으로 단정하기 어렵다. 큰 변동일을 맞히는 것이 실력일 수도, 운일 수도 있다.
판정은 사전 기준대로 했다. 셋 중 둘(②·③)을 충족했으므로 승급이고, 절차는 기존 봇에 흡수됐다. 다만 두 가지를 기록으로 남긴다. 하나, 정면대결 25건은 큰 표본이 아니어서 “명확한 우세”라기보다는 이번 표본에서 겨냥한 방향 판단 지표가 모두 실험 봇 쪽으로 움직였다는 수준이다. 둘, 수익률 환산 점수는 밀렸다. 승급이 곧 만점이라는 뜻은 아니다.
정직하게 구분해 둘 것이 하나 더 있다. 이 실험의 출발점은 “뉴스 톤 추종을 줄이자”였지만, 이번 판정에서 잰 것은 편향 그 자체가 아니라 최종 예측 성능이다. 적중률이 오른 이유가 정말 뉴스 편향이 줄어서인지, 절차가 바뀌며 다른 방식으로 판단하게 돼서인지는 이 숫자들만으로 구분할 수 없다.
차트 봇: 통제 실험이 아닌 참고 사례
같은 원리를 가장 극적으로 받은 것은 차트 봇이다. 기술적 지표만 보고 1주 방향을 예측하는 이 봇은 재설계 전까지 판정 87건에서 적중률 41%, 연율화 점수(예측 성적을 1년치 수익률로 환산한 대표 점수) -20.9%로, 개선이 아니라 수술이 필요한 상태였다.
수술 전에 봇이 아니라 재료부터 채점했다. 10년치 일봉으로 자산마다 간단한 통계 모델을 만들어, 우리가 쓰는 차트 피처에 예측 신호가 있는지 본 것이다. 판별력 지표인 AUC 기준(0.5가 무작위 수준)으로 금 0.602, 나스닥 0.556, 코스피 0.534에는 약한 신호가 있었고, S&P 500(0.431)과 비트코인(0.445)에서는 거의 잡히지 않았다. 적어도 우리 피처와 이 모델 조합에서는 자산별 차이가 컸다는 것이고, 그게 시장 효율성 차이 때문인지 피처가 특정 자산에 더 잘 맞아서인지는 아직 구분할 수 없다.
그 위에 근거 점수화 절차를 얹어 봇을 다시 만들었는데, 이때는 여러 가지가 동시에 들어갔다. 다섯 번 독립 판단 후 다수결, 입력 구조 정리, 출력 서식 단순화까지. 만드는 과정에서 배운 것도 있다. 근거 목록을 중첩된 구조(목록 안에 목록이 들어가는 JSON 서식)로 출력하게 했더니 Gemma가 같은 글자를 무한 반복하며 무너졌고, 구조를 납작하게 펴고 실패 시 낮은 온도로 재시도하게 한 뒤에야 안정됐다. 적어도 이번 세팅에서는, 작은 모델에게 복잡한 서식과 판단을 동시에 시키면 안 됐다.
재설계 이후 현재까지 판정 25건에서 적중률 60%, 연율화 +12.9%다. 아직 표본이 작아 방향만 보는 단계이고, 현재까지는 개선된 모습이다. 다만 분명히 해 둘 것은, 이 개선을 근거 점수화 하나의 효과로 읽으면 안 된다는 점이다. 변수 여러 개가 동시에 바뀌었으므로 차트 봇은 “이런 방향의 재설계가 살아남았다”는 참고 사례이고, 절차 하나의 효과를 잰 본 실험은 변수를 하나만 바꾼 Gemma와 Claude 라인이다.
운영에서 배운 것
고백 하나. 판정 예정일은 8월 4일이었는데 실제 판정은 8월 16일에 했다. 열이틀, 거의 2주를 그냥 지나친 것이다. 판정일이 계획 문서 구석에만 적혀 있어서 매일의 작업 목록과 연결되지 않았던 게 원인이었다. 이 사건 뒤로 날짜가 있는 운영 일정을 한곳에 모아 두고 매일 대조하는 장치를 만들었다. 실험은 달력이 아니라 시스템이 챙겨야 한다.
이번 회차에서 배운 것 넷
첫째, 같은 처방의 효과는 모델에 따라 달랐다. 근거 점수화는 Claude에게는 생각을 받쳐주는 발판이었고 Gemma에게는 짐이었다. 프롬프트 기법을 “좋은 기법”과 “나쁜 기법”으로 나누는 건 의미가 없고, 어떤 모델에 얹느냐까지가 기법의 일부다.
둘째, 방향을 이기는 것과 점수를 이기는 것은 다르다. 적중률과 정면대결로는 이기면서 수익률 환산 점수로는 질 수 있다. 무엇으로 승급을 판단할지 미리 정해 두지 않았다면 이번 판정은 자의적이 됐을 것이다.
셋째, 목표한 편향과 평가 지표는 구분해야 한다. 이번에 고치려던 것은 뉴스 톤 추종이었지만 실제로 잰 것은 예측 성능이었다. 편향 자체를 재려면 뉴스 톤과 예측 방향의 결합도를 따로 봐야 한다.
넷째, 실험 운영도 실력이다. 판정일을 열이틀 놓친 건 모델 탓이 아니라 사람 탓이었다. 날짜가 있는 일정은 이제 시스템이 챙긴다.
기각된 절차는 폐기했고, 실험 봇들은 쉬지 않고 다음 방법을 태워 재가동한다. 결과는 이 일지에 계속 기록한다. 봇들의 오늘 성적은 리더보드에서 실시간으로 볼 수 있고, 채점 방식은 방법론 페이지에 정리돼 있다.