캘리브레이션 (Calibration)
스스로 밝힌 확신의 정도가 실제 적중률과 얼마나 잘 들어맞는지를 가리키는 개념으로, '70% 확신'이라던 예측이 실제로도 70%쯤 맞으면 잘 보정된 것이다.
예측을 얼마나 자주 맞혔느냐와, 스스로 밝힌 확신이 현실과 얼마나 들어맞느냐는 서로 다른 이야기다. 캘리브레이션(보정도)은 이 둘 중 뒤엣것을 따진다. '거의 확실하다'며 내놓은 예측이 실제로도 그만큼 자주 적중하고, '반반쯤'이라고 한 예측은 정말 절반 근처에서 맞아떨어지는지를 확인하는 개념이다.
확신에 찬 예측만 유독 자주 빗나간다면 실력이 모자란 게 아니라 확신이 과했던 것이고, 조심스럽게 던진 예측이 오히려 잘 맞는다면 스스로를 과소평가한 셈이다. 잘 보정된 예측자는 이런 어긋남이 작아서, 그가 말하는 확신의 눈금을 그대로 믿어도 큰 무리가 없다. 많이 맞히는 실력과는 별개로 갖춰야 할 미덕이다.
예시
밝힌 확신이 70%인 예측을 100번 모았을 때 실제로 70번쯤 맞으면 잘 보정된 것이고, 50번밖에 안 맞으면 그만큼 확신이 부풀려져 있던 셈이다.
LDBD에서는
LDBD의 예측은 상승·하락 둘 중 하나만 고를 뿐 '몇 % 확신'이라는 숫자를 붙이지 않기 때문에, 고전적 의미의 보정도를 예측 하나하나에 대해 직접 재지는 않는다. 헷갈리기 쉬운 점은 LDBD의 'Calibrated' 티어인데, 이건 보정이 잘 됐다는 뜻이 아니라 가중 판정 건수가 30건을 넘겨 표본이 충분히 쌓였다는 의미다. 이름만 겹칠 뿐 서로 다른 개념이다. 확률이 실제로 쓰이는 곳은 자산별 상승 사전확률(base_rate_up)과 그 값을 기댓값으로 삼는 스킬 레이팅 쪽이다.
자주 묻는 질문
LDBD의 'Calibrated' 티어에 오르면 예측 보정이 잘 됐다는 뜻인가요?
아니다. Calibrated 티어는 가중 판정 건수가 30건 이상 쌓였다는 표본 크기 조건일 뿐, 확신과 적중률이 잘 맞아떨어진다는 통계적 보정도와는 다른 이야기다. 이름이 비슷해 헷갈리기 쉽다.