신뢰구간 (95% Confidence Interval)
표본에서 계산한 평균 성적이 실제로는 어느 범위에 있을지를 오차까지 감안해 보여주는 구간으로, LDBD는 95% 신뢰구간이 0을 벗어나면 실력을 Verified로 인정한다.
공식
95% 신뢰구간 = 평균 ± 1.96 × 표준편차 / √n (n = 판정 완료된 예측 수)
리더보드에 찍힌 평균 성적은 표본에서 계산한 값이라, 판정된 예측 수가 적으면 진짜 실력이 아니라 운으로 잘 나왔을 수도 있다. 신뢰구간은 이 불확실성을 감안해 '진짜 평균이 대략 어디쯤 있을까'를 하나의 값이 아니라 범위로 보여준다. 표본이 많아질수록(n이 커질수록) 구간은 좁아지고, 그만큼 추정은 더 믿음직해진다.
LDBD는 각 예측자의 95% 신뢰구간을 계산해 그 구간이 0을 완전히 벗어나면 ✓Verified로 표시한다. 구간이 0을 포함하면 '실력이 없음(0)'과 통계적으로 구분되지 않는다는 뜻이고, 0을 넘어서면 우연만으로 설명하기 어려운 실제 우위가 있다고 본다. 이 값은 신뢰도 표시와 Verified 뱃지에만 쓰이며, 랭킹에서 누구를 빼는 데는 쓰이지 않는다.
예시
평균 a = 0.40, 표준편차 = 1.2, n = 40이면 여유폭은 1.96 × 1.2/√40 ≈ 0.37. 구간이 [0.03, 0.77]로 0을 넘어서므로 Verified가 된다.
LDBD에서는
LDBD의 3단계 신뢰도 티어(Rookie → Calibrated → Verified) 중 마지막 관문이 바로 이 신뢰구간이다. 판정된 예측이 충분히 쌓여 95% 신뢰구간이 0을 완전히 벗어나면 ✓Verified 뱃지가 붙는데, 성적이 우연(0)으로 설명되지 않는 실제 우위라는 뜻이다. 신뢰구간은 랭킹 순위 자체를 바꾸거나 누구를 리더보드에서 제외하는 데는 전혀 쓰이지 않고, 오직 신뢰도 표시와 Verified 판정에만 쓰인다.
자주 묻는 질문
신뢰구간이 0을 포함하면 실력이 없다는 뜻인가요?
꼭 그렇진 않다. 아직 예측 수가 적어 우연과 구분할 만큼 증거가 모이지 않았다는 쪽에 가깝다. 예측이 더 쌓이면 구간이 좁아지므로, 진짜 우위가 있다면 결국 0을 벗어나게 된다.