좋은 파라미터는 봉우리가 아니라 고원 위에 있습니다

백테스트에서 제일 좋은 설정을 찾았다고 해봅시다. 그 값을 그대로 쓰면 될까요.

설정 하나만 유독 좋다면 쓰면 안 됩니다. 이유를 실제 데이터로 설명합니다.

왜 봉우리는 위험한가

파라미터 40가지를 돌려서 제일 좋은 걸 고르면, 그 설정은 과거 데이터의 우연한 요철에 맞춰졌을 가능성이 큽니다.

동전을 40번 던져 앞면이 가장 많이 나온 사람을 뽑으면, 그 사람이 동전을 잘 던지는 게 아니라 그냥 운이 좋았던 겁니다. 파라미터 탐색도 똑같습니다. 충분히 많이 시도하면 아무 의미 없는 설정도 좋아 보입니다.

수치로 감을 잡아보면 이렇습니다. 진짜 우위가 전혀 없는 전략이라도, 서로 독립적인 설정 40개를 시험하면 그중 하나가 순전히 운으로 상위 2.5%에 들 확률은 63%가 넘습니다. 백테스트 화면에서 값을 몇 번 바꿔보는 것만으로도 이 정도는 금방 도달합니다.

시험한 설정 수와 운으로 좋아 보일 확률

반대로 이웃한 설정들도 비슷하게 좋다면 이야기가 달라집니다. 우연이 이웃까지 전부 좋게 만들 확률은 낮습니다. 그건 진짜 구조가 있다는 신호입니다.

비유하자면 이렇습니다. 산봉우리 하나가 뾰족하게 솟아 있으면 한 걸음만 잘못 디뎌도 굴러떨어집니다. 넓은 고원 위에 서 있으면 어디로 몇 걸음 가도 높이가 비슷합니다. 실전은 항상 한 걸음 어긋납니다. 미래의 시장은 과거와 정확히 같지 않으니까요.

물타기 설정을 40가지 조합(낙폭 트리거 5종 × 계좌 수 4종 × 기준 2종)으로 돌리고, 추가금만 바꿔 세 번 반복했습니다.

1차: 추가금 $10,000
2차: 추가금  $5,000
3차: 추가금  $2,500

추가금이 네 배 차이 나면 결과 자체는 당연히 달라집니다. 그런데 순위는 어땠을까요.

세 번 모두 1위가 같았습니다. 그리고 1~12위 조합이 세 번 다 동일한 집합이었습니다. 전부 트리거 −10%나 −15%에 계좌 3~5개였습니다.

넓은 고원입니다. 조건을 크게 바꿔도 좋은 영역이 그대로 남았다는 뜻이고, 그 영역이 과거 데이터의 우연이 아니라는 증거입니다.

타임컷 값만 바꿔 돌린 결과입니다. SOXL 16년치, A2 표준 전략입니다.

타임컷별 누적 수익률 — 봉우리의 모습

20일이 30일보다 1.6배 높습니다. 그런데 60일로 가면 다시 올라갑니다.

단조롭지 않습니다. 20일이 특별히 좋을 이유가 구조적으로 없는데 혼자 튀어 있다면, 그건 그 값이 과거의 특정 몇 번의 반등 타이밍과 우연히 맞았다는 뜻입니다.

이 표를 보고 "타임컷은 20일이 최적"이라고 결론 내리면 안 됩니다. 인접한 30일이 크게 나쁘다는 사실 자체가 경고입니다.

같은 데이터에서 트리거 −25%와 −30%는 계좌 수를 3개로 하든 5개로 하든 결과가 완전히 같았습니다. 기준을 바꿔도 같았고요.

이건 고원이 아니라 아무 일도 안 일어난 것입니다. 트리거가 너무 깊어서 거의 켜지지 않았고, 그래서 어떤 설정을 써도 기준 전략과 다를 게 없었습니다.

"결과가 안정적이다"와 "기능이 작동하지 않는다"는 겉보기에 비슷합니다. 설정을 바꿨는데 결과가 한 자릿수 소수점까지 똑같다면 후자를 의심하십시오.

이 사이트는 필터를 켜면 "차단일 며칠"을 같이 보여줍니다. 차단일이 0이면 그 필터는 켜져 있어도 아무 일도 안 하고 있는 겁니다.

이 사이트에서 파라미터를 ±20%씩 흔들어보십시오.

결과가 크게 흔들리면 그 설정은 쓰면 안 됩니다. 반토막이 난다면 거기서 멈추십시오.

판단 기준을 하나 드리자면 이렇습니다.

±20% 흔들었을 때 수익률이 30% 이상 움직이면 그 설정은 봉우리입니다.

엄밀한 기준은 아니지만 실무에서는 충분히 걸러집니다.

파라미터를 흔드는 것만으로는 부족합니다. 30개년 성적으로 연도별 결과를 보십시오. 한 해가 전체 수익을 다 만들었다면 그것도 봉우리입니다. 그 해가 좋았던 것이지 전략이 좋았던 게 아닙니다.

확인 방법은 간단합니다. 가장 좋았던 해 하나를 빼고 평균을 다시 내보십시오. 평균이 절반 이하로 떨어지면 그 전략은 사실상 그 한 해짜리입니다.

넓은 고원 위에 있어도 그 고원을 언제 찾았는지가 남습니다. 과거 데이터를 다 보고 나서 고원을 찾았다면, 그건 여전히 과거에 맞춘 것입니다.

이 함정은 파라미터 흔들기로 못 잡습니다. 필요한 건 워크포워드 검증입니다. 저희가 만든 전략이 이 검증에서 어떻게 무너졌는지는 백테스트가 좋게 나왔을 때 제일 먼저 해야 할 검증에 전부 적어 두었습니다.

고원인지 봉우리인지와 별개로, 그 판단의 근거가 몇 번의 관찰에서 나왔는지를 세어 보셔야 합니다.

"금리 인상기에 이 전략이 유효하다"고 말하려면 인상기가 몇 번 있었는지 세야 합니다. 2010년 이후 SOXL 기준으로 네 번입니다. 네 번 중 세 번 이겼다고 해서 그게 통계는 아닙니다. 동전을 네 번 던져 앞면이 세 번 나오는 일은 흔합니다.

이 사이트의 글에 "표본 몇 일", "에피소드 몇 개"를 굳이 적어 두는 이유입니다. 숫자보다 그 숫자가 몇 번의 관찰에서 나왔는지가 먼저입니다.