Конспект беседы.
"И как вы определяете, что данная конкретная система не является подгонкой под историю?
Как вы отобрали свои текущие системы для того, чтобы ставить их на реал?
По каким критериям их отбирали? И почему вы в них были настолько уверены, чтобы доверить им свои деньги?"
0. перестать курвафиттить, начать изучать рынок
1. двойной OOS. (Out-Of-Sample)
2. методика правильного построения системы.
3. от 200-300 сделок в тесте.
4. читаем форумы http://forex.kbpauk.ru/
http://blog.quantquant.com/
http://quantquant.com/
Отвечу кратко.
1. OOS позволяет значительно снизить вероятность курвафиттинга.
2. Я не знаю ни одного грамотного трейдера, который бы отвергал OOS. Читайте ссылки, которые дал.
OOS в моем понимании.
Тестируем и ищем системы оптимизируем в период с года g1=2000г по год g2=2010г.
OOS в данном случае возьмем с g3=2011г по год g4=2014г.
Даты условны в примере, g1<g2<=g3<g4. Для систем, которые нашли на периоде (g1,g2) далее проводим проверку на периоде (g3,g4), если на (g3,g4) система плохо себя вела, то бракуем. По сути OOS попытка имитировать работу системы в реале.
Достаточно двух частей, три лучше, то что я называл двойной OOS=2*OOS.
Еще раз.
Исследуем, выдвигаем гипотезы, строим и оптимизируем систему на одном отрезке времени. Проходим проверку на другом. Это очевидным образом позволяет отбраковывать некачественное. Но гарантий нет, что отбраковали ВСЁ некачественное. Что-то может проскользнуть, но процент брака существенно снижается. Третий период, еще больше снижает процент брака. Но процент брака остается.
Это метод снижения количества брака, снижения вероятности курвафитта. НО метод не является панацеей и не дает гарантий. Это один из приемов правильного бэктеста и только.
Это обычная научная методология. Человеку не доступно большее.
Наблюдаем ряд явлений, делаем гипотезы, проверяем соответствие гипотезы и реальности на экспериментах.
Дык я ж изначально писал, что
"конечно не панацея, уменьшает вероятности иллюзий"
"1. OOS позволяет значительно снизить вероятность курвафиттинга."
т.е. уменьшает вероятность ошибки, но вероятность ошибки больше 0 остается.
Типа была вероятность ошибки 0.5, а стала 0.1, благодаря методике OOS. И это уже хорошо. )
ps текст полной беседы смотрите в комментах http://jc-trader.livejournal.com/1439384.html
Новый-старый подход к оптимизации торговых систем
http://ubertrader.livejournal.com/1