Istnieją trzy główne podejścia do strategii testowania historycznego: wykorzystanie danych o rzeczywistych cenach podzielonych na trzy grupy; bootstrap, który wykorzystuje rzeczywiste dane cenowe, ale ponownie je analizuje; i symulacja Monte Carlo. Istnieją teoretyczne kwestie, które dzielą konstruktorów systemów w kwestii wyboru najlepszej metody. Dla tradera ważne jest to, że prawidłowo stosuje co najmniej jedną ze strategii testowania wstecznego w swoim systemie, zanim powierzy mu swój kapitał handlowy. Kluczową kwestią przy wyborze strategii weryfikacji historycznej jest liczba wygenerowanych transakcji; co najmniej 1,000 transakcji jest potrzebnych w każdej fazie pracy konstruktora systemu.
Korzystanie z danych dotyczących rzeczywistych cen, podzielonych na trzy części, jest zwykle punktem wyjścia dla większości producentów systemów. System jest tworzony przy użyciu pierwszej jednej trzeciej danych. W tym momencie konstruktor znalazł algorytmy, które wydają się generować wystarczający zysk przy wystarczająco małym ryzyku, aby oferować dobre perspektywy. Druga jedna trzecia danych jest wykorzystywana do optymalizacji systemu.
Po zoptymalizowaniu systemu zostanie on zastosowany do pozostałej jednej trzeciej danych. Nazywa się to testowaniem out-of-sample i jest to miejsce, w którym większość systemów zawodzi. Jeśli system nadal ma dobre wyniki w co najmniej 1,000 transakcjach, twórca systemu ma opłacalny system. Jeśli system generuje mniej niż 1,000 transakcji w testach out-of-sample, konstruktor powinien rozważyć inną strategię backtestingu.
Bootstrapping to metoda pobierania niektórych danych z całego zestawu, testowania, ponownego wprowadzania danych i pobierania większej ilości danych lub ponownego próbkowania i ponownego testowania. Idealna liczba prób to nn lub n do n-tej potęgi, gdzie n to liczba danych w oryginalnej próbce. Dla tradera, który prawdopodobnie ma do czynienia z co najmniej 2,500 punktami danych — 250 dni w roku przez 10 lat — jest to niepraktyczne. Na szczęście 100 powtórnych próbek zapewni wysoki poziom pewności, że próbka bootstrap będzie odzwierciedlać oryginalne dane, dzięki czemu wyniki będą wiarygodne. Jeśli pobranie 100 resamplingów nie zapewni wymaganych 1,000 transakcji, trader musi kontynuować resampling, dopóki ten cel nie zostanie osiągnięty, jeśli oczekuje, że system, a nie tylko resampling danych, będzie wiarygodny.
Ostatnią metodą strategii backtestingu jest symulacja Monte Carlo (MC). Ta metoda wykorzystuje komputer do generowania symulowanych danych, a następnie system jest testowany na tych danych. Zaletą symulacji MC jest to, że można tworzyć nieograniczone ilości danych, co pozwala wygenerować 10,000 XNUMX transakcji lub dowolną inną liczbę transakcji. Kolejną zaletą jest to, że każdy nowy zestaw danych jest poza próbką. Daje to możliwość przeprowadzenia wielokrotnych optymalizacji i testów; po prostu zoptymalizuj na tym zestawie danych, a następnie zastosuj te parametry systemowe do następnych danych generowanych przez komputer.
Wadą symulacji MC jest to, że dane mogą nie mieć dokładnie tej samej funkcji rozkładu prawdopodobieństwa, co dane handlowe, co może zniekształcić wyniki. W najlepszym ze wszystkich możliwych światów wszystkie trzy strategie testowania historycznego powinny być wykorzystywane w procesie weryfikacji systemu. Sukces we wszystkich trzech powinien oferować bardzo wysokie prawdopodobieństwo sukcesu w handlu w świecie rzeczywistym.