Το λογισμικό backtesting έχει σχεδιαστεί για να προσομοιώνει πόσο καλά θα είχε λειτουργήσει μια συγκεκριμένη στρατηγική συναλλαγών σε μια συγκεκριμένη προηγούμενη περίοδο. Η ιδέα είναι να δώσουμε κάποια εικόνα για το πόσο καλά θα λειτουργούσε η ίδια στρατηγική στο μέλλον, αν και εξ ορισμού αυτό μπορεί να είναι μόνο μια πρόβλεψη. Τα κλειδιά για την επιλογή του σωστού λογισμικού backtesting περιλαμβάνουν την αποφυγή μεταγνωστικού λάθους, την αναζήτηση επιλογών προσαρμογής και την αποφυγή λογισμικού που παράγεται από τα ίδια άτομα που πωλούν ένα σύστημα συναλλαγών.
Ο πιο θεμελιώδης κανόνας για την επιλογή λογισμικού backtesting είναι να χρησιμοποιείτε πακέτα που σας επιτρέπουν να χρησιμοποιείτε αποκλειστικά δεδομένα που θα ήταν διαθέσιμα εκείνη τη στιγμή. Εάν δεν το κάνετε αυτό, δημιουργείται ένα στατιστικό πρόβλημα που είναι γνωστό ως μεταγνωστικό σφάλμα, που σημαίνει ότι η ανάλυση δεν αντικατοπτρίζει τον τρόπο με τον οποίο ένας έμπορος θα είχε λάβει πραγματικά αποφάσεις κατά την υλοποίηση μιας στρατηγικής. Ένα παράδειγμα αυτού θα ήταν εάν το λογισμικό λειτουργούσε μόνο με τιμές κλεισίματος. αυτή δεν είναι μια ρεαλιστική κατάσταση, καθώς μέχρι να γίνει διαθέσιμη αυτή η τιμή για τον υποθετικό έμπορο να έχει λάβει μια απόφαση, η αγορά θα είχε κλείσει!
Ο πιο ακριβής τρόπος για να αποφευχθεί το μεταγνωστικό σφάλμα είναι να πραγματοποιήσετε τον backtest εξ ολοκλήρου χειροκίνητα. Καθώς αυτό συνήθως δεν είναι πρακτικά αποτελεσματικό, είναι σημαντικό να χρησιμοποιείτε λογισμικό που επιτρέπει όσο το δυνατόν περισσότερη προσαρμογή. Γενικά, όσο πιο αυτοματοποιημένο και άκαμπτο είναι το λογισμικό, τόσο πιο πιθανό είναι να περιλαμβάνει μεταγνωστικό σφάλμα.
Ένας άλλος χρήσιμος τρόπος χρήσης λογισμικού backtesting είναι να αναζητήσετε εφαρμογές που διευκολύνουν την επανεκτέλεση της ανάλυσης με μια μεταβλητή που έχει αλλάξει. Για παράδειγμα, ένας έμπορος μπορεί να σχεδιάζει μια στρατηγική που περιλαμβάνει την πώληση οποιασδήποτε μετοχής έχει χάσει το 35% της αξίας της. Μια καλή εφαρμογή θα μπορεί να δείξει γρήγορα ποια διαφορά θα είχε γίνει στα αποτελέσματα εάν ο έμπορος είχε πουλήσει αντ’ αυτού οποιαδήποτε μετοχή έχασε το 50% της αξίας του. Εκτός από τον έλεγχο του κατά πόσο τα βασικά στοιχεία μιας στρατηγικής φαίνονται σωστά, αυτή η προσαρμογή διευκολύνει τον έλεγχο μιας στρατηγικής έναντι των περιορισμών της ανθρώπινης φύσης. Ενώ ένας έμπορος μπορεί να πιστεύει ότι η πτώση του 35% είναι «αντικειμενικά» το καλύτερο σημείο για να πουλήσει, μπορεί να συνειδητοποιήσει ότι εάν εφαρμόσει τη στρατηγική στην πραγματικότητα, θα μπει στον πειρασμό να αφήσει τη μετοχή να πέσει περαιτέρω με την ελπίδα ενός ανάκαμψη, απλώς και μόνο επειδή μπορεί να είναι δύσκολο να παραδεχτείς την ήττα.
Οι έμποροι θα πρέπει να είναι ιδιαίτερα επιφυλακτικοί με οποιοδήποτε λογισμικό backtesting που παράγεται από μια εταιρεία που πουλάει επίσης συμβουλές σχετικά με το σύστημα συναλλαγών που θα χρησιμοποιηθεί. Εν μέρει αυτό οφείλεται στο γεγονός ότι τέτοιες εταιρείες θα μπουν στον πειρασμό να χρησιμοποιήσουν μια ρύθμιση backtesting που είναι ειδικά σχεδιασμένη για να δείχνει ότι το σύστημά τους λειτουργεί καλά. Αλλά ακόμα και όταν οι εταιρείες δεν ενεργούν τόσο κυνικά, μπορεί να συμβαίνει ότι οι περιορισμοί του λογισμικού backtesting που έχουν χρησιμοποιήσει έχουν επηρεάσει την επιλογή της προτεινόμενης στρατηγικής συναλλαγών.