Backtesting og Fremover Testing: Betydningen av korrelasjon

Handlere som er ivrige etter å prøve en handelsidé i et levende marked, gjør ofte feilen å stole helt på backtesting-resultater for å avgjøre om systemet vil være lønnsomt. Selv om backtesting kan gi handelsmenn verdifull informasjon, er det ofte misvisende, og det er bare en del av evalueringsprosessen.

Test uten test og fremføringstesting gir ytterligere bekreftelse på systemets effektivitet og kan vise systemets virkelige farger før reelle penger er på banen. God korrelasjon mellom backtesting, out-of-sample og fremtidig resultattesting er avgjørende for å bestemme levedyktigheten til et handelssystem. (Vi tilbyr noen tips om denne prosessen som kan hjelpe deg med å avgrense de nåværende handelsstrategiene. For å lære mer, les: Backtesting: Interpreting the Past .)

Grunnleggende om testing

Backtesting viser til anvendelse av et handelssystem på historiske data for å bekrefte hvordan et system ville ha prestert i løpet av den angitte perioden. Mange av dagens handelsplattformer støtter backtesting. Næringsdrivende kan teste ideer med noen få tastetrykk og få innsikt i effektiviteten av en idé uten å risikere midler på en handelskonto. Backtesting kan evaluere enkle ideer, for eksempel hvordan en glidende gjennomsnittlig crossover ville fungere på historiske data, eller mer komplekse systemer med en rekke innganger og triggere.

Så lenge en idé kan kvantifiseres, kan den testes på nytt. Noen handelsmenn og investorer kan søke kompetanse fra en kvalifisert programmerer for å utvikle ideen til en testbar form. Vanligvis involverer dette en programmerer som koder ideen til det proprietære språket som er vert for handelsplattformen. Programmereren kan innlemme brukerdefinerte inngangsvariabler som lar den næringsdrivende "finjustere" systemet. Et eksempel på dette vil være i det enkle bevegelige gjennomsnittsovergangssystemet som er nevnt ovenfor: Handleren vil kunne legge inn (eller endre) lengdene til de to glidende gjennomsnittene som brukes i systemet. Den næringsdrivende kunne backtest for å bestemme hvilke lengder av bevegelige gjennomsnitt ville ha fungert best på de historiske dataene.

Optimaliseringsstudier

Mange handelsplattformer åpner også for optimaliseringsstudier. Dette innebærer å legge inn et område for den angitte inngangen og la datamaskinen "gjøre regnestykket" for å finne ut hvilken inngang som ville ha fungert best. En optimalisering med flere variabler kan gjøre matematikk for to eller flere variabler for å bestemme hvilke kombinasjoner som ville oppnådd det beste resultatet. For eksempel kan handelsmenn fortelle programmet hvilke innspill de vil legge til i strategien sin; disse vil da bli optimalisert til sine ideelle vekter gitt de testede historiske data.

Backtesting kan være spennende ved at et ulønnsomt system ofte magisk kan forvandles til en pengegående maskin med noen få optimaliseringer. Dessverre fører det til at et justering av et system for å oppnå størst mulig nivå av fortidens lønnsomhet ofte fører til et system som vil prestere dårlig i reell handel. Denne overoptimaliseringen skaper systemer som bare ser bra ut på papiret.

Kurvepassing er bruk av optimaliseringsanalyse for å skape det høyeste antall vinnende handler med størst fortjeneste på de historiske dataene som ble brukt i testperioden. Selv om det ser imponerende ut i backtesting-resultater, fører kurvepassing til upålitelige systemer siden resultatene egentlig er spesialdesignet for den bestemte data og tidsperiode.

Backtesting og optimalisering gir mange fordeler for en næringsdrivende, men dette er bare en del av prosessen når du evaluerer et potensielt handelssystem. En handelsmanns neste trinn er å bruke systemet på historiske data som ikke har blitt brukt i den første backtestingfasen.

In-sample versus out-of-sample data

Når du tester en ide om historiske data, er det en fordel å reservere en periode med historiske data til testformål. De første historiske dataene som ideen testes og optimaliseres på, blir referert til som data i utvalget. Datasettet som er reservert er kjent som data uten data. Dette oppsettet er en viktig del av evalueringsprosessen fordi den gir en måte å teste ideen på data som ikke har vært en komponent i optimaliseringsmodellen. Som et resultat vil ideen ikke på noen måte ha blitt påvirket av data uten prøven, og handelsmenn vil være i stand til å bestemme hvor godt systemet kan fungere på nye data, dvs. i handel i virkeligheten.

Før de igangsetter en eventuell backtesting eller optimalisering, kan handelsmenn sette av en prosentandel av de historiske dataene som skal reserveres for testing uten prøve. En metode er å dele opp de historiske dataene i tredjedeler og adskille en tredjedel for bruk i testen utenfor prøven. Bare data i prøven skal brukes til den første testen og for optimalisering. Figur 1 viser en tidslinje der en tredjedel av de historiske dataene er reservert for testing uten-prøven, og to tredjedeler blir brukt til prøven i prøven. Selv om figur 1 viser dataene uten prøven i begynnelsen av testen, ville typiske prosedyrer ha delen utenfor prøven umiddelbart før fremføringen.

Figur 1: En tidslinje som representerer den relative lengden på in-sample og out-of-sample data brukt i backtesting prosessen.

Korrelasjon refererer til likheter mellom forestillingene og de samlede trender i de to datasettene. Korrelasjonsmålinger kan brukes til å evaluere strategiytelsesrapporter som er opprettet i løpet av testperioden (en funksjon som de fleste handelsplattformer gir). Jo sterkere sammenhengen mellom de to, jo bedre er sannsynligheten for at et system vil prestere godt i fremtidig ytelsestesting og live trading.

Figur 2 illustrerer to forskjellige systemer som ble testet og optimalisert på data i prøven, og deretter brukt på data utenfra prøven. Diagrammet til venstre viser et system som tydelig var kurvetilpasset for å fungere bra på dataene i prøven og fullstendig mislyktes på dataene uten prøven. Diagrammet til høyre viser et system som fungerte bra på både inn- og ut-fra-prøvedata. Når et handelssystem har blitt utviklet ved bruk av data i utvalget, er det klart til å brukes på ut-fra-prøvedata. Næringsdrivende kan evaluere og sammenligne resultatresultatene mellom dataene i utvalget og uten utvalget.

Figur 2: To aksjekurver. Handelsdataene før hver gule pil representerer testing i utvalget. Handlene som ble generert mellom de gule og røde pilene indikerer testing utenfor prøven. Handlene etter de røde pilene er fra fremdriftsprøvingsfasene.

Hvis det er liten sammenheng mellom in-sample og out-of-sample testing, som det venstre diagrammet i figur 2, er det sannsynlig at systemet har blitt overoptimalisert og ikke vil fungere godt i live trading. Hvis det er sterk korrelasjon i ytelsen, som sett i det rette diagrammet i figur 2, involverer den neste fasen av evalueringen en ekstra type ut-fra-prøvetesting, kjent som fremtidig ytelsestesting. (Hvis du vil ha mer informasjon om prognoser, se: Finansiell prognose: Den bayesiske metoden .)

Grunnleggende om fremføring av testprestasjoner

Fremover ytelsestesting, også kjent som papirhandel, gir handelsmenn et annet sett uten data-ut-data for å evaluere et system. Fremover ytelsestesting er en simulering av faktisk handel og innebærer å følge systemets logikk i et live marked. Det kalles også papirhandel siden alle handler kun utføres på papir; det vil si at handelsoppføringer og -utganger er dokumentert sammen med noe overskudd eller tap for systemet, men ingen reelle handler utføres.

Et viktig aspekt ved fremføringstestingstesting er å følge systemets logikk nøyaktig; Ellers blir det vanskelig, om ikke umulig, å evaluere dette trinnet i prosessen nøyaktig. Næringsdrivende bør være ærlige om handel og avganger og unngå oppførsel som handel med kirsebærplukk eller ikke å inkludere papirhandel som rasjonaliserer at "jeg ville aldri tatt den handelen." Hvis handelen ville ha skjedd etter systemets logikk, bør den dokumenteres og evalueres.

Mange meglere tilbyr en simulert tradingkonto der handler kan plasseres og det tilsvarende resultatet og beregnes. Ved å bruke en simulert tradingkonto kan du skape en semi-realistisk atmosfære som du kan øve på å handle på og vurdere systemet videre.

Figur 2 viser også resultatene for fremføringstesting på to systemer. Igjen klarer ikke systemet som er representert i det venstre diagrammet, langt utover den innledende testingen på data i prøven. Systemet vist i høyre diagram fortsetter imidlertid å prestere godt gjennom alle faser, inkludert fremføringstesting. Et system som viser positive resultater med god sammenheng mellom in-sample, out-of-sample og forward performance testing er klar for å bli implementert i et live marked. (Se også: Fordeler og ulemper ved papirhandel .)

Bunnlinjen

Backtesting er et verdifullt verktøy tilgjengelig i de fleste handelsplattformer. Å dele historiske data i flere sett for å sørge for testing i utvalget og uten prøve kan gi handelsmenn et praktisk og effektivt middel for å evaluere en handelsidee og et system. Siden de fleste handelsmenn bruker optimaliseringsteknikker i backtesting, er det viktig å evaluere systemet på rene data for å bestemme levedyktigheten.

Å fortsette testen uten prøve med fremtidig ytelsestesting gir et annet lag med sikkerhet før du setter et system i markedet og risikerer reelle kontanter. Positive resultater og god sammenheng mellom tilbaketesting og utprøving av prøven og fremover ytelse øker sannsynligheten for at et system vil prestere godt i faktisk handel. (For en omfattende oversikt over teknisk analyse, se: Grunnleggende om teknisk analyse .)