overfitting

Hva er overfitting?

Overfitting er en modelleringsfeil som oppstår når en funksjon er for tett tilpasset et begrenset sett med datapunkter. Overfitting av modellen har vanligvis form av å lage en altfor kompleks modell for å forklare idiosynkrasier i dataene som ble undersøkt.

I virkeligheten har dataene som ofte studeres en viss grad av feil eller tilfeldig støy i seg. Dermed kan forsøk på å få modellen tilpasse seg for tett til litt unøyaktige data infisere modellen med vesentlige feil og redusere dens forutsigbarhet.

[Viktig: Finansiere må alltid være klar over farene ved å overmontere en modell basert på begrensede data.]

Forstå Overfitting

For eksempel er et vanlig problem å bruke datamaskinalgoritmer til å søke i omfattende databaser med historiske markedsdata for å finne mønstre. Gitt nok studie er det ofte mulig å utvikle forseggjorte teoremer som ser ut til å forutsi ting som avkastning i aksjemarkedet med nøye nøyaktighet.

Imidlertid, når de brukes på data utenfor prøven, kan slike teoremer sannsynligvis vise seg å være bare tilpasning av en modell til det som i virkeligheten bare var tilfeldigheter. I alle tilfeller er det viktig å teste en modell mot data som er utenfor prøven som ble brukt til å utvikle den.

Viktige takeaways

• Overfitting er en modelleringsfeil som oppstår når en funksjon er for tett tilpasset et begrenset sett med datapunkter.
• Økonomiske fagpersoner må alltid være klar over farene ved å overpasse en modell basert på begrensede data.

Sammenlign Navn på leverandør av investeringskontoer Beskrivelse Annonsørens avsløring × Tilbudene som vises i denne tabellen er fra partnerskap som Investopedia mottar kompensasjon fra.

Relaterte vilkår

Hvorfor statistisk betydning betyr Statistisk betydning refererer til et resultat som sannsynligvis ikke vil oppstå tilfeldig, men heller kan tilskrives en spesifikk årsak. mer Slik fungerer datautjevning Datautjevning gjøres ved å bruke en algoritme for å fjerne støy fra et datasett. Dette gjør at viktige mønstre skiller seg ut. Utjevning av data kan brukes til å hjelpe forutsi trender, for eksempel de som finnes i verdipapirpriser. mer Eksempel En prøve er en mindre, håndterbar versjon av en større gruppe. Prøver brukes i statistisk testing når bestandsstørrelsene er for store. mer Heteroskedastisitet I statistikk skjer heteroskedastisitet når standardavvikene til en variabel, overvåket over en bestemt tidsperiode, er ikke-konstante. mer Lesing i stratifisert tilfeldig prøvetaking Stratifisert tilfeldig prøvetaking er en metode for prøvetaking som involverer inndeling av en befolkning i mindre grupper kjent som lag. mer Hvordan enkle tilfeldige prøver fungerer En enkel tilfeldig prøve er en delmengde av en statistisk populasjon der hvert medlem av undergruppen har samme sannsynlighet for å bli valgt. En enkel tilfeldig prøve er ment å være en objektiv representasjon av en gruppe. mer Partnerkoblinger