Každý kvantitatívny výsledok stojí na vrstve dátových rozhodnutí, ktoré čitateľ nevidí. Keď sa výsledok zmení, prvá otázka znie, či sa zmenil kód alebo dáta. Bez odpovede sa z výskumu stáva spor. NOVAQ postavil základ, ktorý na túto otázku odpovedá, v troch krokoch.
Prečo sú futures dáta ťažké
Futures kontrakt expiruje, takže dlhú cenovú históriu treba zložiť z mnohých kontraktov. Pri každom rolovaní prechádza séria z jedného kontraktu na ďalší a oba sa obchodujú za iné ceny. Zle spracovaný šev vytvorí bary zo zlého kontraktu, falošné skoky a nafúknutú volatilitu a to všetko potichu pretečie do features, modelov a backtestov.
Čistý korpus
Mesačný rozpad atraktívnej štúdie ukázal takmer celý zisk v mesiacoch rolovania. Bary iného kontraktu boli v 37 zo 64 rollovacích okien a prejavovali sa ako skoky o 250 až 320 bodov za minútu. NOVAQ postavil sériu nanovo z jednotlivých kontraktov.
Dôležité sú dve rozhodnutia. Séria nie je spätne upravená, lebo upravené ceny sa nikdy neobchodovali a pozícia držaná cez rolovanie túto medzeru skutočne zažije. A spiky sa nefiltrujú, lebo filter potrebuje kritérium toho, aká mala byť realita, a prudké pohyby okolo správ sú skutočné obchodné podmienky.
Skoky nad 150 bodov klesli zo 6 541 na 108 pri zachovaní 99,9 % z približne 5,5 milióna barov. Porovnanie starých a nových features ukázalo, že sa líšilo 282 z 301, lebo falošný skok nafúkne každú mieru škálovanú volatilitou na celé týždne. Malá chyba v surových dátach sa dostala takmer do všetkého, čo na nich stálo.
Čistý súvislý korpus: falošné skoky a zasiahnuté features
Audit celej dátovej krajiny
Vedieť, že jedna séria je čistá, nestačí, keď projekt drží mnoho kópií a verzií. V októbri audit zmapoval 341 992 súborov, 41 verzií dát a 13 256 úložných miest a zaznamenal, ktoré procesy čítajú ktorú verziu. Medzi približne 11 miliónmi živých minútových barov nenašiel žiadny zmiešaný, čo zopakovali tri samostatné implementácie. Syntetický test miešania zachytil 5 z 5 podstrčených prípadov, čo ukazuje, že detektor funguje a že dáta sú čisté.
Presná reprodukcia
Na zafixovanej snímke sa 87 260 obchodov naprieč 66 nohami znovu postavilo s nulovými rozdielmi v hodnotách. Výsledok sa dá kedykoľvek vytvoriť nanovo a každý neskorší rozdiel možno vystopovať k jeho príčine.
Prečo na tom záleží
Tento základ nesie všetko ostatné na tomto webe. Portfóliová analýza, výskum session aj migrácia živého enginu sa opierajú o schopnosť presne povedať, z akých dát výsledok pochádza.
Obmedzenia
Na prepísanom živom archíve klesol medián zhody na 92,4 %, čo je zmyslom celého cvičenia: identita platí na zafixovaných vstupoch a rozdiel potom patrí dátam.