Dobre napísaný trhový brief môže byť chybný spôsobom, ktorý sa ťažko hľadá. Próza sa číta dobre, úvaha znie rozumne a jeden vstup je potichu nesprávny. Pri AI systéme, ktorý referuje o trhoch, bežné kontroly kvality zamerané na text skutočné riziko minú. NOVAQ preto namiesto prózy skontroloval vstupy.
Systém
Intradenný analytický agent skladá viacvrstvový obraz trhu a píše štruktúrovaný brief, s približne 93 plánovanými oknami za obchodný deň. Každý brief čerpá z veľkej sady vypočítaných polí o cene, úrovniach, režime, stave session a kalendári.
Kontrola
Všetkých 253 polí odovzdávaných briefu sa nezávisle prepočítalo zo surových dát. Prvé kolo potvrdilo 202. Našlo 17 nezhôd, 28 významových problémov a 6 hodnôt, ktoré sa nedali overiť. Nasledovali tri kolá opráv a živý audit potom skontroloval 60 balíkov počas skutočných session.
Významová lekcia
Najpoučnejších bolo tých 28 významových problémov. Číslo mohlo byť správne, a predsa zavádzať. Úroveň pod cenou nemôže byť cieľom nad ňou, model s holým číslom však musí hádať, čo znamená, a schopný model hádá vierohodne. Trvalá oprava išla do dátovej vrstvy: každé pole dnes nesie svoj smer a rolu. Význam patrí do dát.
Výsledok
Čitateľ môže sledovať každé tvrdenie k poľu a každé pole k jeho zdroju. Agent nemá oprávnenie zadávať príkazy a jeho spoľahlivosť stojí na overených vstupoch.
Prečo na tom záleží
Väčšina práce na kvalite AI sa sústreďuje na prompty. V tomto projekte priniesli väčšie zlepšenia dáta, ktoré model dostáva. Rovnaká zásada platí pre experta postaveného na znalostiach, ktorého vstupy sú verzované a hashované.
Obmedzenia
Overenie polí pokrýva správnosť vstupov, nie kvalitu záverov z nich. Brief nemá oprávnenie zadávať príkazy.