AI agent, ktorý píše kód, je presvedčivý recenzent vlastnej práce. Vie plynulo vysvetliť, prečo je zmena správna, a plynulé vysvetlenie nie je dôkaz. Keď AI agenti preberajú viac inžinierstva a výskumu, obmedzujúcim faktorom sa stáva nezávislé overovanie, a NOVAQ sa rozhodol postaviť túto schopnosť ako samostatný systém.
Návrh
Osem rolí pracuje ako tím: orchestrácia, red team, stratégia, pravidlá účtov, simulácia, exekúcia, vývoj a kontrola kvality. Red team existuje na to, aby závery napádal a reprodukoval od nuly. Práca prebieha cez súborové tikety a ledger, do ktorého sa len pripisuje, takže históriu každého rozhodnutia možno neskôr prečítať.
Všetko určujú tri pravidlá. Výsledok bez manifestu neexistuje: beh musí zaznamenať svoje vstupy s hashmi, kód, prostredie a výstupy, a nezaznamenaný výsledok sa nedá citovať. Každý záver potrebuje druhý podpis od iného agenta. A roj predvolene len číta, pričom každý zásah do živého systému vyžaduje výslovný súhlas operátora. Opravy idú cez samostatný cyklus vývoja a revízie a potrebujú vlastné potvrdenie.
Osem rolí okolo jedného zaznamenaného ledgeru
Rozsah
Od 5. septembra roj dokončil 758 behov, 311 overovacích súborov a približne 100 číslovaných nálezov. Forenzika histórie zmien zmapovala 1 707 relevantných commitov a prepojila 598 záznamov o defektoch zo siedmich zdrojov, s úplnosťou overenou kanárikom a obojstranným vzorkovaním. NOVAQ tak má prepojený pohľad na to, ako sa systém menil a prečo.
Čo zachytil
Najcennejšie boli zlyhania, ktoré nevyvolajú chybu, teda tie, ktoré bežné testy a monitoring ukážu zriedka. Patrila k nim rodina problémov s časovými pásmami, ktorá posunula jednu kotvu o hodiny, preskočené signály bez stopy na 18 miestach volania a zamrznuté dátové cesty, ktoré sa stále čítali. Zvonka vyzerá každý z týchto prípadov ako normálna prevádzka.
Kontroluje aj sám seba
Roj zistil, že varianty jedného signálu sa počítali ako viac obchodov. Po oprave už rodina stratégií, ktorá vyzerala horšie, neukazovala robustný rozdiel od backtestu. Audítorský systém, ktorý vie zrevidovať vlastné závery, si zaslúži väčšiu dôveru než taký, ktorý nálezy len pridáva.
Od auditu k inžinierstvu
V októbri roj získal roly vývoja a kontroly kvality, čím sa z neho stala úplná slučka zlepšovania. Z tejto slučky vzišlo zrýchlenie exekúcie, s kontrolou zhodných výstupov pri každej dávke. Rovnaké pravidlá reprodukovateľnosti podporujú aj presnú reprodukciu obchodov.
Prečo na tom záleží
Audítorský roj ukazuje, že multiagentná AI dokáže viac než generovať kód. S jasnými rolami, zaznamenanými dôkazmi a samostatným potvrdzovaním vie vykonávať dlhodobé, posúditeľné overovanie na reálnom systéme. Návrh sa dá použiť v každom zložitom softvéri, v ktorom chyby ostávajú tiché.
Obmedzenia
AI audítori môžu zdieľať slepé miesta s AI stavbármi, najmä keď model jedného dodávateľa kontroluje vlastný výstup. Poslednou autoritou ostáva ľudský operátor.