Codex našiel tri chyby, ktoré dve kolá kontroly pustili ďalej

Dve kolá od Fable

Claudovu analýzu som nechal skontrolovať modelom Fable 5.1. Prvé kolo bolo na obsah, druhé na to, či tomu porozumie niekto, kto o projekte nič nevie. Fable našiel pár vecí, Claude ich opravil a analýza vyzerala hotová. Čisté texty, tabuľky, odporúčanie, päť rozhodnutí pre mňa.

Fable je ale tiež model od Anthropicu. Rovnaká rodina ako Claude, podobný spôsob uvažovania. Čo jeden považuje za rozumný predpoklad, druhý väčšinou tiež.

Desať bodov od Codexu

Potom som dal Claudovu analýzu prečítať Codexu, ktorý mal hotovú tú svoju. Vrátil desať bodov, F1 až F10. Tri z nich boli faktické chyby, ktoré prešli oboma kolami Fable:

• Hranica 14 bodov. Claude ju odvodil z cieľa „odchýlka ±5 bodov“. Lenže v našej metodike je ten cieľ len zapísaný. Nikto ho nikdy neoveril.
• Veta pre firmy v pilote. Analýza odporúčala povedať im, že rozdiel do 10 bodov je bežné kolísanie. To by bol sľub zákazníkovi, ktorý nemáme čím podložiť.
• Tvrdenie „±3 body“ z letných dát. Tých 298 výsledkov z leta ukazuje, ako sa líšia rôzni ľudia. O tom, ako kolíše jeden človek pri opakovanom teste, nehovoria nič.

Codex navyše zbadal, že technická príloha a záznam rozhodnutí visia verejne na webe spolu s analýzou. Stiahli sme ich.

Zmenilo to celé odporúčanie. Pôvodne tam bolo merať rast ako nové overené zručnosti a postaviť rebríček s 12 stupňami. Po oprave ukazujeme level s príkladmi z práce, na ktorých stojí, a rast tvrdíme len tam, kde máme porovnateľný podklad pred aj po. Pre firmy v pilote analýza teraz odporúča Codexovu formuláciu: veľkosť odchýlky zatiaľ nepoznáme, takže rozdiel bodov nepredkladáme ako rast.

Kontrola opačným smerom

Fér je povedať, že to funguje aj naopak. Claude dostal Codexovu analýzu a začal tým, v čom je lepšia než jeho vlastná. Priznal, že prehliadol rozpor v našom prompte: jeden riadok zakazuje, aby cieľ používateľa ovplyvnil skóre, a o pár riadkov nižšie sa podľa cieľa vyberajú podklady, z ktorých sa skóre počíta.

Codexovi zase vytkol, že vôbec nepoužil naše vlastné dáta. Pritom sme vedeli, že prepočet 20 starších testov zmenil level v štyroch z nich a že interný test v septembri dal tomu istému vstupu 68 až 97 bodov podľa toho, ktorý model hodnotil.

Z oboch analýz potom vznikol jeden spoločný návrh. Nič nové v ňom nie je, každý krok pochádza z jednej z nich. Ja som sa rozhodoval medzi doloženými návrhmi a nie medzi tromi verziami toho istého.

Nálezy s číslom

Kontrola funguje, keď má tvar. Kontrolór nepíše vlastnú verziu. Vypíše nálezy a každý očísluje. Autor potom odpovedá bod po bode: prijaté, prijaté čiastočne alebo odmietnuté, čo zmenil a kde to overil.

Claude prijal všetkých desať bodov, dva z nich čiastočne. Pri každom napísal, v ktorom súbore a na ktorom riadku si výtku overil. Pri niektorých nebolo čo dohľadať, lebo išlo o logiku, tak to tam stojí aj takto.

Prepísanú verziu som dal Fable ešte raz. Potvrdil, že chybné tvrdenia sú preč, a našiel tri ďalšie vážne veci: meno zákazníka vo verejnom texte, zručnosti ukazované skôr, než pre ne existujú kritériá, a slovo „pilot“ v dvoch významoch. Veľký prepis je skoro nový text, takže potrebuje novú kontrolu.

Pull requesty a druhý model

Pri kóde to robím každý deň, len menej slávnostne. Kódu väčšinou nerozumiem, takže si ho nechávam vysvetliť. Čo napísal Codex, kontroluje Opus v Claude Code. Čo napísal Claude, kontroluje Codex. Pri plánoch väčšej práce si modely posielajú plán tam a späť tri, štyri kolá.

Pri veľkých zmenách na platforme to nestačí. Tam púšťam 5x5 review, kde päť agentov kontroluje z rôznych pohľadov a ďalších päť overuje ich nálezy priamo v kóde. A potom si celú cestu používateľa preklikám sám, lebo žiadne review neoverí, či to dáva zmysel človeku, ktorý to používa.

Pravidlá krížovej kontroly

1. Autor a kontrolór sú od rôznych firiem. Claude kontroluje Codex, Codex kontroluje Clauda. Model z rovnakej rodiny ako autor mi tie tri chyby pustil ďalej dvakrát.
2. Kontrolór dostane podklady, nielen text. Bez metodiky a dát by Codex nemal s čím porovnať hranicu 14 bodov.
3. Nálezy majú čísla a autor na každý odpovie. Inak sa stratia v dlhej odpovedi a nikto nevie, čo je vybavené.
4. Kontrolór nepíše vlastnú verziu. Keď prepisujú obaja, nikdy to neskončí.
5. Po veľkom prepise ide nové kolo. Opravy prinášajú nové chyby, u mňa to bolo meno zákazníka.
6. Čísla a sľuby zákazníkom kontrolujem najprísnejšie. Tam je chyba najdrahšia.

Ako rozdeliť autora a oponenta a kedy sa druhý agent vôbec oplatí, sme rozpísali na blogu Aibility.