Claude 2 och långa dokument — äntligen

Anthropic släppte Claude 2 förra veckan och jag har testat det rätt intensivt. Det stora är att man nu kan mata in upp till 100 000 tokens i ett och samma sammanhang. För att sätta det i perspektiv: det är ungefär 75 000 ord, eller en hel årsredovisning med god marginal.

Det löser ett problem som jag har gnagt på länge. ChatGPT med GPT-4 klarar 8 000 tokens i standardversionen, 32 000 om man har tillgång till den utökade varianten. Det räcker för ett hyresavtal eller en kort rapport men inte för att analysera ett helt bokslut eller jämföra två årsredovisningar mot varandra.

Jag testade med en årsredovisning från ett börsnoterat fastighetsbolag, matade in hela dokumentet och ställde frågor. “Vilka är de tre största riskerna som nämns i förvaltningsberättelsen?” fick ett svar som var helt korrekt. “Jämför kassaflödet från den löpande verksamheten med föregående år och identifiera de viktigaste förändringarna” fungerade också bra. Det tog lite tid att bearbeta men svaren var relevanta.

Det jag gillar med Claude jämfört med ChatGPT är att den är mer försiktig med att hitta på saker. Om den inte hittar svaret i dokumentet säger den det istället för att gissa. För oss som jobbar med ekonomi och behöver kunna lita på svaren är det en viktig egenskap.

Nackdelen är fortfarande att Claude saknar Code Interpreter. Man kan inte ladda upp Excel-filer och få dataanalys gjord. Så för numerisk analys är ChatGPT fortfarande bättre. Men för texttunga uppgifter, avtalsgranskning, policyanalys, genomgång av längre rapporter, har Claude blivit mitt förstahandsval.

Meta släppte också Llama 2 som open source den här månaden vilket är intressant men inte direkt relevant för oss som inte har en IT-avdelning som kan drifta egna modeller. Bra för den som vill experimentera hemma dock.