AI-startup Cognition lanceert autonome software engineer 'Devin'

De pas opgerichte AI-startup Cognition, ondersteund door Peter Thiel’s Founders Fund en techleiders zoals voormalig Twitter-executive Elad Gil en Doordash mede-oprichter Tony Xu, heeft een volledig autonome AI-software engineer genaamd ‘Devin’ gepresenteerd. Hoewel er meerdere codeerassistenten bestaan, onderscheidt Devin zich met het vermogen om volledige ontwikkelingsprojecten van begin tot eind te beheren.

Wat kan Devin doen?

Volgens een blogpost van Scott Wu, de oprichter en CEO van Cognition, kan Devin algemene ontwikkelingstools gebruiken om complexe technische taken uit te voeren. De menselijke gebruiker typt een natuurlijke taalprompt in de chatbot-stijl interface van Devin, waarna de AI-software engineer een gedetailleerd stapsgewijs plan ontwikkelt om het probleem aan te pakken. Devin kan zijn eigen code schrijven, problemen oplossen, testen en in realtime rapporteren over zijn voortgang. Mochten er problemen zijn, kan de gebruiker via de chatinterface een opdracht aan de AI geven om dit te corrigeren.

Devin versus andere AI-assistenten

In de SWE-bench test, waarbij AI-assistenten worden uitgedaagd met GitHub-problemen van echte open-source projecten, kon de AI-software engineer 13,86% van de gevallen volledig zelf oplossen. Ter vergelijking, Claude 2 kon slechts 4,80% oplossen, terwijl SWE-Llama-13b en GPT-4 respectievelijk 3,97% en 1,74% van de problemen aankonden.

Stappen vooruit in AI en softwareontwikkeling

Hoewel AI in softwareontwikkeling niet nieuw is, gaat Cognition een stap verder door een volledige AI-werker aan te bieden die volledige projecten kan afhandelen. Hoewel de tool nog getest moet worden, is het vermogen om meerdere stappen te doorlopen om een software engineering project te voltooien, het grootste unieke verkooppunt. Cognition heeft niet gedeeld hoe ze dit precies hebben bereikt en of het zijn eigen model of dat van een derde partij gebruikt.

Momenteel is het bedrijf bezig met het opvoeren van de capaciteit en biedt het vroege toegang tot Devin alleen aan geselecteerde gebruikers. Er wordt verwacht dat in een later stadium bredere toegang mogelijk zal zijn. Cognition merkt ook op dat coderen “slechts het begin” is, wat lijkt te wijzen op plannen om soortgelijke AI-agenten/werkers voor andere disciplines te lanceren. Het bedrijf heeft tot nu toe 21 miljoen dollar aan financiering ontvangen.