TECH
Att hitta diamanter i Minecraft har fram till nu varit svårt för ai-system.
Foto: Microsoft/Mojang
Deepminds AI har lärt sig spela Minecraft – helt på egen hand
Världarna i det svenska succéspelet är enormt stora och slumpmässigt genererade. Men nu har Google Deepmind ai-system Dreamer lärt sig hur man bemästrar dem.
På biodukar världen över kan vi för tillfället se Jack Black spela huvudrollen i A Minecraft Movie. Samtidigt har Dreamer, en ny ai-modell från Google Deepmind, börjat spela huvudrollen i spelet Minecraft.
– Dreamer utgör ett betydande steg på vägen mot generella ai-system, säger Danijar Hafner, dataforskare på Google Deepmind, till den vetenskapliga tidskriften Nature.
Diamanter är den mest sällsynta tillgången i spelet Minecraft. På senare år har brytning av den digitala ädelstenen dessutom blivit ett betydelsefullt riktmärke inom ai-forskningen.
Minecraft består av enormt stora och slumpmässigt genererade världar och att anförskaffa diamanter kräver åtgärder i många steg. Med andra ord utgör spelet en betydande utmaning för ai-modeller.
Tidigare ai-system har lärt sig att spela Minecraft efter att ha serverats videor där människor spelar, eller med hjälp av instruktioner. Dreamer fick klara sig utan det stödet. I en vetenskaplig artikel i Nature, där resultaten publicerats, skriver Google Deepmind att Dreamer sannolikt är den första algoritmen som lyckats samla diamanter på det sättet.
Skapar en världsmodell
Med förstärkningsinlärning (reinforcement learning) fick modellen utforska och lära sig förstå världen för egen maskin. Men istället för att planlöst prova olika strategier byggde Dreamer upp en inre modell av spelvärlden – en sorts världsmodell – vilket gjorde att den kunde förutse konsekvenser innan den agerade.
Den inre modellen var nödvändig med tanke på att forskarna nollställde varje spelomgång efter 30 minuter (en tidsgräns som baserats på hur lång det tar för mänskliga spelare att hitta diamanter) . Dreamer fick börja om – i en ny Minecraft-värld. Den kunde däremot generalisera tillräckligt väl för att använda kunskap från tidigare omgångar i den nya världen.
– Det gick inte att bara memorera en specifik strategi, säger Danijar Hafner till Nature.
Efter nio dagars speltid lyckades den komma över sin första diamant.
Det yttersta målet är förstås inte att få ai-system att bli bra på Minecraft, utan att ge dem förmåga att generalisera över långa tidshorisonter. Det ökar chansen att skapa ai-modeller som kan göra praktisk nytta i den verkliga världen.
