Som så ofta med ny teknologi dyker det upp nya begrepp och koncept. I denna artikel vill vi översiktligt förklara ett begrepp som kan vara bra att ha koll på i en beslutsfattande roll kopplad till AI: LLMOps.
Vad är LLM?
Låt oss börja med att klargöra lite terminologi.
“LLM” står för Large Language Model (språkmodell på svenska), vilket är teknologin bakom exempelvis ChatGPT, och “Ops” refererar till Operations. Exempel på Large Language Models är t ex GPT 3.5 Turbo och GPT-4 Turbo ifrån OpenAI, eller Claude från Antropic, Gemini från Google m fl.
Large Language Models, eller språkmodell, kan enklast förklaras som en “Machine Learning-modell” som är tränad för att förstå och generera mänskligt språk på en avancerad nivå. Dessa modeller benämns “stora” eftersom de är tränade på enorma mängder textdata och har miljarder parametrar.
Språkmodeller (LLM) är ett delområde inom Deep Learning (en form av Machine Learning) och berör även området Generativ AI, som också är ett delområde inom Deep Learning. Ibland används dessa begrepp löst för att beskriva varandra, men det är viktigt att skilja mellan en språkmodell och generativ AI. Dessa termer betyder generellt olika saker beroende på sammanhanget.
Den enklaste distinktionen mellan begreppen är att språkmodeller (LLM) hänvisar till en “Machine Learning-modell” som kan förstå och generera språk, medan generativ AI (GenAI) innefattar alla typer av “Machine Learning-modeller” som kan generera språk, bilder, kod, ljud och så vidare.
Generativ AI är därför ett bredare begrepp som inkluderar språkmodellernas förmåga att generera språk.
Om du vill fördjupa dig inom språkmodeller (LLM) och hur de fungerar på en detaljerad, rekommenderar vi Gustav Söderströms briljanta genomgång (se videon nedan).
LLMOps: Ett nytt namn för etablerade principer
Begreppet kanske är nytt, men principerna är det inte. Uppgifterna inom LLMOps förekommer redan i stor utsträckning inom IT och Machine Learning och liknande roller och uppgifter finns även inom till exempel marknadsföring.
LLMOps, eller Large Language Models Operations, handlar om att hantera en rad löpande och specialiserade frågor. Dessa kan röra drift, förvaltning, optimering, effektivitet, skalbarhet och riskhantering av produkter och applikationer som baseras på ”Stora språkmodeller” (Large Language Models eller LLM).
LLMOps-processer har utvecklats successivt i takt med att användningen av LLM har ökat. Faktum är att sedan lanseringen av ChatGPT har LLM blivit alltmer populärt.
Fler och fler företag påbörjar projekt som involverar denna teknologi, vilket innebär att de behöver investera i relevant kompetens. Detta är nödvändigt för att kunna hantera de olika utmaningar och problem som kan uppstå i samband med användning av LLM.
Risker och strategier med LLM:s i produktion
Utöver det intensiva arbetet som krävs för att utveckla en initial produkt, finns det en mängd strategier och aktiviteter som behöver tillämpas när produkten har nått produktionsstadiet. Det finns nämligen olika risker som är förknippade med applikationer i produktionsmiljö.
Dessa kan till exempel innefatta hantering av begränsningar i språkmodeller, såsom rate limits, de kostnader som kan uppstå, latency problematik, hantering av fakta, samt risker kring så kallad prompt injection eller hijacking och kvaliteten på den genererade outputen.
Det finns ett antal exempel på viktiga aktiviteter inom ramen för LLMOps, inklusive kontinuerlig monitorering av systemet, optimering av prompts för att förbättra interaktionen, orkestrering av språkmodeller för att säkerställa rätt balans och effektivitet, samt olika former av kontextoptimering för att förbättra systemets förmåga att hantera och reagera på olika situationer.
Vi tänker utforska dessa områden mer ingående i en kommande artikel, där vi kommer att dyka djupare in i varje område och ge användbara insikter och råd för att optimera din LLMOps-strategi.
Vår erfarenhet och fokus på LLMOps
På talking to me har vi, genom vår specialisering inom AI, omfattande erfarenhet av att hantera “traditionella” chatt- och voicebotar som en del av vår tjänst AI Maintenance Service ™. Mycket av detta arbete har berört liknande löpande optimeringsfrågor kopplat till Natural Language Processing (NLP) men som nu behöver anpassas för nästa generation av teknologin.
I samband med att generativ AI och LLM har fått sitt stora genombrott har vi lagt stort fokus på att bygga kompetens inom LLMOps. Mycket är naturligtvis nytt, men vi har kunnat utveckla mycket från våra befintliga rutiner och specialistkunskap kring optimering, riskhantering och effektivisering men även kring analys och att skapa (GDPR-säkrat) affärsvärde av den användardata som genereras i applikationerna.
Vem behöver kompetens inom LLMOps och varför?
Den som planerar att sätta LLM-baserade produkter i produktion behöver en tydlig plan för hur denna produkt ska förvaltas. Denna förvaltning i sig kräver specialistkompetens som många bolag behöver bygga upp gradvis – alternativt är det något man outsourcar eller skapar en hybridlösning för.
Talking to me erbjuder såväl fullt outsourcad LLMOps eller möjligheten att hyra in specialiserade team inom området för gradvis ökad intern kompetens. Kostnaden för välskött LLMOps täcks mer än väl in av de besparingar som görs i termer av lägre kostnader till språkmodellsleverantörer och säkrade kundupplevelser.
Här hittar du resurser för att lära dig mer
Det är värt att notera att det finns många guider och utbildningar om språkmodeller, generativ AI och LLMOps. Om du är intresserad av att fördjupa dina kunskaper inom detta ämne, så finns det några resurser som vi rekommenderar:
Kolla gärna in följande:
Vanliga frågor och svar
LLM står för Large Language Model, vilket är teknologin bakom exempelvis ChatGPT.
Språkmodeller (LLM) är en “Machine Learning-modell” som kan förstå och generera språk, medan Generativ AI innefattar alla typer av “Machine Learning-modeller” som kan generera språk, bilder, kod, ljud och så vidare.
LLMOps, eller Large Language Models Operations, handlar om att hantera en rad löpande och specialiserade frågor som kan röra drift, förvaltning, optimering, effektivitet, skalbarhet och riskhantering av produkter och applikationer som baseras på ”Stora språkmodeller” (Large Language Models eller LLM).
LLM kan förstå och generera mänskligt språk på en avancerad nivå, vilket möjliggör mer naturliga och effektiva interaktioner med användare. De kan också anpassas för att fungera på flera olika språk och domäner.
Några av utmaningarna med att använda LLM i produktion just nu kan till exempel vara hantering av rate limits, driftkostnader, hastighet, faktagranskning, datakvalitet, samt risker kopplade till så kallad prompt injection eller hijacking och att säkerställa god kvalitet på genererat svar.
