Doorzoek de gemeenschap

In de dynamische wereld van kunstmatige intelligentie is het momenteel een drukte van belang. Veel mensen raken het overzicht kwijt, en deze week komt er nog een nieuwe speler op de markt: Mistral Small 3. Dit model belooft hoe kleinere AI-systemen toch in staat zijn om groot te denken. De democratisering van generatieve AI is gaande. Het Chinese DeepSeek-R1 biedt gratis ‘redenerende’ AI-vaardigheden aan, en daarmee komt de dominantie van de Amerikaanse AI-giganten onder druk te staan. Ook het Franse Mistral AI doet goede zaken met zijn nieuwste aanwinst, Mistral Small 3, dat met indrukwekkende prestaties komt. Dit model wordt uitgebracht onder de Apache 2.0-licentie, wat gebruikers de vrijheid geeft om volop te experimenteren. Met 24 miljard parameters is het aanzienlijk kleiner dan concurrenten zoals Alibaba’s Qwen 2.5 (32B) en Llama 3.3 (70B), maar het blijkt in menselijke evaluaties niet onder te doen voor deze grotere modellen. De benchmarkresultaten bevestigen dit, ondanks dat deze cijfers niet alles zeggen. Mistral verwacht dat er voor dit nieuwe model wellicht iets meer werk nodig is dan voor het open-source supermodel DeepSeek-R1. De aangeboden checkpoints, waaronder een Mistral Small-variant met training en eentje die is geoptimaliseerd voor instructies, vereisen nog wat extra inspanning, bijvoorbeeld op het gebied van redeneren. Het zal vermoedelijk niet lang duren voordat iemand Mistral Small 3 laat leren van de uitkomsten van DeepSeek-R1, een proces dat bekendstaat als distillatie . Is het écht klein? Met 24 miljard parameters kan Mistral Small 3 draaien op een enkele Nvidia RTX 4090 of een Macbook met 32GB RAM. Voor wie genoegen neemt met een snelheid van ongeveer 2 tokens per seconde, zijn er ook mogelijkheden op Windows of Linux met een GPU en 32GB RAM. Lokale AI-oplossingen zoals Ollama kiezen automatisch de beschikbare hardware. Toch is deze ‘small language model’ niet zo klein als het lijkt. Mistral maakte in 2023 zijn debuut met Mistral 7B, dat op bijna elke moderne pc snel kan draaien. De meeste AI-modellen bevinden zich rond een balans van 12 tot 14 miljard parameters, zoals Microsoft’s Phi-4, en presteren opmerkelijk goed voor hun formaat. Voor gebruikers die AI in een embedded omgeving willen draaien, zijn er zelfs minuscule modellen zoals Google’s Gemma 2B of Qwen 2.5 (0.5B). Alles is relatief, maar Mistral definieert ‘klein’ tegenwoordig als wat werkbaar is op een redelijk krachtige pc zonder internetverbinding. Nu AI-bedrijven meer praktijkervaring hebben, blijkt dat het formaat niet de enige bepalende factor is voor hoogwaardige output. Zowel Mistral AI als Microsoft benadrukken dat hun kleinere modellen zijn uitgerust met hoogwaardige trainingsdata. De uitdrukking “garbage in, garbage out” is hier zeker van toepassing. Kijk maar naar de vaak grote Gemini-modellen die falen bij zoekresultaten omdat ze zonder aarzeling een sarcastische Reddit-post overnemen. Mistral Small streeft ernaar de ‘perplexity’ van het model te minimaliseren, oftewel het moet zo zeker mogelijk zijn van het volgende te genereren woord. Dit kan bereikt worden door een kleiner model te distilleren met een groter model als ‘leermeester’. Mistral Small kan bijvoorbeeld leren van Mistral Large hoe het tot een zinnig antwoord komt, een proces dat steeds beter lijkt te lukken, mede dankzij de distillaties van DeepSeek voor kleinere Alibaba Qwen- en Meta Llama-modellen. Kijkend naar de bredere context, zal Mistral Small 3 vooral in West-Europa waarschijnlijk goed worden ontvangen. Het model aarzelt namelijk niet om gevoelige onderwerpen zoals Taiwan of de Oeigoeren te bespreken. Bovendien presteert Small 3 beter in andere talen dan bijvoorbeeld DeepSeek-R1, wat niet verrassend is gezien het Franse karakter van Mistral AI. Mocht er een BLEU-test worden uitgevoerd op alle kleinere modellen (een toets voor machinevertalingen), dan kunnen we verwachten dat Mistral Small 3 bovenaan de ranglijst staat of daar dicht bij in de buurt komt. Desondanks kan Mistral Small 3 perfect worden gecombineerd met de lessen die DeepSeek-R1 de AI-wereld heeft geleerd. In de officiële aankondiging van het model geeft Mistral aan dat het mooi aansluit op R1 binnen het open-source ecosysteem. Deze uitwisseling van academische bevindingen is volgens Mistral-CEO Arthur Mensch cruciaal voor de voortgang van generatieve AI. Mensch, die eerder als onderzoeker bij Google DeepMind werkte, en wiens mede-oprichters ervaring hebben bij Facebook, heeft oog voor het belang van samenwerking binnen de industrie. Mistral AI bereidt ondertussen een beursgang voor. Het bedrijf is ‘niet te koop’, aldus Mensch, en heeft plannen om uit te breiden in Europa, Oost-Azië en de VS. Medio 2024 werd het bedrijf gewaardeerd op 5,8 miljard euro, met onder meer Nvidia, Cisco en Samsung als investeerders. Mistral heeft zich al bewezen als pionier in AI-innovaties, en was vroeg bij met het Mixture-of-Experts-principe, dat een kritieke basis vormde voor de efficiëntie van DeepSeek-R1. Met deze aanpak worden niet alle parameters in een model geactiveerd bij een vraag, maar alleen de delen die een nuttige output kunnen genereren op basis van de input. De release van DeepSeek heeft veel teweeggebracht. Wall Street raakte tijdelijk in de war omdat het leek dat de enorme uitgaven op AI-gebied minder noodzakelijk waren dan voorheen. Waarom miljarden uitgeven als je met enkele miljoenen een state-of-the-art model kunt ontwikkelen? De werkelijkheid is echter complexer; OpenAI’s o1 presteert doorgaans beter in de praktijk. Bovendien zal het Stargate-project in de VS zorgen voor minder latency, krachtigere LLM’s en mogelijk een grotere AI-voorsprong voor de grote Amerikaanse techbedrijven. Toch hoeven we niet te geloven dat de toekomst uitsluitend in gesloten systemen ligt. Het Amerikaanse Meta is een uitzondering met zijn open-weights Llama-modellen, terwijl DeepSeek, Mistral, Alibaba en vele andere partijen al ongeveer twee jaar hun werk delen met de open-sourcegemeenschap. Menscher wijst erop dat deze bedrijven niet de spelbrekers zijn van hun gesloten concurrenten. Tot 2020 was er vrijwel onbeperkte toegang tot de mijlpalen van AI-labs wereldwijd. Hij stelt dat dit kantelpunt te maken heeft met de ontdekking dat er snel geld te verdienen viel met generatieve AI. Na de lancering van ChatGPT door OpenAI eind 2022, gevolgd door de release van GPT-4 begin 2023, heeft de concurrentie een enorme sprong voorwaarts gemaakt, ondanks dat de onderliggende technologie nog niet perfect functioneert, volgens Mensch. Misschien komen we nu, begin 2025, weer bij een kantelpunt: moet iedereen zijn AI-onderzoek weer open en bloot delen? “Dit is een cyclus die we al eerder hebben gezien tussen openheid en geslotenheid, ook in de software-industrie,” zegt Mensch. Sterker nog, we zien nog steeds dat veel open-source projecten in de afgelopen jaren zijn getransformeerd tot ‘source-available’ oplossingen, zoals Red Hat Enterprise Linux en, recent, de Fluent Assertions library. Op het gebied van AI vindt Mensch het nog te vroeg om de innovatie op die manier te beperken. In conclusie, Mistral Small 3 lijkt een waardevolle aanvulling op de AI-ecosystemen te zijn. Het biedt gebruikers de mogelijkheid om te experimenteren met krachtige functionaliteiten zonder de afhankelijkheid van grote, gesloten systemen. De toekomst van AI blijft onvoorspelbaar, maar met voortdurende innovaties en een sterke nadruk op open-source samenwerkingen kan de industrie zich wellicht verder ontwikkelen in een richting die zowel toegankelijk als geavanceerd is.