Groq är för närvarande en stor nyhet inom artificiell intelligens och har fått stor uppmärksamhet i digitala medier, speciellt på sociala nätverket X där dess offentliga tester snabbt blev virala genom att visa upp dess imponerande datorhastighet och responsförmåga. Denna AI har visat sig ha överlägsna egenskaper jämfört med OpenAIs välkända chatbot, ChatGPT.
Den här nya AI-språkmodellen lovar att eliminera behovet av GPU:er för databehandling. Lär dig nu exakt vad Groq är och hur du använder det!
Vad är Groq?
Groq är en extremt snabb AI-svarsmotor som kan formulera faktabaserade och välunderbyggda svar på hundratals ord på mindre än en sekund. Medan mer än tre fjärdedelar av processortiden går åt till att söka information, snarare än att generera den, fungerar LLM (stora språkmodeller) på en bråkdel av en sekund med Groq.
Detta nya AI-språk har utvecklats med ett specialanpassat ASIC-chip (Application Specific Integrated Circuit) för stora språkmodeller. Detta möjliggör generering av cirka 500 tokens per sekund.
Jämfört med ChatGPT 3.5, den allmänt tillgängliga versionen av modellen, kan denna bara generera cirka 40 tokens per sekund.
Groq utvecklades av Groq Inc., som hävdar att de skapat den första Language Processing Unit (LPU), som tillåter deras modell att köras utan de dyra och begränsade grafikprocessorer (GPU) som vanligtvis krävs för andra AI-modeller.
Konkurrens med Elon Musks Grok
En intressant detalj är att företaget inte är nytt på marknaden, det grundades redan 2016, samma år som de registrerade AI Groq. Det har emellertid uppstått en rivalitet med Elon Musks AI-modell, som registrerade en liknande, Grok, kort efter Groqs registrering.
Utvecklarna bakom Groq var inte förtjusta i likheten eller kopieringen och gick snabbt ut med en kritik mot Musk i ett blogginlägg:
“Vi förstår varför du vill använda vårt namn. Du gillar snabba saker (raketer, hyperloops, företagsnamn med en bokstav) och vår produkt, Groq LPU Inference Engine, är det snabbaste sättet att köra stora språkmodeller (LLM) och andra generativa AI-applikationer. Men vi ber dig vänligt att välja ett annat namn, och snabbt.”
Ironiskt nog blev den ursprungliga tekniken snart viral på sociala nätverket X, som tillhör Elon Musk. Trots publiciteten kring hans kapacitet har affärsmannen aldrig publicerat några klargöranden om sin rivals framgång.
Jämförelse av Groq med andra AI:er
Med Groqs framväxt och popularitet började många användare av plattformen jämföra LPU-modellen med andra populära GPU-baserade modeller. Vissa användare menar att Groq är revolutionerande, särskilt när man överväger produkter som kräver låg latens.
Andra noterade att Groqs LPU:er kunde erbjuda betydande förbättringar jämfört med GPU:er när det gäller att möta behoven hos AI-applikationer. De föreslog även att AI kunde vara ett bra alternativ till de högpresterande A100- och H100-chipsen som produceras av Nvidia.
Alla dessa kommentarer förstärker bara jämförelsen med andra artificiella intelligenser. Det är inte konstigt att ledande AI-utvecklare strävar efter att utveckla egna chips, för att inte vara beroende av modeller som produceras av Nvidia.
För att använda det nya AI-språket, besök enkelt Groq.com, skriv in din fråga eller kommando så kommer AI:n att bearbeta det och ge ett svar.
