Šta je Large Language Model (LLM)?

Large language model, odnosno LLM, danas stoji iza gotovo svakog alata umjetne (vještačke) inteligencije koji koristiš za razgovor, pisanje ili traženje odgovora. Kad otvoriš ChatGPT, Claude ili Gemini i postaviš pitanje, u pozadini radi upravo LLM. Ali šta tačno predstavlja taj pojam i kako jedan model uopšte nauči da razumije jezik? U nastavku ćemo to objasniti korak po korak, bez nepotrebnog žargona.

Šta je LLM?

LLM (Large Language Model) je vrsta umjetne inteligencije koja je trenirana da razumije, obrađuje i generiše tekst sličan ljudskom. U suštini, riječ je o algoritmu dubokog učenja koji je “pročitao” ogromnu količinu tekstova, knjiga, članaka i internet stranica, i na osnovu toga naučio kako se riječi i rečenice slažu jedna uz drugu.

Naziv “veliki” (large) dolazi upravo od količine podataka i parametara na kojima je model treniran. Što je model veći, to bolje razumije kontekst, nijanse jezika i složenija pitanja. Istraživači obično smatraju da model postaje “veliki jezički model” tek kada pređe nekoliko milijardi parametara.

Kako funkcioniše LLM?

Da bi razumio kako LLM radi, najlakše je zamisliti ga kao sistem koji neprestano pokušava pogoditi koja riječ dolazi sljedeća. Zvuči jednostavno, ali kada se taj princip primijeni milijardama puta na ogromnim količinama teksta, rezultat je model koji može voditi razgovor, pisati tekstove ili objašnjavati složene pojmove.

Treniranje na tekstu

Prvi korak je treniranje. Model se “hrani” ogromnim brojem tekstova, knjiga, članaka i web stranica, kako bi naučio obrasce jezika, gramatiku i logičke veze između riječi. Ovaj proces se naziva predtreniranje i traje danima ili sedmicama na moćnim serverima.

Transformer arhitektura

Gotovo svi savremeni LLM-ovi izgrađeni su na takozvanoj transformer arhitekturi. Ona modelu omogućava da istovremeno posmatra sve riječi u rečenici i razumije kako su povezane, umjesto da ih čita jednu po jednu. Ključni dio ove arhitekture zove se samopažnja (self-attention), a upravo ona modelu daje sposobnost da razumije kontekst, čak i kada je rečenica duga ili složena.

Predviđanje sljedeće riječi

Kada model dobije tvoje pitanje, on ne “traži” odgovor u nekoj bazi podataka. Umjesto toga, on predviđa najvjerovatniju sljedeću riječ, zatim sljedeću, i tako sve dok ne formira kompletan odgovor. To je razlog zašto LLM ponekad zvuči vrlo prirodno, ali i zašto povremeno može pogriješiti u činjenicama.

Bitno je znati i da svaki model ima ograničen kontekstualni prozor, odnosno količinu teksta koju može istovremeno “držati u glavi” dok razgovara sa tobom. Kada razgovor postane predug ili kada ubaciš ogroman tekst za analizu, model može zaboraviti dio ranijeg razgovora, jer jednostavno više ne stane u taj prozor. Način na koji formulišeš pitanje, odnosno prompt, direktno utiče na to koliko će odgovor biti precizan i koristan.

Ako te zanima kako mašinsko učenje uopšte omogućava ovakav vid predviđanja, vrijedi pogledati i kako neuronske mreže obrađuju podatke korak po korak. Za konkretne savjete kako postaviti pitanje modelu da bi dobio bolji odgovor, pogledaj i tekst o tome šta je prompt i kako pisati dobre promptove.

Šta su parametri i zašto su bitni?

Parametri su vrijednosti unutar modela koje se prilagođavaju tokom treniranja, kako bi model postao precizniji. Broj parametara direktno govori o veličini i sposobnostima modela. Kada je OpenAI 2019. godine predstavio GPT-2, model je imao oko 1,5 milijardi parametara. Samo godinu kasnije, GPT-3 je stigao sa 175 milijardi parametara, a savremeni modeli danas dostižu i preko triliona parametara.

Više parametara ne znači automatski bolji model u svakoj situaciji, ali generalno omogućava bogatije razumijevanje jezika i sposobnost rješavanja složenijih zadataka.

Kratka historija LLM-ova

Jezički modeli postoje u nekom obliku decenijama, ali su prvi bili jednostavni statistički sistemi koji su jedva razumijevali osnovnu gramatiku. Prava promjena dogodila se 2017. godine, kada su istraživači iz Googlea objavili rad pod nazivom “Attention is All You Need”, kojim su predstavili transformer arhitekturu. Godinu kasnije, Google je predstavio BERT, jedan od prvih modela zasnovanih na ovoj arhitekturi.

Prekretnica za širu javnost dogodila se krajem 2022. godine, kada je OpenAI predstavio ChatGPT. Tek tada su ljudi van tehnološke industrije shvatili koliko LLM-ovi mogu biti korisni u svakodnevnom radu i komunikaciji.

Fino podešavanje i učenje uz ljudske povratne informacije

Nakon osnovnog treniranja, model prolazi kroz proces koji se zove fino podešavanje. U ovoj fazi model se dodatno prilagođava specifičnim zadacima, poput vođenja razgovora ili odgovaranja na pitanja na siguran i koristan način.

Veliku ulogu igra i tehnika koja se zove učenje uz ljudske povratne informacije, poznatija kao RLHF. U ovom procesu ljudi ocjenjuju odgovore modela, ispravljaju netačne ili neprikladne odgovore, i na taj način pomažu modelu da postane precizniji i korisniji u praksi.

Zanimljivo je i to da model ne mora uvijek prolaziti kroz dodatno treniranje da bi naučio novi zadatak. Kada mu unutar samog razgovora daš nekoliko primjera kako želiš da odgovor izgleda, to se naziva učenje na osnovu nekoliko primjera. Ako mu uopšte ne daš primjer, već samo objasniš zadatak, riječ je o učenju bez primjera. Oba pristupa pokazuju koliko su savremeni modeli fleksibilni, čak i bez posebnog fino podešavanja za svaki mogući zadatak.

Za šta se koristi LLM?

LLM danas ima primjenu u gotovo svakoj oblasti rada sa tekstom. Neke od najčešćih primjena su:

• vođenje razgovora kroz chatbotove i virtuelne asistente
• pisanje i uređivanje tekstova, e-mailova i članaka
• prevođenje sa jednog jezika na drugi
• sažimanje dugačkih dokumenata u kratke preglede
• pisanje i ispravljanje programskog koda
• odgovaranje na pitanja i objašnjavanje složenih pojmova

Ako te zanima kako ovi modeli funkcionišu u praksi kroz razgovor sa korisnikom, dobar primjer je Pitaj robota, gdje možeš vidjeti kako izgleda direktna komunikacija sa AI chatbotom na našem jeziku.

Popularni LLM modeli danas

Na tržištu trenutno postoji nekoliko modela koji dominiraju upotrebom. GPT, koji razvija OpenAI, pokreće ChatGPT i jedan je od najpoznatijih. Claude, koji razvija Anthropic, poznat je po pažljivom pristupu sigurnosti i dužim razgovorima. Gemini, Googleov model, integrisan je u veliki broj Googleovih proizvoda. Tu su i LLaMA, koji razvija Meta, te DeepSeek, kineski model koji je u kratkom vremenu privukao veliku pažnju zbog svoje efikasnosti.

Ako želiš detaljnije upoznati Googleov pristup ovoj tehnologiji, pogledaj i tekst o Google Bardu i Geminiju, gdje je objašnjeno šta se desilo sa ranijim Googleovim chatbotom i gdje je danas stigao njegov nasljednik. Za pregled kineskog modela koji je uzburkao industriju, dostupan je i tekst o DeepSeeku.

Prednosti i ograničenja LLM-a

Prednosti

Najveća prednost LLM-a je brzina i dostupnost. Model može odgovoriti na pitanje za nekoliko sekundi, raditi 24 sata dnevno i pomoći u zadacima koji bi čovjeku oduzeli mnogo više vremena. Osim toga, jedan te isti model može obavljati širok raspon zadataka, od pisanja teksta do analize podataka, bez potrebe za posebnim treniranjem za svaki zadatak posebno.

Ograničenja

Sa druge strane, LLM-ovi imaju i ozbiljna ograničenja. Ponekad proizvode takozvane halucinacije, odnosno odgovore koji zvuče uvjerljivo, ali su faktički netačni. Model takođe nema pravo razumijevanje svijeta u ljudskom smislu, već prepoznaje obrasce iz podataka na kojima je treniran. Zbog toga je uvijek dobro provjeriti važne informacije iz drugog izvora, posebno kada je riječ o brojkama, datumima ili specifičnim činjenicama.

Za dublje razumijevanje kako model uopšte “razmišlja” i donosi zaključke, korisno je pogledati i tekst o AI agentima, koji pokazuje kako se LLM koristi kao osnova za sisteme koji samostalno izvršavaju zadatke.

Da li LLM razumije bosanski, hrvatski i srpski jezik?

Jedno od pitanja koje se najčešće postavlja jeste da li ovi modeli uopšte razumiju naš jezik. Odgovor je da, savremeni LLM-ovi poput GPT-a, Claudea i Geminija razumiju i generišu tekst na bosanskom, hrvatskom i srpskom jeziku, iako kvalitet nije uvijek na istom nivou kao za engleski. Razlog je jednostavan: u podacima na kojima su ovi modeli trenirani ima znatno manje tekstova na našim jezicima nego na engleskom.

To u praksi znači da model može povremeno praviti sitne gramatičke greške ili birati riječi koje zvuče malo neprirodno. Ipak, iz godine u godinu ova razlika postaje sve manja, jer kompanije koje razvijaju ove modele ulažu sve više u podršku za manje zastupljene jezike.

Budućnost LLM-ova

Razvoj LLM-ova se ne usporava. Očekuje se da će budući modeli biti brži, tačniji i sposobniji da rade sa više vrsta podataka odjednom, uključujući tekst, slike, zvuk i video u istom razgovoru. Takođe se radi na smanjenju grešaka i troškova rada ovih modela, kako bi bili dostupniji širem krugu korisnika i firmi.

Neki istraživači smatraju da je za dalji veliki napredak potreban još jedan proboj, koji bi jezičke modele približio takozvanoj opštoj vještačkoj inteligenciji. Ako te zanima šta se tačno podrazumijeva pod tim pojmom i kada bi mogao postati stvarnost, pogledaj i tekst o tome šta je AGI i kada ćemo ga imati.

Za osnovno razumijevanje pojma umjetne inteligencije iz kojeg je LLM proizašao, pogledaj i naš opširniji vodič o tome šta je umjetna inteligencija i kako funkcioniše, gdje su objašnjeni osnovni pojmovi na kojima počiva cijela ova tehnologija.

Reference

Za dodatno tehničko objašnjenje transformer arhitekture, pogledaj originalni naučni rad istraživača Attention Is All You Need. Za pregled razvoja i primjene velikih jezičkih modela u industriji, dostupan je i pregled kompanije IBM o velikim jezičkim modelima.

Često postavljana pitanja

Šta znači skraćenica LLM?

LLM je skraćenica od engleskog izraza large language model, što u prijevodu znači veliki jezički model. Riječ je o vrsti umjetne inteligencije treniranoj da razumije i generiše tekst.

Koja je razlika između LLM-a i chatbota poput ChatGPT-a?

LLM je tehnologija, odnosno model koji stoji u pozadini. ChatGPT je proizvod, aplikacija koja tu tehnologiju koristi da bi korisniku omogućila razgovor kroz jednostavan interfejs.

Da li je LLM isto što i umjetna inteligencija?

Ne. Umjetna inteligencija je širi pojam koji obuhvata mnoge tehnologije, dok je LLM samo jedna vrsta umjetne inteligencije, usmjerena posebno na obradu i generisanje jezika.

Koliko parametara ima najveći LLM danas?

Tačan broj parametara najnovijih modela najčešće nije javno objavljen, ali se procjenjuje da najveći savremeni modeli imaju više od triliona parametara.

Da li LLM-ovi razumiju bosanski jezik?

Da, savremeni modeli razumiju i generišu tekst na bosanskom jeziku, iako je kvalitet nešto slabiji nego za engleski, zbog manje dostupnih podataka na našem jeziku tokom treniranja.

Da li su LLM-ovi besplatni za korištenje?

Mnogi LLM-ovi, poput osnovnih verzija ChatGPT-a, Claudea i Geminija, dostupni su besplatno uz određena ograničenja, dok napredne verzije zahtijevaju mjesečnu pretplatu.

Da li LLM stvarno razmišlja ili ima svijest?

Ne. LLM nema svijest niti stvarno razmišljanje u ljudskom smislu. On prepoznaje obrasce iz podataka na kojima je treniran i na osnovu njih predviđa najvjerovatniji odgovor, bez pravog razumijevanja onoga o čemu “govori”.