Privatni AI asistent je jezički model koji radi na vašoj infrastrukturi i odgovara na osnovu vaših dokumenata — tehnikom RAG (pretraga + generisanje). Zaposleni dobijaju brze odgovore sa linkom ka izvoru, a dokumenti, upiti i odgovori ne napuštaju firmu.
Šta asistent radi
- Odgovara na pitanja o internim procedurama, pravilnicima i dokumentaciji — sa citatom i linkom ka izvoru.
- Sažima ugovore, zapisnike i izveštaje; izdvaja rokove, iznose i obaveze.
- Piše nacrte mejlova, ponuda i odgovora klijentima — u vašem tonu i formatu.
- Pretražuje po značenju, ne samo po rečima: pitanje „šta radimo kad kupac kasni sa plaćanjem“ pronalazi pravi član ugovora.
- Radi kroz web interfejs, a po dogovoru i kroz Microsoft Teams, Slack, intranet ili kao API za vaše aplikacije.
Kako funkcioniše: RAG u četiri koraka
- Uvoz dokumenata — PDF, Word, Excel, mejlovi, SharePoint ili deljeni folderi; skenirani dokumenti prolaze OCR.
- Indeksiranje — dokumenti se dele na odeljke i pretvaraju u vektore (embeddings) koji opisuju značenje teksta. Čuvaju se u vektorskoj bazi na vašem serveru.
- Pretraga — za svako pitanje sistem pronalazi najrelevantnije odeljke, uz poštovanje prava pristupa korisnika.
- Odgovor — jezički model piše odgovor isključivo na osnovu pronađenih odeljaka i navodi odakle je šta preuzeo.
Indeksiranje · jednom i pri svakoj izmeni
- Izvori dokumenataPDF, Word, SharePoint
- Parsiranje i OCRodeljci, metapodaci
- Embedding modelBGE-M3, multilingual-E5
- Vektorska bazaQdrant / pgvector
Odgovaranje · svaki upit
- Pitanje korisnikaSSO, prava pristupa
- Pretragaiz vektorske baze, hibridno
- Jezički modelvLLM / SGLang
- Odgovor sa izvorimacitat i link
Kada se dokument promeni, indeks se automatski ažurira — model ne treba ponovo trenirati. Zato je RAG skoro uvek bolji prvi korak od fine-tuninga; razliku detaljno objašnjavamo u vodiču RAG ili fine-tuning.
| Komponenta | Tipičan izbor |
|---|---|
| Jezički model | Otvoreni modeli od 20 do 120 milijardi parametara (porodice Qwen, Llama, Mistral, Gemma, gpt-oss) |
| Inferencija | vLLM ili SGLang; Ollama za manje timove |
| Embeddings | Višejezični modeli koji podržavaju srpski (npr. BGE-M3, multilingual-E5) |
| Vektorska baza | Qdrant, pgvector (PostgreSQL) ili OpenSearch |
| Interfejs | Open WebUI ili prilagođen web interfejs, prijava preko SSO |
Srpski jezik: latinica, ćirilica i padeži
Srpski je za jezičke modele teži od engleskog: bogata morfologija, dva pisma i manje podataka za obuku. U praksi to znači sledeće:
- Pretraga mora da nađe „ugovora“ kada pitate za „ugovor“. Zato koristimo višejezične embedding modele i hibridnu pretragu — po značenju i po ključnim rečima.
- Dokumenti na ćirilici i pitanja na latinici (i obrnuto) moraju da se poklope, pa pismo normalizujemo pri indeksiranju.
- Isti tekst na srpskom troši više tokena nego na engleskom, pa je kontekst „skuplji“. To uračunavamo pri dimenzionisanju servera.
- Pre izbora modela testiramo kandidate na vašim stvarnim pitanjima i ocenjujemo tačnost, jezik i navođenje izvora.
Bezbednost i prava pristupa
- Sistem radi u vašoj mreži; po potrebi potpuno bez pristupa internetu.
- Prijava preko postojećih naloga (Active Directory, Microsoft Entra ID, drugi SSO).
- Asistent vidi samo dokumente koje korisnik sme da vidi — prava se preuzimaju iz izvora.
- Logovi upita i odgovora čuvaju se kod vas, sa rokom čuvanja koji vi određujete.
- Model ne uči na vašim razgovorima i ne prenosi ih između korisnika.
ZZPL: lokalna obrada znači da podaci o ličnosti ne napuštaju vašu infrastrukturu i da tok podataka možete precizno da opišete u evidenciji radnji obrade. Pravnu procenu i dalje daje vaš pravnik ili lice za zaštitu podataka — mi pripremamo tehničku dokumentaciju za nju.
Hardver i troškovi
Za asistenta koga koristi do stotinak zaposlenih obično je dovoljan jedan server sa jednom ili dve kartice od 48 do 96 GB memorije. Za više korisnika ili veće modele — server sa više kartica.
| Veličina tima | Tipičan model | Okvirna postavka |
|---|---|---|
| do 20 korisnika | 20–32B, kvantizovan | 1 kartica od 32–48 GB (npr. RTX 5090, L40S) |
| 20–150 korisnika | 30–120B | 1–2 kartice od 96 GB (RTX PRO 6000) ili jedna H100/H200 |
| 150+ korisnika | 70–120B ili više modela | Server sa 4–8 kartica, redundansa |
Da li se to isplati u odnosu na plaćanje API-ja po tokenu, proverite u kalkulatoru troškova.
Tok projekta
- Uvodni razgovor i izbor izvora — jedan ili dva izvora dokumenata za početak (oko 1 nedelja).
- Pilot — 10 do 30 korisnika, merenje tačnosti i zadovoljstva (3–4 nedelje).
- Proširenje — ostali izvori i odeljenja, integracije (2–6 nedelja).
- Podrška — nove verzije modela, praćenje kvaliteta i kapaciteta.