AI infrastruktura · 2024 — danas · 6 min čitanja

Više sustava u paraleli, bez pada kvalitete u bilo kojem od njih

Kontekst iz 14 projekata — odluke, specifikacije, bilješke — dohvaća se u manje od dvije sekunde, s vlastitog hardvera i bez tuđeg oblaka.

14
indeksiranih projekata
38k
pretraživih embeddinga
<2s
dohvat konteksta
3
sinkronizirana uređaja
Prikaz — Više sustava u paraleli, bez pada kvalitete u bilo kojem od njih
Prikaz

Polazna situacija

Jedna osoba održava veći broj aktivnih sustava: sustave za trgovanje, izdavačke procese, outbound botove, nadzorne ploče i klijentske projekte. Svaki od njih ima vlastitu arhitekturu, pristupne podatke, tipične kvarove i vlastitu povijest odluka.

Problem se najjasnije vidio pri prelasku s jednog projekta na drugi. Nakon svakog prebacivanja dio radnog vremena odlazio je na ponovno otvaranje specifikacija, traženje bilješki i rekonstrukciju ranijih odluka: zašto je nešto napravljeno baš tako, što je već isprobano i odbačeno, koja su ograničenja dogovorena. Klasično pretraživanje datoteka tu ne pomaže puno, jer pronalazi nazive datoteka, a ne pojmove. Tko ne zna kako se dokument zove, teško ga nalazi.

Isti problem imale su i radne sesije s AI razvojnim alatima. Alat vidi kod koji je pred njim, ali ne zna zašto su ranije odluke donesene, pa svaki razgovor kreće ispočetka.

Što je trebalo riješiti

Trebao je način da se projektna povijest pretražuje po značenju, a ne po nazivu datoteke. Konkretno: da se na početku radne sesije relevantne odluke, specifikacije i bilješke mogu dohvatiti u nekoliko sekundi, izravno iz okruženja u kojem se radi, i da to funkcionira jednako na svim uređajima koji se koriste za rad. Uz to, sadržaj je interne prirode, pa pristup mora biti ograničen na odobrene uređaje.

Što je izgrađeno

Izgrađen je privatni semantički indeks nad važnim datotekama iz svih projekata. Indeksiraju se specifikacije, bilješke o arhitekturi, analize incidenata, dokumentacija konfiguracija, bilješke s radnih sesija i odluke zajedno s obrazloženjem zašto su donesene.

Za svaki dokument izrađuje se pretraživi prikaz sadržaja, takozvani embedding, koji omogućuje pretraživanje po značenju: upit “zašto smo promijenili način naplate” pronaći će relevantnu bilješku i kad se u njoj te riječi ne pojavljuju doslovno. Ti se prikazi čuvaju u vektorskoj bazi na vlastitim uređajima, a mali servis vodi unos i pretraživanje.

S AI razvojnim alatima indeks je povezan kroz MCP, vezu koja alatu za programiranje omogućuje da sam pretražuje indeks. Kontekst se tako dohvaća izravno u editoru, bez ručnog kopiranja teksta iz dokumenata.

Indeks nije javno dostupan. Do njega se dolazi samo kroz privatnu mrežu između odobrenih uređaja; servis nema javnu adresu i uređaj koji nije na toj mreži ne može mu ni pristupiti. Sinkronizacija datoteka zrcali projektno stablo na tri uređaja, pa su isti radni materijali dostupni na stolnom računalu, prijenosniku i stalno uključenom čvoru.

Kako sustav radi u praksi

Tijek je jednostavan. Iz razvojnog okruženja postavi se pitanje, na primjer o ograničenju dogovorenom prije pola godine. Privatni servis pronađe relevantne odlomke u indeksiranim dokumentima i vrati ih kao izvatke iz izvornih datoteka, ne kao izmišljeni sažetak. AI alat te izvatke koristi kao kontekst za daljnji rad, a izvorna datoteka se po potrebi može otvoriti i pročitati u cijelosti.

Jednako je važno što u indeks ne ulazi. Generirane datoteke, stabla ovisnosti i privremeni zapisi isključeni su pravilima, pa pretraga vraća ono što bi iskusan inženjer stvarno tražio: donesene odluke, sučelja, ograničenja i razloge.

Indeks se osvježava svake noći. Nakon svakog ponovnog indeksiranja pokreće se skup kontrolnih pitanja s unaprijed poznatim odgovorima, čime se provjerava jesu li važne informacije i dalje pronalazive. Ako neka provjera ne prođe, osvježeni indeks se ne objavljuje: zadatak se zaustavlja i prijavljuje pogrešku, umjesto da tiho vraća zastarjeli sadržaj. Kod ovakvog sustava tiho pogoršanje je najopasniji kvar, jer zastarjeli odgovor može biti gori od toga da odgovora nema.

MEMORY LAYER · STATS PANEL

PROJECTS INDEXED ........ 14
EMBEDDINGS ............. oko 38 tisuća
DEVICES SYNCED ......... 3
RECALL P95 ............. 1.8s
LAST SYNC .............. 00:02:14

Što se promijenilo

Indeksirano je četrnaest projekata, ukupno oko 38 tisuća pretraživih segmenata, dostupnih s tri uređaja. U 95 % slučajeva odgovor stiže za manje od dvije sekunde.

Praktična razlika vidi se na početku svake radne sesije: manje je ručnog traženja po mapama i starim bilješkama, jer se relevantna povijest projekta dohvaća upitom. Odluka donesena prije šest mjeseci pronalazi se jednako lako kao ona donesena jutros, zajedno s obrazloženjem zašto je donesena. AI razvojni alat pritom radi s provjerljivim izvorima umjesto s pretpostavkama.

Što ovaj primjer pokazuje

AI podrška u radu postaje znatno korisnija kad dobije pouzdanu povijest projekta: dokumente, odluke i obrazloženja iz kojih može crpiti kontekst, s izvorom koji se uvijek može provjeriti.

Istodobno, indeks ne zamjenjuje ni prosudbu ni dokumentaciju. On pronalazi ono što je zapisano; kvaliteta odgovora i dalje ovisi o tome da se odluke uredno bilježe, a što s pronađenim napraviti i dalje odlučuje čovjek.

ChromaDBFastAPIMCPTailscaleSyncthingPython

Imate sličan zadatak?

Trideset minuta o jednom procesu: što se danas radi ručno i može li ga sustav preuzeti. Besplatno, bez prezentacije.

Dogovorite besplatan razgovor