Bygger en lovbevisst AI med milliarder av vietnamesiske dong i investeringer

Oppdag et banebrytende AI-prosjekt med milliarder av dong investert for å forstå loven ned til minste detalj.

Teknologimiljøet er i ekstase over nyheten om at et mellomstort advokatfirma nylig brukte 35 000 dollar – tilsvarende nesten én milliard vietnamesiske dong – på å ansette en utvikler for å bygge et helt privat kunstig intelligens-system. Overraskende nok, i stedet for å kritisere de «sløsende» utgiftene, anser flertallet tallet som «ekstremt rimelig» og til og med «skittbillig».

Historien begynner da en utvikler ved navn u/eeko_systems delte på Reddit om den største avtalen i karrieren sin. I stedet for å bruke lett tilgjengelige AI-tjenester som ChatGPT eller Claude, bestemte dette advokatfirmaet seg for å investere i å bygge en helt uavhengig «AI-festning», ikke avhengig av noen leverandør.

Systemet er bygget på Metas LLaMA 3 70B-modell, distribuert på CoreWeave-plattformen med en dobbel A100 GPU-konfigurasjon – de kraftigste grafikkprosessorene som er tilgjengelige for AI for øyeblikket. Det unike er at all data og behandling foregår utelukkende i et miljø kontrollert av advokatfirmaet; ikke en eneste byte med informasjon forlater systemet deres.

For å forstå kompleksiteten i dette systemet, kan du se for deg en «superassistent» som kan lese og forstå tusenvis av sider med juridiske dokumenter på sekunder, svare på komplekse juridiske spørsmål, oppsummere saker og til og med analysere kontrakter i detalj. Alt dette gjøres gjennom et enkelt webgrensesnitt som enhver advokat i firmaet kan bruke.

Teknologien bak dette systemet krever en sofistikert kombinasjon av mange komponenter. ChromaDB fungerer som et massivt «digitalt bibliotek» som transformerer alle dokumenter til et dataformat som AI kan forstå.

LlamaIndex fungerer som en «intelligent sekretær» som hjelper AI med å søke etter og hente ut nøyaktig informasjon fra fjell av dokumenter. I mellomtiden tar n8n på seg rollen som «koordinator» og automatiserer alt fra å laste opp nye dokumenter til systemet til å sende varsler via Slack og e-post.

Det som imponerte teknologimiljøet var ikke bare funksjonaliteten, men også sikkerhetsnivået. Systemet er utstyrt med JWT-autentisering, IP-basert tilgangskontroll og full aktivitetslogging. Dette er obligatoriske krav i den juridiske bransjen, hvor informasjonslekkasjer kan føre til alvorlige juridiske konsekvenser.

Men hvorfor anses 35 000 dollar som «billig» for et slikt system? Svaret ligger i driftskostnadene. Å leie to A100 GPU-er på CoreWeave kan koste mellom 6 000 og 8 000 dollar per måned, noe som betyr at infrastrukturkostnadene alene for et år kan komme opp i 72 000 til 96 000 dollar. De 35 000 dollarene for å sette opp hele systemet tilsvarer bare 4–5 måneders driftskostnader.

Videre, hvis et advokatfirma bestemmer seg for å bygge sitt eget interne AI-team, må de bruke minst 400 000 dollar årlig på AI, DevOps og sikkerhetseksperter, for ikke å nevne tiden og risikoen som er involvert i utviklingsprosessen. Bedriftsløsninger fra giganter som Microsoft eller Google koster vanligvis mellom 100 000 og 500 000 dollar, men er fortsatt avhengige av tredjeparts API-er – noe mange advokatfirmaer ikke har råd til.

Interessant nok, akkurat mens denne historien ble heftig debattert, skjedde en annen viktig hendelse. DeepSeek, en AI-oppstartsbedrift fra Kina, lanserte nettopp en «nedskalert» versjon av R1-modellen sin, som kan kjøre på én GPU i stedet for de dusinvis av GPU-ene som ble brukt tidligere.

Fremveksten av DeepSeek reiser imidlertid også spørsmål om fremtiden. Er bruk av teknologi fra en kinesisk oppstartsbedrift forenlig med de juridiske kravene til amerikanske advokatfirmaer? Vil den mindre modellens ytelse være tilstrekkelig til å håndtere komplekse juridiske oppgaver? Dette er spørsmål som advokatfirmaer må vurdere nøye.

Interessant nok, mens mange andre bransjer fortsatt nøler med å ta i bruk AI, har advokatfirmaer vist overraskende besluttsomhet. Kanskje dette er fordi tid bokstavelig talt er penger i den juridiske bransjen. En AIs evne til å analysere tusenvis av sider med dokumenter på minutter i stedet for uker kan gi enorme fortjenester.

AI har dukket opp og konkurrerer i den juridiske bransjen i USA. Kilde: Master AI & You

Kilde: https://khoahocdoisong.vn/xay-dung-ai-ranh-luat-with-billions-of-dong-investment-post1545404.html