Aufbau rechtsbewusster KI mit Milliardeninvestitionen

Die Tech-Community ist in Aufruhr, als eine mittelgroße Anwaltskanzlei 35.000 US-Dollar – umgerechnet fast eine Milliarde Vietnamesische Dong – für die Entwicklung eines vollständig privaten KI-Systems an einen Entwickler ausgegeben hat. Überraschenderweise kritisieren die meisten die „Verschwendung“ nicht, sondern halten diesen Betrag für „äußerst angemessen“ und sogar „günstig“.

Die Geschichte begann, als ein Entwickler namens u/eeko_systems auf Reddit vom größten Deal seiner Karriere berichtete. Anstatt verfügbare KI-Dienste wie ChatGPT oder Claude zu nutzen, entschied sich diese Anwaltskanzlei für den Aufbau einer völlig unabhängigen „KI-Festung“, die von keinem Anbieter abhängig ist.

Das System basiert auf Metas LLaMA 3 70B-Modell, das auf der CoreWeave-Plattform mit zwei A100-GPUs eingesetzt wird – den leistungsstärksten Grafikprozessoren, die derzeit für KI verfügbar sind. Das Besondere daran ist, dass alle Daten und die Verarbeitung vollständig in einer von der Anwaltskanzlei kontrollierten Umgebung stattfinden, ohne dass ein einziges Byte an Informationen das System verlässt.

Um die Komplexität dieses Systems zu verstehen, stellen Sie sich einen „Superassistenten“ vor, der Tausende von Seiten juristischer Dokumente in Sekundenschnelle lesen und verstehen, komplexe Rechtsfragen beantworten, Fälle zusammenfassen und sogar Verträge detailliert analysieren kann. All dies geschieht über eine einfache Weboberfläche, die jeder Anwalt der Kanzlei nutzen kann.

Die Technologie hinter dem System erfordert eine ausgeklügelte Kombination von Komponenten. ChromaDB fungiert als riesige „digitale Bibliothek“, die alle Dokumente in Daten umwandelt, die von der KI verstanden werden können.

LlamaIndex fungiert als „intelligenter Sekretär“ und unterstützt die KI dabei, die richtigen Informationen aus riesigen Dokumentenmengen zu finden und zu extrahieren. n8n übernimmt die Rolle des „Koordinators“ und automatisiert alles, vom Hochladen neuer Dokumente bis zum Versenden von Benachrichtigungen per Slack und E-Mail.

Was die Tech-Community begeistert, ist nicht nur die Funktionalität, sondern auch das Sicherheitsniveau. Das System ist mit JWT-Authentifizierung, IP-basierter Zugriffskontrolle und vollständiger Protokollierung aller Aktivitäten ausgestattet. Dies sind zwingende Anforderungen in der Rechtsbranche, wo Informationslecks schwerwiegende rechtliche Konsequenzen nach sich ziehen können.

Aber warum gelten 35.000 US-Dollar für ein solches System als „günstig“? Die Antwort liegt in den Betriebskosten. Die Miete von zwei A100-GPUs auf CoreWeave kann zwischen 6.000 und 8.000 US-Dollar pro Monat kosten, was bedeutet, dass allein die Infrastrukturkosten 72.000 bis 96.000 US-Dollar pro Jahr betragen. Die 35.000 US-Dollar für die Einrichtung des gesamten Systems entsprechen lediglich den Betriebskosten von vier bis fünf Monaten.

Wenn eine Anwaltskanzlei ein eigenes KI-Team aufbauen möchte, muss sie jährlich mindestens 400.000 US-Dollar für KI-, DevOps- und Sicherheitsexperten ausgeben, ganz zu schweigen von der Zeit und den Risiken des Entwicklungsprozesses. Unternehmenslösungen von Giganten wie Microsoft oder Google kosten in der Regel zwischen 100.000 und 500.000 US-Dollar, basieren aber dennoch auf APIs von Drittanbietern – etwas, das sich viele Anwaltskanzleien nicht leisten können.

Interessanterweise ereignete sich, gerade als diese Geschichte die Runde machte, ein weiteres wichtiges Ereignis. DeepSeek, ein KI-Startup aus China, hat gerade eine „Lite“-Version seines R1-Modells veröffentlicht, die auf nur einer einzigen GPU statt wie bisher auf Dutzenden von GPUs läuft.

Doch das Aufkommen von DeepSeek wirft auch Fragen zur Zukunft auf. Wird die Technologie eines chinesischen Startups die Compliance-Anforderungen einer US-amerikanischen Anwaltskanzlei erfüllen? Reicht die Leistung des kleineren Modells aus, um komplexe juristische Aufgaben zu bewältigen? Diese Fragen müssen Anwaltskanzleien sorgfältig prüfen.

Interessanterweise zeigen Anwaltskanzleien eine überraschende Entschlossenheit, während viele andere Branchen noch zögern, KI einzusetzen. Vielleicht, weil in der Rechtsbranche Zeit buchstäblich Geld ist. Eine KI, die Tausende von Dokumentenseiten in Minuten statt in Wochen analysieren kann, kann enorme Vorteile bieten.

Kommentar (0)