Eine monatliche Cloud-Rechnung von 400 $ für etwas, das im Grunde ein persönlicher Chatbot ist, wirkte früher vernünftig. Dann merkt man, dass dieselbe Arbeitslast auf einer gebrauchten Grafikkarte läuft, die man bereits besitzt, auf Hardware, die nur ein paar Cent Strom pro Tag kostet. Der Kostenstapel für lokale KI ist nicht mehr theoretisch. Für alle, die KI als tägliche Infrastruktur statt als seltenes Erledigungsprojekt betrachten, ist es ein anderes Wirtschaftsmodell, und sobald man die einzelnen Ebenen versteht, wird der Weg nach vorn überraschend einfach.
Die erste Ebene ist die Hardware-Basis, und sie liegt tiefer, als die meisten denken. Eine wiederaufbereitete RTX 3090, zwei oder drei Jahre alt und für Gaming aus der Mode, betreibt quantisierte Modelle mit 70 Milliarden Parametern in brauchbarer Geschwindigkeit. Ein Mac Studio mit Unified Memory bewältigt ähnliche Lasten mit weniger Aufwand. Die Investitionskosten fallen einmalig an und amortisieren sich schnell, und die Abschreibungs-kurve ist sanft, weil diese Karten denselben Zweck über ein Jahrzehnt hinweg erfüllen.
Die zweite Ebene ist das Modell selbst. Open-Weight-Modelle haben bei den Aufgaben, die die meisten Menschen tatsächlich erledigen, schnell aufgeholt: Entwürfe verfassen, zusammenfassen, klassifizieren, strukturierte Daten aus unübersichtlichem Text extrahieren. Sie geben sich nicht mit weniger zufrieden. Sie wählen ein Modell, das zu Ihrem Hardware-Budget passt, statt Rechenzeit auf fremdem Silizium zu mieten. Quantisierte Varianten tauschen ein kleines Maß an Qualität gegen eine große Reduzierung des Speicherbedarfs ein, was für einen persönlichen Stack fast immer der richtige Kompromiss ist.
Die dritte Ebene ist die Laufzeit- und Orchestrierungssoftware. llama.cpp, Ollama, vLLM und ähnliche Projekte haben das Bereitstellen von Modellen in einen Einzeilenbefehl verwandelt. Sobald ein Modell lokal läuft, ist es leicht, es mit den eigenen Tools zu verbinden. Benutzerdefinierte Skills, diese kleinen Automatisierungen, die aus „fass diese PDF zusammen“ einen einzigen Tastendruck machen, lassen sich an einen lokalen Endpunkt genauso anbinden wie an einen gehosteten. Die Integrationskosten sind praktisch null.
Die vierte Ebene ist das Workflow-Design. Der Fehler, den viele machen, besteht darin, lokale KI als Ersatz für die Cloud zu behandeln und jede Ineffizienz zu reproduzieren. Der Gewinn entsteht dadurch, dass wiederholte Prompts gecacht, ähnliche Aufgaben gebündelt und umfangreichere Jobs über Nacht ausgeführt werden, wenn niemand auf die GPU wartet. Ein lokaler Stack belohnt ein wenig technische Sorgfalt auf eine Weise, wie es die Cloud nie getan hat.
Die fünfte Ebene, und die, die die meisten überspringen, ist die Messung. Verfolgen Sie Ihre tatsächliche Nutzung. Die meisten persönlichen KI-Nutzer verbrauchen nur einen winzigen Bruchteil ihrer verfügbaren Rechenleistung. Sobald Sie die realen Zahlen sehen, lässt sich die Wirtschaftlichkeit kaum noch ignorieren.
Wenn Sie neugierig sind, fangen Sie klein an. Laden Sie ein Open-Weight-Modell, führen Sie es auf der Maschine aus, die Sie bereits besitzen, und verbinden Sie einen persönlichen Workflow damit. Die Community-Beiträge und Benchmarks sind gut, aber die einzige Kennzahl, die zählt, ist, ob es Ihre Arbeit erledigt. Die Cloud ist immer noch da, wenn Sie sie brauchen. Für den größten Teil dessen, was ein persönlicher Stack tatsächlich tut, wird sie es nicht.