Refactoring Orgs

Seit Anfang dieser Woche läuft bei uns ein Experiment. Wir haben GLM 5.2, ein Open-Weight-Modell, auf zwei B300-Nodes in unserer eigenen Infrastruktur aufgesetzt und fangen an zu messen, ob es die teuren Anthropic-Lizenzen ersetzen kann, die wir aktuell zahlen. Das frühe Signal ist interessant.

Ein interner Datenpunkt macht die Kurve konkret. Eine Kollegin hat diese Woche zum Vergleich eine eher große Story durchlaufen lassen. Opus 4.8 via Anthropic-API: 40 Dollar, etwa 90 Minuten. Dieselbe Story auf unserem selbst gehosteten GLM 5.2: rund 30 Minuten, etwa 4 Dollar GPU-Kosten - auf Hardware, die in derselben Zeit von anderen Workloads mitgenutzt werden könnte, ohne dass es großartig auffällt. Das ist eine Stichprobe, sie ignoriert die Humankosten für den Betrieb, und es ist kein Benchmark. Aber es ist eben auch eine Stunde Entwicklerzeit gespart und ein Kostenunterschied um eine Größenordnung auf einer einzelnen Story. Selbst gemietet, selbst früh im Spiel, ist der Abstand bereits sichtbar.

Was ich nicht erwartet habe, ist die zweite Erkenntnis. Die Hardware, die man heute braucht, um Modelle lokal laufen zu lassen, ist extrem teuer - aber das wird sich mit der Zeit ändern. Die Kategorie "Aufgaben, die ein Modell, das auf bezahlbarer lokaler Hardware läuft, gut genug erledigen kann" ist heute schon nicht klein und wird weiter wachsen. Code-Vervollständigung. Routine-Zusammenfassungen. Boilerplate-Erzeugung. Das, wofür wir heute Cloud-Vendors pro Token bezahlen, ist genau das, was lokale Hardware als erstes auffrisst.

Der Vendor kennt diese Kurve vermutlich längst. Ich vermute, deshalb sind die aktuell angebotenen Vertragslaufzeiten nicht großzügig: Drei-Jahres-Terms sichern Umsatz gegen einen Ausgang, den der Vendor klar sehen kann. Das ist ein Optionstransfer vom Käufer zum Verkäufer, verpackt als 5%-Rabatt.

Das meiste Enterprise-Procurement verhandelt immer noch über Preis pro Token, Volume-Commits und Uplift-Caps. Das ist die falsche Achse. Die richtige Achse ist Vertragslaufzeit und Kündigungsrechte. Zwei Prozent Preisverbesserung auf einem Drei-Jahres-Deal sind schlechter als der gleiche Preis auf einem Zwölf-Monats-Deal, aus dem man rausgehen kann, sobald das lokale Modell gut genug ist.

Die Vendors, die für längere Laufzeiten die freundlichsten Rabatte anbieten, sind nicht freundlich. Sie bepreisen die Option, die ihr abgebt. Die B300s in unserem Rack sind eins von vielen Signalen, dass diese Option mehr wert ist, als sie euch glauben machen wollen.