Web-Chat-Oberfläche für die selbst gehosteten Modelle (Demodaten)

Web-Chat-Oberfläche für die selbst gehosteten Modelle (Demodaten)

Einstellungen: OpenAI-kompatibler Endpunkt, API-Schlüssel und Konfiguration für OpenCode (Demodaten)

Einstellungen: OpenAI-kompatibler Endpunkt, API-Schlüssel und Konfiguration für OpenCode (Demodaten)

Das Projekt

  • Kategorie: KI-Infrastruktur
  • Rolle: Konzeption und Inbetriebnahme
  • Zeitraum: November 2026
  • Stack: vLLM, Modal, Python, fp8, spekulatives Decoding

Open-Weight-Modelle im Produktivbetrieb mit OpenAI-kompatiblen APIs

Ich habe auf Cloud-GPUs (Modal) zwei Open-Weight-Sprachmodelle in Betrieb genommen, DeepSeek V4.1 Flash und Qwen3.8 27B, bereitgestellt über OpenAI-kompatible APIs und eine Chat-Weboberfläche. Ziel war es, eigene, günstige und schnelle Modelle für den Einsatz mit Entwicklungsagenten zu haben.

Meine Aufgaben

  • Serving mit vLLM, widerrufbare API-Schlüssel, Rate Limits und Chat-Weboberfläche
  • GPU, die sich bei Nichtgebrauch automatisch abschaltet, um die Kosten niedrig zu halten
  • fp8-Quantisierung und spekulatives Decoding (DFlash2): rund 300 Token/s gemessen auf H200
  • Modelle angebunden an die Coding-Agenten lokal und auf dem VPS