Interfaccia web di chat sui modelli self-hosted (dati dimostrativi)

Interfaccia web di chat sui modelli self-hosted (dati dimostrativi)

Impostazioni: endpoint compatibile OpenAI, chiavi API e configurazione per OpenCode (dati dimostrativi)

Impostazioni: endpoint compatibile OpenAI, chiavi API e configurazione per OpenCode (dati dimostrativi)

Il progetto

  • Categoria: Infrastruttura AI
  • Ruolo: Progettazione e messa in servizio
  • Periodo: Novembre 2026
  • Stack: vLLM, Modal, Python, fp8, decodifica speculativa

Modelli open-weight in produzione con API compatibili OpenAI

Ho messo in servizio su GPU cloud (Modal) due modelli linguistici open-weight, DeepSeek V4.1 Flash e Qwen3.8 27B, esposti con API compatibili OpenAI e un'interfaccia web di chat. L'obiettivo era avere modelli propri, economici e veloci, da usare con gli agenti di sviluppo.

Cosa ho realizzato

  • Serving con vLLM, chiavi API revocabili, rate limit e interfaccia web di chat
  • GPU che si spegne da sola quando non serve, per tenere bassi i costi
  • Quantizzazione fp8 e decodifica speculativa (DFlash2): circa 300 token/s misurati su H200
  • Modelli collegati agli agenti di coding in locale e sulla VPS