Buoyant, perusahaan di balik service mesh Linkerd, merilis Kinference, sebuah inference control plane open source berlisensi Apache 2.0 untuk membangun platform inferensi yang skalabel di atas vLLM dan Kubernetes. Sistem ini menempatkan lapisan keputusan di depan kumpulan worker vLLM dan merute setiap permintaan berdasarkan kebijakan serta kondisi KV-cache, bukan sekadar round-robin. 🔗 Blog vLLM
Latar Belakang
Seiring meluasnya penggunaan model bahasa besar (LLM) dalam produksi, tantangan utama bukan lagi sekadar menjalankan model, melainkan mengelola ribuan permintaan secara efisien di atas kluster GPU. Load balancer konvensional yang membagi beban secara round-robin sering mengabaikan isi KV-cache pada GPU, sehingga permintaan dengan prefiks yang sama bisa dikirim ke worker berbeda dan memaksa komputasi ulang.
Kinference hadir untuk mengatasi masalah ini dengan pendekatan yang disebut cache-aware routing: permintaan dikirim ke worker yang sudah menyimpan prefiksnya di cache, sehingga pekerjaan yang harus diulang menjadi minimal. 🔗 Blog vLLM
Apa Itu Kinference
Kinference adalah lapisan control plane untuk Kubernetes yang bekerja di depan armada worker vLLM. Ia memantau peristiwa KV-cache, ukuran antrean GPU, dan metrik historis performa, lalu memutuskan worker mana yang melayani setiap permintaan. vLLM sendiri tetap menjadi data plane yang menjalankan inferensi. 🔗 Blog Buoyant
Selain routing, Kinference menyediakan pelacakan penggunaan dan biaya per tenant serta metrik inferensi komprehensif untuk membangun SLO. Pembatasan laju token (token rate limiting) termasuk dalam rancangan fiturnya, tetapi pada rilis alpha saat ini fitur tersebut belum tersedia, begitu pula klasifikasi prompt dan dukungan API Anthropic. 🔗 MarkTechPost
Hasil Benchmark Internal
Menurut posting blog vLLM pada 4 November 2026, Kinference menunjukkan peningkatan signifikan dibanding load balancing standar Kubernetes dalam benchmark internal Buoyant. Angka-angka ini dilaporkan sendiri oleh Buoyant dan membandingkan Kinference dengan routing acak kube-proxy, bukan dengan router cache-aware lain. 🔗 Blog vLLM
- Median time-to-first-token (TTFT) turun 95 persen, dari 6,88 detik menjadi 0,31 detik pada workload shared-prefix, dan median latensi end-to-end turun 45 persen.
- Goodput 7,4 kali lipat pada workload shared-prefix dan 3,5 kali lipat pada workload multiturn.
- Kinference mencapai SLO pada konkurensi 32 (shared-prefix) dan 8 (multiturn), sedangkan pendekatan kube-proxy tidak mencapai SLO pada level konkurensi mana pun yang diuji.
Mesin Kebijakan (Policy Engine)
Inti Kinference adalah lapisan kebijakan (inference policy) yang didefinisikan dalam YAML. Platform owner dapat menyusun aturan eksplisit berdasarkan tenant, model yang diminta, kondisi pool GPU, hingga klasifikasi semantik prompt. 🔗 Blog vLLM
Contohnya, permintaan sederhana dapat diarahkan ke model yang lebih murah, kecuali cache menunjukkan bahwa mengirim ke model mahal justru lebih cepat. Permintaan berlebih dapat dilimpahkan (burst) ke endpoint penyedia cloud seperti OpenAI, Anthropic, Databricks, atau Bedrock saat GPU jenuh. Prompt yang mengandung PII dapat dijaga tetap di kluster lokal dengan kebijakan fail-closed, yakni ditolak bila tidak ada rute lokal yang tersedia.
Kebijakan ini bisa ditinjau manusia atau agen, disimpan di Git, di-lint, dan diterapkan atau di-rollback secara independen. 🔗 Blog vLLM
Metrik dan SLO per Tenant
Kinference melaporkan metrik seperti laju token masuk dan keluar, histogram ukuran token, TTFT, ITL, latensi end-to-end, rasio token yang sudah di-cache versus belum, serta saturasi GPU. Hampir semua metrik tersedia per tenant, sehingga platform owner dapat melacak penggunaan, membangun SLO spesifik per pelanggan, dan memantau kesehatan sistem secara menyeluruh. 🔗 Blog vLLM
Cara Memulai
Instalasi dilakukan melalui Gateway API CRD dan Helm. Kinference memiliki dua komponen dasar, traffic gateway dan inference handler, yang dirilis secara independen dengan CRD masing-masing. Setelah CRD Gateway API terpasang, pengguna memasang chart gateway dan Kinference, lalu memverifikasi pod berjalan. Dokumentasi lengkap tersedia di kinference.ai/docs. 🔗 Blog vLLM
Perlu dicatat, Kinference masih berada pada tahap alpha — rilis saat ini adalah v0.1.0-alpha.7 — sehingga lebih tepat diperlakukan sebagai evaluasi arsitektur ketimbang jalan pintas produksi yang sudah terjamin. 🔗 MarkTechPost
Fakta Kunci
- Perusahaan: Buoyant (pembuat Linkerd).
- Produk: Kinference, inference control plane open source.
- Target: vLLM di atas Kubernetes.
- Lisensi: Apache 2.0.
- Rilis: 4 November 2026; versi saat ini v0.1.0-alpha.7.
- Fitur utama: cache-aware routing, policy engine YAML, metrik per tenant, burst ke cloud.
- Benchmark internal: median TTFT turun 95 persen; goodput 7,4x shared-prefix dan 3,5x multiturn.
- Distribusi: GitHub, Helm charts, dokumentasi di kinference.ai.
Sumber
- vLLM Blog, "Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes", 4 November 2026 — https://vllm.ai/blog/2026-11-04-introducing-kinference
- Buoyant Blog, "Kinference: Scalable Inference Control Plane for Kubernetes", 4 November 2026 — https://www.buoyant.io/blog/introducing-kinference
- MarkTechPost, "Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM", 7 November 2026 — https://www.marktechpost.com/2026/11/07/buoyant-kinference-open-source-inference-control-plane-kubernetes-vllm/
Tidak ada komentar:
Posting Komentar