#llm-inference

Kimi Prefill-as-a-Service teilt LLM-Inferenz für 1,54-fachen Durchsatz

Kimis Prefill-as-a-Service trennt LLM-Inferenz in rechenintensives Prefill und latenzempfindliches Decode – 1,54× Durchsatz und 64% niedrigere TTFT in Tests.