#inference-engine

Superlinked veröffentlicht 'Sie' Open-Source-Inferenz-Engine für kleine Modelle

Superlinked 'Sie' open-sourced: Hot-Swap-Multi-Modell-Inferenz auf einer GPU, per-Family Forward Passes (BERT/Qwen/ColBERT), variable-length Flash Attention, KEDA-Auto-Scaling.