Ai2 veröffentlicht BAR: modulares MoE-Post-Training für domänenspezifische LLM-Updates
Das Allen Institute for AI (Ai2) hat BAR (Branch-Adapt-Route) veröffentlicht – ein modulares Post-Training-Verfahren, das Domänenexperten separat trainiert und via gelernten Router in ein einheitliches MoE zusammenführt. Die Anpassung einer Domäne stört die anderen nicht. Angewandt auf OLMo 2 7B erzielt BAR-5x7B +16,5 Coding-Punkte und +13 Mathe-Punkte bei lediglich linearen Per-Domänen-Updatekosten – gegenüber quadratischen Kosten beim monolithischen Post-Training. Die vollständige Checkpoint-Suite wurde unter Apache 2.0 veröffentlicht, einschließlich Basismodell, aller Domänenexperten und des finalen 5-Experten-MoE mit gelerntem Router.
Einordnung
Lineare Updatekosten machen gezielte LLM-Spezialisierung für Teams wirtschaftlich tragfähig, die eine Fähigkeit (z. B. Code, Recht) aktualisieren müssen, ohne das gesamte Modell neu zu trainieren – ein direkter Weg zu kontinuierlich adaptierten Produktionsmodellen.