MIRAS: Google-Framework vereint Transformer, Mamba und Titans in einem Modell
Google-Forscher haben MIRAS veröffentlicht, ein vereinheitlichendes Framework, das argumentiert, dass jedes moderne Sequenzmodell – Transformer (KV-Cache), Mamba (Fixed-State-Kompression), Titans (Weight-Update-Memory) – dasselbe Optimierungsproblem mit vier Designoptionen löst: wie Schlüssel auf Werte abgebildet werden, unter einer internen Zielfunktion, mit einem Regularisierer, der ein „Retention Gate" steuert, das zwischen Behalten und Vergessen abwägt. Das Framework rahmt Titans' „Forgetting Gate" als Retention Gate um und positioniert alle drei Architekturen als Instanzen desselben Designraums. Die Erkenntnis ist für die Architektursuche bedeutsam: Anstatt diese Ansätze als konkurrierende Paradigmen zu behandeln, können Anwender nun entlang einer vierdimensionalen Designachse wählen.
Warum das wichtig ist
Ein vereinheitlichendes Framework über die drei dominanten Sequenzmodell-Familien gibt Anwendern eine prinzipielle Methode, Speichermechanismen zu kombinieren – anstatt sich auf eine Architekturfamilie festzulegen, können Teams den für ihre spezifischen Workload-Charakteristika geeigneten Retention-Forgetting-Kompromiss wählen.