KI-Pakete: Halluzinationsrate bleibt bei 5 % – Perplexity veröffentlicht kostenlosen MCP-Scanner
Frontier-LLMs halluzinieren Paketnamen mit einer Rate von 4,6–6,1 % im aktuellen Modell-Cohort — gegenüber den Messwerten von 2024 komprimiert, aber nicht beseitigt. Das strukturelle Risiko verschärft sich: Eine neue Studie findet 127 Paketnamen, die von allen fünf evaluierten Modellen identisch erfunden werden und damit eine modellunabhängige Slopsquatting-Angriffsfläche schaffen, die kein Einzel-Anbieter-Audit aufdecken kann. Perplexity reagierte in dieser Woche mit der Open-Source-Veröffentlichung von Bumblebee — einem schreibgeschützten Sicherheitsscanner für Entwicklerumgebungen, der gezielt MCP-Konfigurationsdateien analysiert.
Was die Quellen tatsächlich berichten
Eine Replikationsstudie von unabhängigem Forscher Aleksandr Churilov (arXiv 2605.17062) führte 199.845 Python- und JavaScript-Prompt-Paare über Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4-mini, Gemini 2.5 Pro und DeepSeek V3.2 aus. Die Halluzinationsraten sanken gegenüber dem 2024-Benchmark von Spracklen et al. (5,2–21,7 %) deutlich, blieben aber nicht bei null: 4,62 % für Claude Haiku 4.5 bis 6,10 % für GPT-5.4-mini. Der kritische Befund sind die 127 modellübergreifend identischen Halluzinationen — 109 auf PyPI, 18 auf npm —, die alle fünf Modelle unabhängig vom Anbieter erfinden. Ein Einzel-Modell-Audit bereinigt den eigenen Anbieter-Stack, ohne diese gemeinsame Schwachstelle zu erkennen, und hinterlässt eine vorbereitete Slopsquatting-Angriffsfläche, die kein Modellwechsel beseitigen kann.
Parallel dazu veröffentlichte Perplexity Bumblebee als Open Source — das Tool, das das Unternehmen intern zum Schutz seines eigenen Teams einsetzt. Bumblebee scannt Browser-Erweiterungen (Chrome, Edge, Brave, Arc, Firefox), VS-Code-Familie-Editor-Plugins, Pakete auf npm, PyPI und Go sowie MCP-Konfigurationsdateien — beschrieben als „die lokalen Einstellungen, die KI-Assistenten mitteilen, auf welche externen Dienste sie zugreifen können, darunter E-Mails, Datenbanken und Code-Repositories." Der Scan ist schreibgeschützt und führt nichts aus, um das Auslösen des gesuchten Schadcodes zu verhindern. Die Veröffentlichung reagiert auf einen dokumentierten Angriff, bei dem eine einzelne Gruppe über 160 Pakete vergiftete — darunter eine React-Bibliothek mit rund 12 Millionen wöchentlichen Downloads.
Strategische Einordnung
Teams, die MCP-verbundene Agenten betreiben, haben einen vervielfachten Explosionsradius bei Supply-Chain-Angriffen: Eine vergiftete MCP-Konfiguration oder ein halluziniertes Paket kann den gesamten Agenten-Stack exponieren. Bumblebee (kostenlos, Apache 2.0) sollte auf allen Entwickler-Maschinen ausgeführt werden. Die 127 modellübergreifend identischen Halluzinationen sind eine benannte Bedrohungsklasse — Package-Lock-Verifizierung sollte in jede CI-Pipeline aufgenommen werden, die LLM-generierten Code verarbeitet.
