In China ist das KI-Wissen inzwischen so präsent, dass Firmen wie der Essenslieferdienst Meituan nicht nur die Kapazitäten, das Know-how und den Anreiz haben, ein richtig gutes Mid-Size LLM zu trainieren, sondern es auch noch als Open Source veröffentlichen können. Mit allen Gewichten, ohne Einschränkungen, bereit zur lokalen Implementierung.

Das neue LongCat-Flash-Chat ist keine Spielerei: 560 Milliarden Parameter insgesamt, durch clevere MoE-Architektur nur 18-31 Milliarden davon aktiviert. Das Modell schlägt in manchen Benchmarks sogar GPT-4 und Claude – besonders beeindruckend bei Agentic Tasks.

Ich weiß ehrlich gesagt nicht mehr, wann ich das letzte Mal ein LLM eines europäischen Unternehmens (jenseits von Mistral) heruntergeladen und getestet habe. Dabei ist das Rezept für LLMs kein Zauberwerk.

Software/Algorithmen

Gibt es alles Open Source. Zig Anleitungen, Notebooks und Bücher zeigen, wie man ein LLM from scratch baut.

Trainingsdaten

Auch hier: viel ist frei verfügbar, plus der Datenschatz, den Unternehmen intern haben als individuelle “Edge”.

Rechenleistung/GPUs

In der Cloud verfügbar oder im eigenen RZ.

Energie

Günstiger Strom ist entscheidend zwischen “lohnt sich” und “Milliardengrab”. In Deutschland tendenziell schwierig.

Personen/Erfahrungswissen

Hier wird’s noch problematischer. Gute KI-Entwickler verdienen in den USA inzwischen mehr als DAX-Vorstände hierzulande. Man braucht unbedingt Personen, die das alles schon einmal erfolgreich gemacht haben. Die Erfolgsrezepte, Tuning-Tricks und Parameter-Bauchgefühl mitbringen.

Mindset

Hier sehe ich den größten Mismatch. Die deutsche/europäische Vorsichts-Mentalität in allen Ehren - Technikfolgenabschätzung an sich ist eine gute Idee. Aber: Wenn wir hier nicht extrem schnell das Know-how und die Erfahrung aufbauen, können wir die Chancen und Risiken gar nicht sinnvoll abwägen.

In jeder KI-Taskforce und jedem AI-Expertenrat müssen mindestens die Hälfte der Beteiligten auf diese Fragen positiv antworten können:

• Wie viele AI-Agenten hast du entwickelt?
• Wieviele LLMs pretrained und finetuned?
• Wieviele Trainingsdatensätze erstellt?
• Wieviele AI-Gyms und Trainingsumgebungen entworfen?

Letzteres wird gerade richtig spannend: Prime Intellect baut mit ihrer Environments Hub eine offene Plattform für RL-Umgebungen auf – das Fundament für die nächste Generation von AI-Agenten. Selbst Andrej Karpathy sagt: In der Ära des Reinforcement Learning sind Environments das neue Gold.

Wie sieht es in euren Unternehmen aus? Wann sehen wir die ersten Open-Source-LLMs aus der deutschen Praxis – nicht nur aus der Forschung? Die Tools sind da. Das Wissen ist verfügbar. Es fehlt nur noch der Mut, es anzupacken.