Computer Forum
Mit Stand vom 4. November 2023 wird Grok als frühes Betaprodukt beschrieben, das erst zwei Monate Training hinter sich hat. xAI weist darauf hin, dass Grok einen Sinn für Humor und rebellische sein kann. Ferber rät das Unternehmen von der Nutzung durch diejenigen ab, die keinen Hang zum Humor haben. Der einzigartige Vorteil von Grok ist sein Zugang zur Datenbank von X, wodurch ihm Echtzeitwissen über die Welt verschaffen wird und es ihm ermöglicht, selbst die heikelsten Fragen zu beantworten, die die meisten KI-Systeme normalerweise vermeiden. Das Risiko, dass Grok durch die Nutzung der X-Datenbank Fehlinformationen verbreitet, ist durchaus gegeben.
Grok ist Teil der fortschrittlichen Sprachmodelle (LLMs) wie ChatGPT von Microsoft und Bard von Google. Grok-0 ist der Prototyp des LLMs (Large Language Model) und ist mit 33 Milliarden Parametern ausgestattet, wodurch er genauso leistungsfähig wie das LLaMA 2 von Facebook, das mit 70 Milliarden Parametern arbeitet, wobei Grok Berichten zufolge nur die Hälfte der Ressourcen für das Training benötigt.
Grok-1 ist ein hochmodernes Sprachmodell, das beeindruckende Benchmark-Ergebnisse erzielt: 63,2 % bei den HumanEval-Codieraufgaben und 73 % bei den MMLU-Bewertungen. HumanEval bewertet die Programmierfähigkeiten eines Modells und Massive Multitask Language Understanding (MMLU) das allgemeine Wissen und die Problemlösungskompetenz bewertet. Doch im Vergleich zu CharGPT 4, ist Grok in den Benchmark-Tests schlechter.
| Benchmark | Grok-0 (33B) | LLaMa 2 70B | Inflection-1 | GPT-3.5 | Grok-1 | Palm 2 | Claude 2 | GPT-4 |
|---|---|---|---|---|---|---|---|---|
| GSM8k | 56.8% 8-shot |
56.8% 8-shot |
62.9% 8-shot |
57.1% 8-shot |
62.9% 8-shot |
80.7% 8-shot |
88.0% 8-shot |
92.0% 8-shot |
| MMLU | 65.7% 5-shot |
68.9% 5-shot |
72.7% 5-shot |
70.0% 5-shot |
73.0% 5-shot |
78.0% 5-shot |
75.0% 5-shot + CoT |
86.4% 5-shot |
| HumanEval | 39.7% 0-shot |
29.9% 0-shot |
35.4% 0-shot |
48.1% 0-shot |
63.2% 0-shot |
- | 70% 0-shot |
67% 0-shot |
| MATH | 15.7% 4-shot |
13.5% 4-shot |
16.0% 4-shot |
23.5% 4-shot |
23.9% 4-shot |
34.6% 4-shot |
- | 42.5% 4-shot |
xAI setzt auf eigenes Tech-Stack
xAI hat verraten, dass Grok mit einem eigens entwickelten Stack entworfen wurde, der auf Kubernetes, Rust und JAX-Technologien basiert. Bei der Entwicklung von Grok stand die Maximierung der Effizienz der Rechenleistung im Vordergrund. Die Nutzer auf X haben ihre ersten Erfahrungen mit Grok geteilt und auf Funktionen wie die gleichzeitige Verwaltung mehrerer Unterhaltungen und den nahtlosen Übergang zwischen ihnen hingewiesen. Deutsche Nutzer von X müssen sich noch etwas gedulden, weil sie bisher nur auf Warteliste kommen. Interessierte Nutzer, können sich für den Early Access anmelden.
