╔══════════════════════════╗ | |
║ _______ ║ | |
║ /\ |_ _| ║ | |
║ __ __ / \ | | ║ | |
║ \ \/ / / /\ \ | | ║ | |
║ > < / ____ \ _| |_ ║ | |
║ /_/\_\/_/ \_\_____| ║ | |
║ ║ | |
║ Understand the Universe ║ | |
╚══════════════════════════╝ | |
╔═══════════════════╗ | |
║ xAI Grok-1 (314B) ║ | |
╚═══════════════════╝ | |
╔═════════════════════════════════════════╗ | |
║ 314B parameter Mixture of Experts model ║ | |
║ - Base model (not finetuned) ║ | |
║ - 8 experts (2 active) ║ | |
║ - 86B active parameters ║ | |
╚═════════════════════════════════════════╝ | |