softmax(QKᵀ∕√dₖ)·V · MultiHead = Concat(head₁,…,headₕ)·Wᴼ · FFN(x) = max(0, xW₁+b₁)W₂+b₂ · RMSNorm(x) = γ⊙x∕√(Σxᵢ²∕d+ε) · h = x + MHA(LN(x)) · L = −Σₜ log p(xₜ|x<ₜ) · O(n²·d)
softmax(QKᵀ∕√dₖ)·V · MultiHead = Concat(head₁,…,headₕ)·Wᴼ · FFN(x) = max(0, xW₁+b₁)W₂+b₂ · RMSNorm(x) = γ⊙x∕√(Σxᵢ²∕d+ε) · h = x + MHA(LN(x)) · L = −Σₜ log p(xₜ|x<ₜ) · O(n²·d)