Mistral 在 X 上甩種子:開源 176B 大模型 Mixtral 8x22B
Mistral AI 延續傳統在 X 上直接釋出磁力連結,推出開源模型 Mixtral 8x22B。該模型總引數達 1760 億,採用 MoE 架構,每次推理僅啟用 440 億引數,支援 65k 上下文視窗。最值得關注的是它採用寬鬆的 Apache 2.0 協議開源,開發者可自由商用與微調。
Mistral AI 延續傳統在 X 上直接釋出磁力連結,推出開源模型 Mixtral 8x22B。該模型總引數達 1760 億,採用 MoE 架構,每次推理僅啟用 440 億引數,支援 65k 上下文視窗。最值得關注的是它採用寬鬆的 Apache 2.0 協議開源,開發者可自由商用與微調。