Mistral AI 发布 7.3B 参数开源模型 Mistral 7B

Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在全部评测上超过 Llama 2 13B，多项基准接近 Llama 1 34B。该模型采用分组查询注意力（GQA）和滑动窗口注意力（SWA），在 16k 序列长度、4k 窗口下推理提速 2x，并能在 8192 序列长度下节省一半缓存。