Cohere 研究：文化多样性在 LLM 后训练阶段收窄，提出「文化漏斗」现象

Cohere 在预印本《The Culture Funnel: You Can't Align What isn't in the Data》中分析了超过 560 万个训练数据样本，发现文化多样性随数据从预训练流向 SFT、对齐与推理等后训练阶段而持续收窄，并将这一现象称为「文化漏斗」。研究还发现，增加语言数量能提升地理多样性，但文化内容占比会趋于停滞，因为后者更多取决于数据筛选策略而非语言覆盖。