跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

当前仅显示精选新闻
241条精选相关主题图像生成AI 视频语音与音频

最新精选

第 101–120 条 · 共 241 条
8月13日周四
  1. Suno Blog65

    Suno Studio 2.0 发布,面向 Premier 订阅者新增 MIDI 编辑与自动化等功能

    Suno 发布 Studio 2.0,现向 Premier 订阅者开放。新增时间线 MIDI 导入、录制与编辑,可用 MIDI 剪辑作为生成提示词,附带新的 wavetable 合成器;另推出 Chat bar(beta)协作创作、高级 stem 分离、音频效果与自定义插件、自动化曲线,并支持无损导出 32-bit/48kHz 多轨与 stems。插件创建目前不消耗 credits。

    推荐理由:官方发布新增 MIDI、Chat bar、自动化等能力,音乐创作者可据此判断 Suno Studio 2.0 是否融入现有工作流。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布手语转文本模型 SL2T,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中支持 ASL

    Google DeepMind 发布多语言手语转文本(SL2T)模型,首次将手语 AI 用于消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持 ASL 转英文,后续将扩展更多语言和设备。

    推荐理由:官方介绍 SL2T 的技术路径、训练数据和实测限制,读者可以了解手语翻译从实验到消费产品的落地方式。

  2. Google Research66

    Google Research 推出 AMIE (Video):实现实时音视频临床问诊,表现达到专科医生水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 构建实时视频临床问诊系统,采用 Talker、Planner、Perception 三个并行智能体的异步架构。

    推荐理由:原文给出异步多智能体架构与随机对照实验设计,读者可以据此了解视频问诊 AI 的能力边界和评估方法。

8月10日周一
  1. Hugging Face Blog81

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 发布从 Muse 蒸馏而来的 30B 多模态模型 Muse Glimmer,采用 Apache 2.0 许可,面向本地隐私场景的智能体用途。模型由 2B ViT 视觉编码器和 28B 文本解码器组成,支持图像、视频、多模态工具调用和目标检测,并附带基于 DFlash 的可选投机解码。

    推荐理由:原文给出架构组成、基准对比和各推理框架的 day-0 用法,读者可以据此评估本地部署的可行路径。

8月6日周四
  1. Google DeepMind83

    Google DeepMind 开源 WeatherNext 气旋预报模型,Nature 论文显示精度领先一天

    Google DeepMind 发表 Nature 论文并开源 WeatherNext 2 与 WeatherNext Cyclones 模型,单模型以 SOTA 精度预测气旋路径、强度和风结构,平均多出 24 小时提前量,相当于约十年气象学进步。

    推荐理由:官方Nature论文和模型开源同时落地,读者可据此了解AI气象预报达到的精度水平并直接获取代码权重。

8月5日周三
  1. ByteDance Seed Research68

    字节 Seed 发布音视频全双工大模型 SeedRealtime 并在豆包 App 全量上线

    ByteDance Seed 发布原生音视频全双工大模型 SeedRealtime,用统一架构融合音频、视频与文本,支持音视频联合理解、主动交互与流畅对话节奏。端到端人工评测显示,相比级联模型,音视频对话节奏问题减少一半。模型已在豆包 App 全量上线,用户更新后在对话框选择“打电话”进入视频通话即可体验。

    推荐理由:原文给出统一架构、端到端评测数字和豆包 App 开放入口,可据此了解音视频全双工交互的能力与体验变化。

8月4日周二
  1. Black Forest Labs Blog74

    Black Forest Labs 发布 FLUX 3 Video,支持文生视频与图生视频

    Black Forest Labs 的 FLUX 3 Video 初版正式通过 BFL API 和部分合作方开放。模型可生成最长 20 秒、带原生音频的视频,支持 HD(720p)与 Full HD(1080p),并提供文本生视频、图生视频与关键帧、视频续写(最多 4 秒素材)、单次生成多镜头、多语言对话与精确口型同步、Draft Mode 快速预览等能力。

    推荐理由:官方公布了模型能力和自评基准数据,并说明后续开源权重与图像版本的路线,可帮助读者评估其在视频生成工作流中的位置。

  2. Mistral AI64

    Mistral AI 开源 3B 多模态安全分类器 Shieldstral

    Mistral AI 发布开源多模态安全分类器 Shieldstral,权重 3B,采用 Apache 2.0 协议。模型将内容审核改写为推理时的问答任务,用户用自然语言给出政策,无需重训即可适配文本、图像和 prompt–response 对的审核。

    推荐理由:原文解释了用问答式策略接口替代固定分类体系的设计思路,并给出训练数据构建方法,读者可以借鉴其小模型超越大模型的数据策略。

8月3日周一
  1. AI前线 · 微信公众号78

    阿里正式发布 Qwen3.8,2.4T 规模,自主编程 16 天做出 Hermes Agent 级框架

    阿里巴巴正式发布新一代基座大模型 Qwen3.8,旗舰版 Qwen3.8-Max 总参数量 2.4 万亿、激活 95B,采用稀疏 MoE 架构与混合注意力机制,支持视觉理解,上下文长度达 1M Tokens。

    推荐理由:原文给出 2.4T MoE 旗舰模型的参数规模、编程能力表现和 API 定价,便于比较其性价比定位。

7月31日周五
  1. ByteDance Seed Research73

    字节 Seed 发布视频生成模型 Seedance 2.5

    ByteDance Seed 正式发布视频生成模型 Seedance 2.5,延续 Seedance 2.0 的多模态音视频联合生成架构,单次生成时长从 15 秒提升至 30 秒并支持多轮延长,可生成数分钟连贯内容。

    推荐理由:官方公布单次生成 30 秒、30 张图参考和时间戳编辑等具体能力变化与上线入口,读者可据此评估视频创作工作流。

7月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型,新增视频理解与多机器人协作

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型,可通过连续视频流追踪任务进度、编排多步任务,并支持多机器人协作,将运动执行交给下层 VLA 模型。

    推荐理由:官方公布具身推理模型的能力指标与 API 入口,开发者可以据此评估它在实体机器人任务编排中的可用性。

7月28日周二
  1. AI科技评论 · 微信公众号86

    Kimi K3 发布开放权重与 47 页技术报告,披露三项核心架构改动

    Kimi K3 发布开放权重并公开 47 页技术报告,包含 2.8T 总参数、104B 激活参数和 100 万 token 上下文。报告重点在 KDA、AttnRes 与 Stable LatentMoE 三项架构改动,分别处理模型变长、变深、变宽后的信息流问题。

    推荐理由:技术报告披露的 KDA、AttnRes 与 LatentMoE 三项架构改动,可帮读者理解长上下文和长程 Agent 训练的工程取舍。

  2. AI寒武纪 · 微信公众号84

    Kimi K3 正式开源,2.8 万亿参数技术报告公布核心架构改动

    月之暗面正式开源 Kimi K3,参数量 2.8 万亿、激活参数 1040 亿,支持 100 万 token 上下文并具备原生视觉理解,同步发布技术报告。

    推荐理由:技术报告公开了注意力、跨层残差与 MoE 负载均衡的具体改动,可借此看清单个开源模型在万亿参数规模上的工程取舍。

7月27日周一