亚马逊联合 Booking.com 用知识蒸馏与 Medusa 加速旅行场景 LLM

亚马逊科学与 Booking.com 合作，将知识蒸馏与 Medusa 并行解码结合，把 70B 的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型，在 AI Trip Planner、Smart Filters 和住宿描述生成三个功能上保持教师模型质量，成本降至不到三分之一，速度提升 10 至 20 倍。