Show HN：用 ESP32 通过 WiFi 流式加载权重跑 LLM 推理
Show HN: WiFi-LLM
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
开发者发布 WiFi-LLM 技术演示，让 ESP32 在推理时按需通过 WiFi 从主机流式加载权重，从而在单片机上运行 LLM。作者称速度非常慢，仅用于验证可行性，并实现了滑动窗口以支持无限生成。
来源：github.com（经 Hacker News） · github.com
Show HN: WiFi-LLM
本站未展示全文，请前往来源网站阅读。
开发者发布 WiFi-LLM 技术演示，让 ESP32 在推理时按需通过 WiFi 从主机流式加载权重，从而在单片机上运行 LLM。作者称速度非常慢，仅用于验证可行性，并实现了滑动窗口以支持无限生成。
来源：github.com（经 Hacker News） · github.com