AI 导读
Ivy 是 HTTP 网关。 它负责 CPU 侧的请求预处理：解析、tokenization、模板化，以及在通过 gRPC 将大批量请求发送给 Tulip 之前对其进行拆分。 它让我们无需改动更重的推理服务器，就能调整请求格式和 tokenization。
正文
Ivy is the HTTP gateway.
It handles CPU-side request prep: parsing, tokenization, templating, and splitting large batches before sending them to Tulip over gRPC.
It allows us to tune request formatting and tokenization without touching the heavier inference servers.
来源：@perplexity_ai · x.com