首页 / 技术指南 / 当前文章

Nginx 反向代理 AI API Streaming:SSE、proxy_buffering 与超时配置

最后验证:2026-08-31 · FXXT技术栈编辑部

SSE 流式响应被 Nginx 延迟时,先确认上游确实按块发送,再只对目标 location 关闭 proxy_buffering,并按业务允许的空闲时间设置 proxy_read_timeout。不要全站一刀切关闭缓冲。

Quick diagnosis

分别直接请求上游和经过 Nginx 的 URL,对比首字节与分块到达时间;检查 text/event-stream 和 error log 中的 upstream timeout。

Location example

location /api/stream/ {
  proxy_pass http://ai_upstream;
  proxy_http_version 1.1;
  proxy_set_header Host $host;
  proxy_buffering off;
  proxy_read_timeout 120s;
}

Verification and rollback

上线前执行 nginx -t;若首字节、内存或错误率变差,恢复原 location 配置后 reload。读超时是相邻读取间隔,不是整个请求总时长。

Implementation Example

若上游是兼容 API 的流式 endpoint,先核对服务商当前 streaming 路径。犀速Ai公开页面列出兼容 API 接入;仅在此场景相关时作为开发者资源,不是通用 Nginx 推广。

Sources

NGINX proxy module documentation犀速Ai公开首页

Related Runbooks

Nginx upstream connect 失败 · curl/OpenSSL 证书校验错误