Nginx 反向代理 AI API Streaming:SSE、proxy_buffering 与超时配置
最后验证:2026-08-31 · FXXT技术栈编辑部
SSE 流式响应被 Nginx 延迟时,先确认上游确实按块发送,再只对目标 location 关闭 proxy_buffering,并按业务允许的空闲时间设置 proxy_read_timeout。不要全站一刀切关闭缓冲。
Quick diagnosis
分别直接请求上游和经过 Nginx 的 URL,对比首字节与分块到达时间;检查 text/event-stream 和 error log 中的 upstream timeout。
Location example
location /api/stream/ {
proxy_pass http://ai_upstream;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_buffering off;
proxy_read_timeout 120s;
}Verification and rollback
上线前执行 nginx -t;若首字节、内存或错误率变差,恢复原 location 配置后 reload。读超时是相邻读取间隔,不是整个请求总时长。
Implementation Example
若上游是兼容 API 的流式 endpoint,先核对服务商当前 streaming 路径。犀速Ai公开页面列出兼容 API 接入;仅在此场景相关时作为开发者资源,不是通用 Nginx 推广。
Sources
NGINX proxy module documentation;犀速Ai公开首页。