element.chen/ai-g3sb-backman2.0
1
0
Fork 0
Code Pull Requests Activity

Refactor SQL streaming behavior in API server to default to LLM native delta transmission without secondary splitting. Update NLChatRequest to clarify optional parameters for SQL stream granularity and streaming throttle. Adjust _sse_stream_text_chunks and _chat_stream_events methods to streamline content handling and improve performance. Revise impact analysis documentation to reflect these changes.

Browse Source
This commit is contained in:
陈辅元
2026-04-16 14:29:24 +08:00
parent bff5f85d60
commit 205ee96e0c
5 changed files with 117 additions and 54 deletions
Download Patch File Download Diff File Expand all files Collapse all files
IMPACT_ANALYSIS.md
+6 -6
View File
@@ -639,33 +639,33 @@
## 1. 改动概览
- **背景与目标**：前端约定每条 SSE 为 `data: {"stage":"sql_gen","stream_kind":"content","content":"..."}`；需在服务端控制拆成「逐字符多条」或「与 LLM delta 一致」，并支持可选分片间隔。
- **背景与目标**：前端约定每条 SSE 为 `data: {"stage":"sql_gen","stream_kind":"content","content":"..."}`；服务端需按 LLM 原生流式 delta 透传（默认不二次切分），并支持可选分片间隔。
- **涉及模块**：`api_server.py`（`/g3sb/api/nl/chat/stream`、`_iter_sql_gen_content_pieces`、`_sse_stream_text_chunks`）。
- **改动类型**：行为调整（默认分片粒度默认更贴近前端的 `char`；可配置回 `delta`）。
- **改动类型**：行为调整（默认分片粒度为 `delta`：不做二次切分；如确需更细粒度可配置 `char`）。
## 2. 方法级改动
| 位置 | 变更 |
|------|------|
| `NLChatRequest` | 新增可选 `sql_stream_granularity`（`sqlStreamGranularity`）；明确 `streaming_throttle` 为相邻 content 间隔毫秒。 |
| `_iter_sql_gen_content_pieces` | 支持传入 `mode`；未设置时 `SSE_SQL_GEN_SPLIT` 默认 `char`。 |
| `_iter_sql_gen_content_pieces` | 支持传入 `mode`；未设置时 `SSE_SQL_GEN_SPLIT` 默认 `delta`（不切分）。 |
| `_chat_stream_events` | sql_gen 循环按粒度拆分后对每条 `data` 可选 `asyncio.sleep(throttle)`；寒暄分支 `_sse_stream_text_chunks` 支持相同节流。 |
## 3. 调用方与影响范围
- **调用方**：仅 SSE 流式客户端；非流式 `/g3sb/api/nl/chat` 不变。
- **破坏性变更**：否。未传新字段时：粒度由 `SSE_SQL_GEN_SPLIT` 决定（默认 `char`，事件条数多于旧版 `delta`）；若需旧行为可设 `SSE_SQL_GEN_SPLIT=delta` 或请求体 `sqlStreamGranularity: "delta"`。
- **破坏性变更**：否。未传新字段时：粒度由 `SSE_SQL_GEN_SPLIT` 决定（默认 `delta`，事件条数与 LLM 原生一致）；若需更细粒度可设 `SSE_SQL_GEN_SPLIT=char` 或请求体 `sqlStreamGranularity: "char"`。
## 4. 配置变更
| 环境变量 | 含义 | 默认 |
|----------|------|------|
| `SSE_SQL_GEN_SPLIT` | `char`：逐 Unicode 标量多条 SSE；`delta`：与 LLM 增量一致 | `char`（未设置 env 时由代码默认） |
| `SSE_SQL_GEN_SPLIT` | `delta`：与 LLM 增量一致；`char`：逐 Unicode 标量多条 SSE | `delta`（未设置 env 时由代码默认） |
## 5. 风险与回滚
- **风险级别**：低。`char` 模式下 SSE 条数增加，带宽与前端拼接次数上升。
- **回滚**：设 `SSE_SQL_GEN_SPLIT=delta` 或请求传 `sqlStreamGranularity: "delta"`。
- **回滚**：设 `SSE_SQL_GEN_SPLIT=delta` 或请求传 `sqlStreamGranularity: "delta"`（回到默认：不切分）。
**回滚方式是否简单**：是。