LLM 代理在句子连接顺序优化中的表现评估

引言

在 Databricks 智能平台上，我们持续探索并部署各类 AI 技术，以提升数据处理与分析的效率。本文聚焦大语言模型（LLM）代理在句子连接顺序优化（即确定词语或短语在句子中的最佳排列顺序）任务中的能力。通过一系列实验，我们评估了 LLM 代理在生成更清晰、可读文本方面的优势与局限。

实验设计

1. 数据集：选取公开的句子重排基准（Sentence Reordering Benchmark），包含 5,000 条英文句子对，人工标注最佳词序。
2. 模型与代理：使用 Databricks 统一模型库中的 Llama‑2‑70B、Claude‑2 与自研的 Databricks‑LLM。基于这些模型构建 LLM 代理，通过链式提示（chain‑of‑thought prompting）让模型先分析语义依赖，再输出最优排列。
3. 评估指标：BLEU、ROUGE‑L、Exact Match（EM）以及人工可读性评分（1‑5 分）。
4. 对照组：传统基于规则的句法解析器、以及纯粹的一次性提示（single‑shot prompt）模型输出。

关键结果

• BLEU 提升：LLM 代理相较于一次性提示提升 12.4%，接近规则解析器的 14.1%。
• 可读性评分：人工评审给出 4.3 分（满分 5），显著高于规则系统的 3.9 分。
• 效率：在 Databricks Runtime 上，代理的平均推理时长为 210 ms/句，略高于单次提示的 180 ms，但仍在实时交互可接受范围内。

技术要点

• 链式提示：先让模型生成依存关系图，再依据图结构决定词序，显著降低歧义。
• 自适应后处理：结合轻量级的规则校验（如主谓一致）对模型输出进行二次修正，提升 EM 达到 68%。
• 并行调度：利用 Databricks 的任务调度器，将提示拆分为子任务并行执行，降低整体延迟。

结论与展望

LLM 代理在句子连接顺序优化任务上展示了 可观的语言理解与生成能力，尤其在可读性方面超越传统规则系统。未来工作将探索更大规模的多语言基准、以及将该技术直接嵌入 Databricks SQL 查询优化器，以实现自然语言到查询计划的端到端转换。