拾穗数据工作室SQL 评测报告与证据

测试用例版本

每个版本包含 Schema、Seed、语义层、Prompt 和案例。内容规范化后计算哈希,发布后不再修改。

版本 02

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

CASES18
GOLD ROWS1245
DIALECTduckdb
DuckDB1.5.5
SQLGlot30.17.0
Scorer1.0.0
Published2026年8月29日 21:04
CONTENT SHA-256
5b5d98876ea35114f18ce6dfa48cc9800d88b6baba80d311b2f52552a38b31af

BUNDLE SHA-256
955abdf3b158dd0db0e6db364eb8b5e30c78cefee58f0e12b1dc366adf0ad97a
版本 01

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

CASES12
GOLD ROWS1053
DIALECTduckdb
DuckDB1.5.5
SQLGlot30.17.0
Scorer1.0.0
Published2026年8月29日 15:06
CONTENT SHA-256
0a4a18b4374f510f5eff18b06272c30c3375e1f082ae405adc8ead7dd9c81556

BUNDLE SHA-256
3480015062ea555127daae99d83e16f29fae77a467d5516ccac3c1349232d913

模型输入边界

公开证据包含答案和金标;实际模型 Prompt 不包含 Reference SQL、金标结果或 AST 评分规则。

题库源

完整配置

包含 Reference SQL 和金标,用于构建和验证题库。

模型输入

排除答案

只发送结构、语义、业务问题、Dialect 规则和输出合同。

本地执行

结果比较

模型 SQL 与固定 DuckDB 金标进行确定性比较。

公开证据

保留记录

发布 Prompt、模型输出、结果、评分和事件日志。