Syntelligence · 化学基准案例 · 2026 年 11 月

四个化学基准案例,全部来自真实数据。

这是一组小型公开评测产物:三个前沿模型在真实化学数据上的案例研究,加一个待评测的任务包。 每个案例都给出任务定义、输出格式、评分规则与验证结论,页面上的每个数字都能追溯到原始记录。

4
个基准产物
2 个模型
NMR 题单次运行
3 次
质谱案例独立测试
0/1
两次 NMR 结构得分
案例

本批次包含什么。

每个案例独立:自己的题目、证据与验证器。点击进入英文完整案例页。

*3/3 发生在明确给出参考候选式并要求高斯拟合重排之后,属提示后条件,不记为独立解题。

方法

每个案例都可端到端核查。

四个案例的共同点:原始数据、明确输出格式、独立验证、记录完整保留。

原始记录,不做二次改写

NMR 案例直接使用论文实验部分原文;质谱案例使用原始谱图;过渡态案例保留实际提示词与模型原始 XYZ。没有改写成合成示例。

输出可机器检查

结构按分子图比较;解题说明按公开的 100 分评分表独立评审,与结构指标分开报告。平台类案例由自身验证器检查:批次记录、优化与频率、IRC。

完整记录留档

提示词、模型原始回复与验证记录均完整保留。页面只发布摘要,完整记录可在审核请求下提供。

结果

案例研究发现了什么。

四项独立评估;样本量太小,请不要横向比较模型。

案例评估设置结果判定
NMR 结构题 01 模型 A 与模型 B 各一次 两次都返回了相邻的芳香位置异构体;结构 0/1;说明分 89.0 / 90.5。 结构错误
质谱 · 元素组成案例 同一提示词,三次独立测试 首答最佳候选命中 0/3;提示参考式并重排后 3/3,不属独立解题。 独立 0/3
过渡态初猜 一次模型调用、一次平台验证 初猜可解析且合理;优化、频率、IRC 均完成;最终端点验证未通过。 未验证
SNAr 盐排序 任务包完整;暂无模型运行结果 验证器要求记录批次覆盖全部九个盲码;文献排序不接受。 待评测
可获得性

哪些可以公开、以什么方式公开。

公开摘要足以判断方法与结论;底层记录保持受控。

本页发布

四个案例的任务定义、输出格式、评分规则、结果摘要与验证结论。公开页面中的模型用模型 A–D 标注,身份在审核请求下披露。

按请求提供

指定案例的完整记录:提示词、模型原始输出、验证日志以及对应的谱图或几何文件。按案例逐项审核。

不公开

用于未来评测的题池、参考解与内部评测记录不在本次发布范围内。

局限

这些案例不能说明什么。

公开产物刻意保持小规模,价值在可追溯性,不在统计强度。

不是模型排名

每题单次或三次运行;案例不能证明模型间差异,数字也不应被当成通用能力估计。

部分条件未固定

过渡态题面未指定电荷与多重度,模型按 0 / 单重态假设;质谱测试的采样参数未记录。案例页均明确标注。

模型身份按评测端点记录

模型标识仅指运行时的评测端点;未独立核验服务商内部版本或快照,公开页面使用匿名标注。

本页面为和光智成(Syntelligence)独立工作,与 OpenAI、Anthropic 或任何模型厂商无隶属或背书关系。