这是一组小型公开评测产物:三个前沿模型在真实化学数据上的案例研究,加一个待评测的任务包。 每个案例都给出任务定义、输出格式、评分规则与验证结论,页面上的每个数字都能追溯到原始记录。
每个案例独立:自己的题目、证据与验证器。点击进入英文完整案例页。
只给论文实验部分的 NMR、HRMS 与 IR,隐去化合物名称;模型需提交 SMILES 与独立的解题说明。
一份 10,160 点的原始谱图加目标 m/z,要求给出一个最佳候选和两个次佳候选(含理论 m/z 与误差)。三次新对话、同一提示词。
8 原子体系,给定成键与断键关系;模型输出一个 XYZ 初猜,量子化学平台执行优化、频率与 IRC 验证。
模拟实验平台、盲码盐;agent 必须真实执行批次、按 10 分钟实测转化率排序,仅凭文献排序无法通过验证器。
*3/3 发生在明确给出参考候选式并要求高斯拟合重排之后,属提示后条件,不记为独立解题。
四个案例的共同点:原始数据、明确输出格式、独立验证、记录完整保留。
NMR 案例直接使用论文实验部分原文;质谱案例使用原始谱图;过渡态案例保留实际提示词与模型原始 XYZ。没有改写成合成示例。
结构按分子图比较;解题说明按公开的 100 分评分表独立评审,与结构指标分开报告。平台类案例由自身验证器检查:批次记录、优化与频率、IRC。
提示词、模型原始回复与验证记录均完整保留。页面只发布摘要,完整记录可在审核请求下提供。
四项独立评估;样本量太小,请不要横向比较模型。
| 案例 | 评估设置 | 结果 | 判定 |
|---|---|---|---|
| NMR 结构题 01 | 模型 A 与模型 B 各一次 | 两次都返回了相邻的芳香位置异构体;结构 0/1;说明分 89.0 / 90.5。 | 结构错误 |
| 质谱 · 元素组成案例 | 同一提示词,三次独立测试 | 首答最佳候选命中 0/3;提示参考式并重排后 3/3,不属独立解题。 | 独立 0/3 |
| 过渡态初猜 | 一次模型调用、一次平台验证 | 初猜可解析且合理;优化、频率、IRC 均完成;最终端点验证未通过。 | 未验证 |
| SNAr 盐排序 | 任务包完整;暂无模型运行结果 | 验证器要求记录批次覆盖全部九个盲码;文献排序不接受。 | 待评测 |
公开摘要足以判断方法与结论;底层记录保持受控。
四个案例的任务定义、输出格式、评分规则、结果摘要与验证结论。公开页面中的模型用模型 A–D 标注,身份在审核请求下披露。
指定案例的完整记录:提示词、模型原始输出、验证日志以及对应的谱图或几何文件。按案例逐项审核。
用于未来评测的题池、参考解与内部评测记录不在本次发布范围内。
公开产物刻意保持小规模,价值在可追溯性,不在统计强度。
每题单次或三次运行;案例不能证明模型间差异,数字也不应被当成通用能力估计。
过渡态题面未指定电荷与多重度,模型按 0 / 单重态假设;质谱测试的采样参数未记录。案例页均明确标注。
模型标识仅指运行时的评测端点;未独立核验服务商内部版本或快照,公开页面使用匿名标注。
本页面为和光智成(Syntelligence)独立工作,与 OpenAI、Anthropic 或任何模型厂商无隶属或背书关系。