与以往侧重于考察模型记忆能力或遵循固定流程完成任务的基准测试不同，GeneBench-Pro 旨在模拟真实的科研场景，要求模型在面对含糊不清、信息缺失或带有干扰的数据时，进行判断和分析并得出结论。

GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域，共设计了 129 道测试题。这些题目被划分为 10 个主要类别和 21 个子类别，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个细分方向。每道题目都为模型提供了一组接近真实科研环境的数据集，并附有简要的实验背景介绍和一个与后续决策相关的问题。模型需要自主完成数据探索，选择合适的分析方法，并在分析过程中不断调整策略，最终给出答案。

为规避传统长流程基准测试中常见的评分偏差，OpenAI 在开发 GeneBench-Pro 时采用了合成数据。这是因为使用真实历史数据出题时，可能存在多种有效的分析路径，导致模型即使采用了错误的方法也可能偶然得到正确答案。通过使用合成数据，OpenAI 可以完全掌控数据的因果结构和生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅是找到了“捷径”。

目前，OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示范性题目，并提供了一个交互式界面供外部研究人员试用。未来，OpenAI 计划开放其中的 50 道题目，供 Artificial Analysis 进行第三方独立评估，以检验不同模型在这一基准测试中的实际性能。