数巨有谱数据集团
[01 · SHP-MED-07-049]

独立测试与外部验证数据

一份封存后方启动评测的独立验证数据集。数据从哪个队列、哪些站点来,独立到什么程度,都在发布里声明清楚。划分按主体隔离。每条题目附训练暴露记录与重复泄漏检查,回答「这道题会不会已经被训练见过」。出分按任务域与亚组分别汇总,数据卡写明预期用途与不可外推的限制。用于注册与临床评价材料,也可用于院内引入前的独立评估。

医疗模型评测与安全 · 评估与研究使用许可 · 更新日期 2026-08-05

21
实体
112
字段
2
实体关系
07
所属体系
[02 · 产品说明]

读懂数据结构与交付边界

以下内容来自产品说明书,包含数据拓扑、字段字典、脱敏样例、使用场景及定制方式。

[01]

数据产品概览

数量内容
实体21数据卡 · 重复泄漏检查 · 评测运行 · 验证条目 · 参考答案 · 条目结果 · 分域指标 · 数据质量项 · 复核记录 · 评分点 · 评分细则 · 封存清单 · 来源队列 · 来源沿袭 · 来源站点 · 划分清单 · 亚组指标 · 任务载荷 · 训练暴露记录 · 验证数据集发布 · 验证受试对象
字段112交付范围内的字段总数
实体关系2一次发布连接来源队列、来源机构类型、受试对象与数据划分。同一发布另连任务、评测运行、指标、封存清单与数据卡 · 每个条目连接实际任务载荷、参考答案、评分点、训练暴露登记与重复泄漏检查

交付与供应方式

  1. 数据集交付:清单 CSV/Parquet + 单一对象文件夹 + Meta.jsonl/Parquet
  2. API 调用
  3. Token 计量
  4. 数巨有谱可信数据空间连接器合约使用

权利与来源

  • 数据取得方式:数据资源持有方书面授权
  • 数据来源机构:医疗机构(含等级医院、社区医院及康复机构、疾控机构)
  • 数据加工机构:数巨有谱或数据资源持有方
  • 数据经营机构:数巨有谱(经营权权利人)
[02 · DATA CONTENT]

数据内容与字段结构

在同一位置切换字段字典、实体血缘与脱敏样例,避免重复铺陈造成页面过长。

数据血缘拓扑

实体与连接关系分层呈现:上方先识别全部数据对象,下方逐条阅读关系基数,避免连线交叠、标签遮挡或内容被裁切。

21 个实体19 条连接响应式完整展示

实体概览

核心实体以品牌蓝标识
01关联实体

数据卡

预期用途/使用限制

02关联实体

重复泄漏检查

检查规则/重复与泄漏状态

03关联实体

评测运行

运行状态/运行时间

04核心实体

验证条目

任务域/载荷/参考答案

05关联实体

参考答案

参考正文/性质

06关联实体

条目结果

判分状态/评分

07关联实体

分域指标

任务域/指标取值

08辅助实体

数据质量项

quality_issue

09关联实体

复核记录

复核状态/版本

10关联实体

评分点

判分要点/满分

11关联实体

评分细则

任务域/计分方法

12关联实体

封存清单

封存对象/封存状态

13关联实体

来源队列

独立性状态

14辅助实体

来源沿袭

source_lineage

15关联实体

来源站点

站点状态

16关联实体

划分清单

隔离层级

17关联实体

亚组指标

亚组名/指标取值

18关联实体

任务载荷

输入形态/任务截点

19关联实体

训练暴露记录

暴露状态/判定依据

20关联实体

验证数据集发布

发布版本/发布状态

21关联实体

验证受试对象

对象状态

连接关系

每条关系独占一行,基数置于两实体之间

实体 A01

验证数据集发布

发布版本/发布状态

1—n
实体 B

来源队列

独立性状态

实体 A02

来源队列

独立性状态

1—n
实体 B

来源站点

站点状态

实体 A03

来源队列

独立性状态

1—n
实体 B

验证受试对象

对象状态

实体 A04

验证数据集发布

发布版本/发布状态

1—1
实体 B

划分清单

隔离层级

实体 A05

验证数据集发布

发布版本/发布状态

1—1
实体 B

封存清单

封存对象/封存状态

实体 A06

验证数据集发布

发布版本/发布状态

1—1
实体 B

数据卡

预期用途/使用限制

实体 A07

验证数据集发布

发布版本/发布状态

1—n
实体 B

验证条目

任务域/载荷/参考答案

实体 A08

验证受试对象

对象状态

1—n
实体 B

验证条目

任务域/载荷/参考答案

实体 A09

验证条目

任务域/载荷/参考答案

1—1
实体 B

任务载荷

输入形态/任务截点

实体 A10

验证条目

任务域/载荷/参考答案

1—1
实体 B

参考答案

参考正文/性质

实体 A11

验证条目

任务域/载荷/参考答案

1—1
实体 B

评分细则

任务域/计分方法

实体 A12

参考答案

参考正文/性质

1—n
实体 B

评分点

判分要点/满分

实体 A13

验证条目

任务域/载荷/参考答案

1—1
实体 B

训练暴露记录

暴露状态/判定依据

实体 A14

验证条目

任务域/载荷/参考答案

1—1
实体 B

重复泄漏检查

检查规则/重复与泄漏状态

实体 A15

验证数据集发布

发布版本/发布状态

1—n
实体 B

评测运行

运行状态/运行时间

实体 A16

评测运行

运行状态/运行时间

1—n
实体 B

条目结果

判分状态/评分

实体 A17

评测运行

运行状态/运行时间

1—n
实体 B

分域指标

任务域/指标取值

实体 A18

评测运行

运行状态/运行时间

1—n
实体 B

亚组指标

亚组名/指标取值

实体 A19

验证条目

任务域/载荷/参考答案

1—n 条目与参考答案的历次复核记录按对象标识挂接
实体 B

复核记录

复核状态/版本

核心实体关联实体1—1 / 1—n / n—1 表示关系基数
查看关系语义清单
基数关系语义
验证数据集发布1—n来源队列一个发布可含多个来源队列
来源队列1—n来源站点队列声明它由哪些来源站点组成
来源队列1—n验证受试对象受试对象归属于具体队列
验证数据集发布1—1划分清单发布声明一份划分清单
验证数据集发布1—1封存清单发布以封存清单固定参与对象
验证数据集发布1—1数据卡发布附一份写明用途与限制的数据卡
验证数据集发布1—n验证条目发布下辖多条验证条目
验证受试对象1—n验证条目一个受试对象可产生多条验证条目
验证条目1—1任务载荷条目绑定实际送入评测的任务载荷
验证条目1—1参考答案条目对应一份参考答案
验证条目1—1评分细则条目按任务域对应一版评分细则
参考答案1—n评分点参考答案按评分点逐点判分
验证条目1—1训练暴露记录条目附训练暴露记录
验证条目1—1重复泄漏检查条目附重复与泄漏检查
验证数据集发布1—n评测运行对同一封存版本可发起多次运行
评测运行1—n条目结果运行按条目逐条出结果
评测运行1—n分域指标条目结果按任务域汇总成指标
评测运行1—n亚组指标指标另按声明亚组切分
验证条目1—n复核记录条目与参考答案的历次复核记录按对象标识挂接

发布是外层容器。队列与站点说明数据从哪来、独立到什么程度;划分清单说明隔离做到了哪一层。封存清单把参与本轮的对象一次性固定。数据卡把预期用途与不可外推的限制写进数据本身。条目是内层单位。任务载荷、参考答案、评分细则、训练暴露记录与重复泄漏检查都按条目对齐。每一条都答得出「这道题会不会已经被训练见过」。运行只对封存版本成立。出分后再按域、按亚组汇总,整体分数掩盖了什么,看得见。

[03]

使用场景

验证流程的成套接入与封存留档

医疗科技企业 · 产品注册与临床评价准备

  • 先封存再评测:参与验证的对象在评测前一次性封存。结果只对这一份封存内容成立,事后换数据即另立发布
  • 隔离层级写在数据里:划分清单声明做到主体级还是病例族级隔离
  • 训练暴露逐条声明:每条条目附训练暴露记录与判定依据。「这道题会不会已经被训练见过」是可核查的字段
  • 分域出分:指标按任务域分别汇总,能力声明落到具体任务域
  • 限制与数据同行:数据卡写明预期用途与不可外推的限制

获得:封存、隔离与防泄漏成套留痕的验证材料底座

自带数据接入现成的评测口径

医院与区域医疗机构 · 引入前的独立评估

  • 接入形态固定:任务载荷、参考答案与评分细则的形态固定。按同一形态接入本院数据后即可执行评测
  • 亚组看得见:指标另按声明亚组切分,看得出整体分数是否掩盖了某类人群上的落差
  • 重复项先剔除:重复与泄漏按明确规则检查
  • 结论只对封存版本:每次评估绑定一个封存版本,供应商更新后重跑,前后可直接对照

获得:自带数据可直接接入、亚组差异看得见的独立评估流程

跨来源汇集时的隔离与封存约定

多中心研究协调方 · 验证数据集组织

  • 队列与站点分列:来源队列与站点各自声明独立性状态,汇集之后仍看得出每条数据的来路层级
  • 隔离层级分别记录:主体级隔离与文档近重复隔离分别记录
  • 封存清单即约定:封存清单固定参与本轮的对象,各中心据此确认自己交了什么、评的是什么
  • 修订另立版本:任何修订产生新发布版本,历史结果保留。中心之间的分歧有据可查

获得:隔离层级与封存范围都可核对的多中心组织约定

自评乐观偏差的来源拆解

第三方评测机构与高校 · 评测方法学研究

  • 暴露与重复分列:训练暴露与数据集内重复分成两类检查,可分别量化各自对分数的抬升
  • 独立性可分级:队列独立性写成分级状态,可研究不同独立程度下的分数落差
  • 同一封存反复跑:封存版本固定,同一份数据在不同评测对象上重跑,比较结果不受数据漂移干扰
  • 亚组留痕:亚组指标保留分组名与取值,可复核小样本亚组结论的稳定性

获得:可拆解自评乐观偏差来源的评测方法学底座

[04]

定制与定向

  • 是否支持定制:是
  • 验证范围(单选):按单一任务域 / 按全任务域组合
  • 其他定制项(多选):来源队列构成 / 隔离层级要求 / 任务载荷形态 / 指标与亚组口径 / 封存与复放频次
  • 最低定制数量:300 条验证条目
  • 接入形态:任务载荷形态、指标口径与外部来源接入方式按项目商定
  • 其他可定制项:与项目商务确定
[05]

去标识化与交付

  1. 直接标识符移除:姓名、证件号码、联系方式、住址
  2. 间接标识符不可逆映射:患者标识、就诊号、报告单号
  3. 时间平移:整体平移并保持时序与时间间隔
  4. 机构与医师信息去除或泛化
  5. 自由文本二次核查:叙述内容中的标识信息
  6. 可按项目追加 K-匿名等泛化处理,匿名化的判定与出具方式随项目约定
  7. 任务载荷与参考答案逐条核查;封存清单只记录对象与状态,不携带可回联至来源的定位信息
  • 加密通道交付:支持
[06]

关联数据集

  • SHP-MED-07-042 通用临床能力评测集——可接入本发布复放的能力评测条目
  • SHP-MED-07-048 医疗隐私、公平性与鲁棒性评测集——同批交付的隐私与公平性侧评测
  • SHP-MED-09-056 结构化电子病历合成数据——可用于接入与流程联调的合成数据
[07]

常见问题

独立测试与外部验证数据包含哪些内容?

独立测试与外部验证数据(SHP-MED-07-049)是一份封存后方启动评测的外部验证集。数据来自哪个队列、哪些站点,独立到什么程度,都在发布里声明;划分按主体隔离。每条题目附训练暴露记录与重复泄漏检查。

外部验证数据适合做什么?

独立测试与外部验证数据(SHP-MED-07-049)用于产品注册与临床评价材料准备,也可用于院内引入前的独立评估。它与训练侧数据按主体隔离,出分按任务域与亚组分别汇总,数据卡写明预期用途与不可外推的限制。

样例和交付形态是什么样的?

公开样例展示独立测试与外部验证数据(SHP-MED-07-049)的发布结构:划分与封存清单、任务载荷、评分细则、运行与指标、数据卡;参考答案随项目交付。交付为发布清单加单一发布文件夹与元数据文件,另支持 API 调用。

起订量是多少?可以怎么定制?

独立测试与外部验证数据(SHP-MED-07-049)起订量为 300 条验证条目,范围按单一任务域或全任务域组合确定。来源队列构成、隔离层级要求、任务载荷形态、指标与亚组口径、封存与复放频次可选配。

和哪些产品配合使用?

独立测试与外部验证数据(SHP-MED-07-049)可接入通用临床能力评测集(SHP-MED-07-042)的条目做封存复放。接入与流程联调阶段,可先用结构化电子病历合成数据(SHP-MED-09-056)跑通链路。

[08]

获取方式

  • 有明确科研/临床项目:提供研究方向与所需字段范围,可先申请开源子集用于可行性验证。
  • 有明确数据智能场景:提供模型或应用场景,可先申请测试数据与接入方式完成联调。
  • 许可:评估与研究使用许可。

© 数巨有谱数据集团

[03 · 关联产品]

继续查看可连接的数据产品

按产品资料中登记的患者、就诊、事件或任务标识关系继续查看。