审计长：安省家庭医生常用的AI工具存在重大风险，凭空捏造内容

本周二（5月12日），安省审计总长斯彭丝女士（Shelley Spence）在新发布的特别报告警告，安省家庭医生常用的人工智能（AI）病历记录工具“AI Scribe”存在信息造假和建议失实等严重风险，部分系统在官方测试中高达45%曾编造治疗内容。

据本地英文Global News报道：“AI Scribe”是安省医疗体系近年引入的一种人工智能（AI）病历记录工具，帮助家庭医生、护士和治疗师在诊疗时自动生成病历笔记。

患者授权后，该系统会实时听取医患对话，并自动整理出主观描述、客观体征、诊断评估和治疗方案（简称 SOAP 四项）。

理论上，这个工具能大幅减少医生手写病历的时间，让医护人员将更多精力投入病人护理。

然而，安省审计长办公室最新发布的特别报告却指出，这套系统存在大量错误，而且许多问题相当严重。

报告称，部分AI系统会“幻觉化”（hallucinate）内容——也就是编造从未发生过的事情。

有的系统甚至会主动添加医生从未提及的治疗建议，例如建议病人接受心理治疗、安排血液检查等。

更令人担忧的是，系统还可能记录错误药物信息。

审计结果进一步显示了问题的严重性：

-45%的AI系统会捏造信息或擅自添加治疗建议；
-60%的系统记录了与医生实际处方不一致的药物；
-85%的系统遗漏了病人心理健康问题的重要细节。

审计长在报告警告：“AI生成医疗记录中的错误，可能导致不充分甚至有害的治疗方案，并可能影响病人的健康结果。”

报告同时指出，政府在采购这些AI系统后，并没有证据显示曾进一步进行全面测试，以降低“幻觉”风险。

更具争议的是，在20家获批准供应商中，至少有5家公司甚至没有提交完整的风险与隐私评估报告，却依然获得通过。

面对质疑，安省公共与商业服务交付及采购厅长Stephen Crawford强调，这些“捏造内容”的情况仅出现在测试阶段，而不是医生真实使用过程中。

他说：“这些问题是在培训和测试模式中发现的，之后系统已经进行了修改。”

不过，审计长彭丝女士显然并未完全放心。

她透露，自己最近去看医生时，对方也正在使用AI书记员，而她特意提醒医生：“请在问诊结束后仔细检查一下记录。”

这一细节，也进一步凸显连监管者本人都对AI医疗记录的可靠性感到担忧。

事实上，随着人工智能迅速进入医疗系统，加拿大医疗界一直存在争议。支持者认为，AI能缓解医生长期超负荷工作的问题，提高效率并减少行政负担。

批评者则则担心，一旦系统出错，后果可能直接影响病人诊断、用药甚至生命安全。

尤其在家庭医疗场景中，病人的心理状态、症状细节以及医生判断往往非常复杂，而AI系统目前显然还无法完全准确理解这些内容。

尽管如此，安省政府并未叫停相关项目。

安省采购厅（Supply Ontario）则表示，将接受审计长的大部分建议，包括加强偏见测试、增加现场演示程序，并强化风险审核机制。

相关阅读