AI+医疗越来越火,随手问一句AI就能得到健康建议,看似方便快捷,却藏着不少容易被忽视的风险。
其中,AI幻觉与决策黑盒,正是当前通用AI在医疗场景中最致命的两大短板。

所谓AI幻觉,就是AI为了“给出答案”而编造信息。
它可能引用不存在的指南、推荐错误的用药、编造不存在的诊疗方案,甚至把症状和疾病胡乱对应。这些内容看似专业、条理清晰,实则毫无依据,普通人很难一眼分辨。
而决策黑盒,则是AI只输出结果,不告诉你“为什么这么判断”。
用户只知道AI给出了建议,却不知道依据哪份数据、参考哪条指南、逻辑是否严谨。一旦出现错误,难以追溯、难以纠正,用在健康上,风险不言而喻。
这也是为什么很多通用AI在面对复杂健康问题时,建议容易片面、同质化、碎片化,很难真正结合个人情况给出精准、动态的方案。它们更像“知识搜索引擎”,而不是“会思考的医生”。
但不可否认,AI是个很好的工具。
那怎么才能发挥其高效便捷的优势,又守住医疗场景的安全底线?
这需要医疗机构、用户、技术开发者和监管部门一起发力,而非依赖单一技术方案。
首先对于医疗机构和用户来说,关键就是分情况用AI。行业里早就有共识:AI只能当“帮手”,不能替医生干活。
比如平时问个健康常识、慢病患者定期随访提醒、检查报告先初步筛一遍有没有明显问题,这些简单、低风险的事,可以选择让AI来做;
但如果是疑难杂症、要制定手术方案、调整用药剂量这些关键决策,必须让医生来做最终决定,AI只能给建议,不能拍板。
从技术侧看,让AI专注医疗垂直领域、清晰呈现决策过程,是解决问题的常用办法。
正所谓“百样通,不如一样精”,让AI专注一个领域——比如专门看罕见病的AI,就只研究这一类病;专门看肿瘤的AI,就聚焦某一种癌症的分期和治疗,从源头减少跨领域幻觉的概率。
另外,还要大力研发可解释AI技术,让AI给出结论时,能清晰呈现“依据哪项检查、参考哪版指南、经过怎样的推理”,将“黑盒”变成“白盒”,就像之前分享过的DeepRare罕见病诊断系统。
从监管侧看,底线就是先审核再放行,全程留记录,不让不合格的AI上岗。
国家卫健委等五部门已明确提出,医疗AI必须“安全、可控”,还发布应用场景参考指引,对医疗AI实施分类准入管理,只有通过临床验证、确实靠谱的AI,才能进入医院使用。
同时,建立全流程追溯机制,要求AI系统记录每一次决策的数据源、推理过程和调整记录,一旦出现错误,能够快速定位问题、及时纠正,让医疗AI的应用有章可循。

技术越普及,越要守住安全底线。
AI可以成为医生的助手、患者的管家,但前提是不幻觉、可解释、够严谨。
— END —

发表评论
登录
手机
验证码
手机/邮箱/用户名
密码
立即登录即可访问所有OFweek服务
还不是会员?免费注册
忘记密码其他方式
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论