AI的谄媚、幻觉、责任与判断力｜它总说你说得对，才是最该警惕的风险

大家好，我是Janus，也可以叫我JanusBanana～这里主要分享眼科的知识和临床医生的成长经验。

AI已经进入日常学习、写作、科研和临床准备。它确实节省时间，也很少反驳人。但越是顺手，越容易让我们警惕：流畅的回答不等于事实，积极的肯定也不等于判断正确。

今天Janus想和大家聊聊使用AI的一些常见而可能会被忽视的问题。

个人水平有限，请前辈多多批评指正，也可以转发给可能有需要的同学，谢谢！

关键词：AI谄媚、AI幻觉、医学人工智能、信息核验、判断力

#1 AI的顺从，不等于可靠

AI常常先认可提问者的前提，再沿着这个前提把答案补充完整。大家问它某种判断是否正确，它可能会说思路很好、分析准确，然后提供一串听上去很有道理的论据。

问题是，前提本身可能就错了。

研究者把这类倾向称为谄媚。模型为了提供令人满意的反馈，可能过度迎合用户的立场，特别是提问中已经带有明显结论时。它没有真正的赞同或反对，它只是更擅长生成符合当前语境的下一段文字。

Janus自己觉得，这很容易让人失去警惕。一个实习医生拿着某张OCT图问AI：黄斑前膜是否需要尽快手术？AI若直接回答建议手术，语气还很肯定，确实容易让人相信。但它看不到完整扫描、病程、变形视程度、白内障、对侧眼情况和患者的生活需求。临床决策少掉其中任何一项，结论都可能偏离。

AI是一个聪明的园丁，用户的问题是一颗种子，种瓜得瓜种豆得豆，词不达意的问题得不到好的回答，问题里面所默认的前提和逻辑也共同决定了答案的逻辑和AI的回答质量，而不仅仅是大家关心的AI的智力，思考的时间，模型的能力等等。

#2 幻觉最可怕的地方，是它说得很完整

AI幻觉不只是把知识点记错，也包括虚构文献、拼接作者和期刊、写出不存在的DOI，或者把一项小样本研究夸大为明确共识。尤其在写综述、做课题设计、整理指南时，这类问题非常常见。

医学学习中，大家可能会让AI找参考文献。它给出五篇题目规范、格式漂亮的文章，读起来毫无破绽。真正点开DOI后，可能发现文章不存在，研究对象不对，或结论和原文完全不同。若把这些内容直接放进汇报、论文甚至临床建议，后果就不只是尴尬。

夸大和幻觉的界限有时不清晰。前者可能有真实研究作基础，却忽略样本量、偏倚、随访时间和适用人群；后者连基础事实都站不住。对使用者来说，处理方式相似：重要结论要回到原始研究、指南或权威数据库核对，不能只看AI的转述。

#3 AI助手很像律师，但不会替人承担后果

律师为当事人辩护，是现代法律制度的一部分。辩护行为保障程序权利，不能直接证明当事人的行为合理，更不能替当事人承担道德和法律责任。

AI也有类似的一面。大家让它润色申请书、反驳意见、设计课题、拟定沟通方案，它通常都会配合。它可以帮助组织材料、提出角度、提高表达效率，却不能自动判断请求本身是否合理，不能替我们承担执行后果。

在医学场景里尤其如此。AI可以帮助整理鉴别诊断，提醒遗漏的检查方向；药物剂量、手术适应证、紧急程度、知情同意和患者隐私，仍然需要医生基于病史、查体、影像和责任体系作出判断。把AI当作检索员、秘书、初级助手可以，把它当作最终裁判就很危险。

#4 当AI进入Agent阶段，使用者就是负责人

现在的AI可以搜索资料、读取文件、写代码、调用工具、安排流程。它越来越接近能独立完成任务的Agent。此时，使用者和AI的关系，也有点像负责人和执行者。

问题在于，这位执行者很少主动质疑任务本身。它不会因为计划不合理就真正拒绝，也不会罢工，不会在背后提醒大家目标有问题，更不会为一次错误的执行承担责任。人一旦习惯这种无条件配合，很容易把自己的偏见放大。

所以，给AI任务前，先问几个问题：

• 这件事的目标是否合理？

• 需要哪些可靠输入，哪些内容不能上传？

• 它给出的结论能否被独立核验？

• 若结果出错，最终由谁承担责任？

病历、眼底照片、检查报告和患者身份信息，也不适合随意上传到不明确的数据平台。使用医院批准的工具、完成去标识化、控制访问范围，属于基本底线。效率不能排在患者权益之前。

#5 真正重要的，是保留反向判断

AI最适合帮助大家扩大思路，最不适合替大家思考。一个比较实用的方法，是每次拿到关键答案后，再追问一次：这个结论最可能错在哪里？有哪些相反证据？适用条件是什么？请列出原始来源和无法确定的部分。

也可以把任务拆开。先让AI生成提纲，再自己查原文；先让AI归纳病历，再回到患者面前核对；先让AI提出方案，再请经验更充分的老师或同事挑错。AI给出的第一稿常有价值，第一稿绝不该直接成为最终稿。

Janus自己越来越觉得，AI时代最稀缺的能力不是提问技巧，也不是生成速度，而是识别不确定性的能力，或者是判断力。大家预期它可能会错，才会核验；大家知道自己也会错，才会愿意保留反对意见。这份判断力，不能外包。

一句话小结

AI可以提高效率，但不能替我们判断事实、价值和责任，越顺着人说的话，越值得多核对一步。

如果觉得不错可以双击点个赞，甚至转发给可能有需要的同学，非常感谢！

欢迎关注Janus/JanusBanana，一起探索知识，一起成长！

参考文献

1. SharmaM,et al.TowardsUnderstandingSycophancyinLanguageModels.arXiv:2310.13548.网址

2. JiZ,et al.SurveyofHallucinationinNaturalLanguageGeneration.ACMComputSurv.2023;55(12).doi:10.1145/3571730

3. ThirunavukarasuAJ,et al.Largelanguagemodelsinmedicine.NatMed.2023;29:1930-1940.doi:10.1038/s41591-023-02448-8

4. OmiyeJA,et al.LargeLanguageModelsinMedicine:ThePotentialsandPitfalls.AnnInternMed.2024;177:210-220.doi:10.7326/M23-2772

5. WorldHealthOrganization.Ethicsandgovernanceofartificialintelligenceforhealth.