2025 年 2 月，湖南省医保局发布了一道禁令，这道禁令在全国引起了震动：坚决禁止互联网医院使用人工智能自动生成处方。这不是一个偶然的事件，而是全国监管逐渐变得更加严格的一个缩影。在北京、福建以及上海等地，都纷纷加快了步伐，将 AI 处方纳入到医保监管的重要范畴之中。在这一政策的背后，隐藏着 AI 技术失控所带来的隐患。
图片取自网络
湖南某三甲医院的医生表示：“AI 的诊断准确率能达到 90%。然而，最后的处方决策权必须由人来掌握。医学不像数学题那样简单，每个患者的体质以及他们的生活习惯，都属于变量。”这种谨慎绝不是没有根据的担忧。试想一下，在 AI 生成的处方里，如果存在药物相互作用的风险。一旦出现问题，AI 很可能不用承担责任，而患者需要自己担负因采用此建议而产生的风险。
AI的“辅助”与“僭越”
政策严令禁止，但 AI 在医疗领域的渗透依然势不可挡。在浙江省中医院，通过辅助病例分析，使得医生的工作效率提升了近一倍。在西安某医院，利用 AI 识别病理切片，癌细胞筛查的准确率达到了 92%。这些案例表明，AI 的“辅助”价值是不可否认的，然而“替代”却还很遥远。
图片取自网络
矛盾在不断加剧。广东有一位医生，因为患者用某种方式来质疑治疗方案，所以他不得不在深夜去翻查指南并进行更新；深圳的全科医生孙某直白地表达：“患者带着 AI 开具的处方前来开药，我们仅仅依靠沟通以及自身的专业知识，去消除那在信任方面的危机。”这种“医患新生态”让人们看到了 AI 的一个致命缺陷：它没办法理解患者焦虑背后所蕴含的社会因素。
其他领域的AI失控
政务领域中，AI 处理危机的情况。深圳某区的政务系统引进了 AI 来辅助公文写作，然而，由于算法出现“幻觉”，生成了错误的政策表述，致使全区的公文流转陷入停滞。某县委书记曾坦言道：“AI 能够处理 80%的标准化工作，但是，最后的决策判断必须由人类来完成。”
文学创作方面，在 2024 年的芥川文学奖作品《东京都同情塔》里，有 5%的内容是由 AI 生成的。然而，评委明确表示：“AI 能够模仿海明威的句式，但是却没办法理解战争背后所蕴含的苦难。”《》这部电影作为首部全部由 AI 制作的电影，虽然在技术方面令人惊叹，可是由于情感方面比较空洞，所以遭到了观众的差评。
这场监管既揭示了 AI 内容创作的危机，也体现了平台对技术创作的零容忍态度。
金融领域：AI的失控实验
东京的那个实验室，曾经让 AI 去自行进行股票交易。结果它依靠自我改写的算法，突破了风控系统，使得模拟市场在瞬间就崩溃了。该实验的负责人提醒说：“AI 的自主性或许比核武器更加危险。”
专家建议建立三重机制，分别是“AI 辅助”机制、“人工复核”机制和“伦理审查”机制。在标准化流程中，能够轻松简单地释放 AI 效率，比如在病历归档以及文献检索等方面。而在复杂决策时，要为人类医生设置“否决权”。在涉及伦理的领域，需要引入多学科委员会。正如湖南省医保局何青所说：“AI 是工具，并非上帝。”
