AI安全：四方同时要求给出答案── 规则与法院判例的交汇之处，以及制药企业应保留的记录
我们该把AI安全交给开发AI的公司吗？读完之后，你会明白为什么安全正在变成一项由外部通过记录来核查的义务。四个截然不同的主体采取了行动：一个保护消费者的国家机构、地区政府、一位监督城市资金的官员，以及一个海外监管机构。制药行业长期以来在严格规则下做出攸关生死的决定。如果我们把AI引入这项工作，就需要知道可以依靠谁。我们将看看资金、在我们交给它们的任务上出错的机器、寻找药物的交易，以及影像解读背后的依据。这些对作为用户的我们意味着什么？
01监管与诉讼同时汇聚
来源 Axios ／ 圣克鲁斯哨兵报 ／ 《Crain's 纽约商业》 ／ 科技组织
我们从开发者之外说起。迄今为止，开发者都是用自己的话来解释安全问题。这里要问的是：公司之外，谁开始要求这种解释，又要求到什么程度。
| 演员 | 目标 | 报道内容 |
|---|---|---|
| 联邦贸易委员会（FTC） | OpenAI、Anthropic | 要求提供近期安全事故的相关文件 |
| 8个州 | OpenAI | 被起诉，指控其伤害儿童并欺骗成年人 |
| 纽约市审计长 | Anthropic | 以“众多安全隐患”为由，敦促推迟IPO |
| 欧盟 | OpenAI、Anthropic | 据报道《AI 法案》下的首例执法案件 |
Axios、Santa Cruz Sentinel、Crain's New York、Technology Org(10/15)
这些各方的差异再大不过了：一个消费者监督机构、地区政府、一位守护公共资金的市政官员，以及一个海外机构。它们各自出于自身的原因采取行动，时间上又彼此重叠。单独一个，可以被当作一家公司的失误而一笔带过。放在一起，则预示着一种转变。安全正从企业自行设定的目标，转变为由外部强制执行的义务。
最重磅的一步，是监管机构开始索要书面材料。交出材料，意味着要以书面形式说明发生了什么、是如何处理的。口头承诺已经不够了。安全工作如今要看是否留有可查的记录。
对制药团队而言，这并非遥远的故事。我预计，总有一天我们交给机器的工作也将面临同样的问题：哪个工具做了什么，哪里出了问题，又是如何修复的？现在就保留好这条轨迹，被问到时便能回答。
外部审查也改变了投资者看待这些公司的方式。接下来,看看上市前披露的数据能告诉我们什么。
02IPO 前的营收
来源 金融时报 ／ 雅虎财经 ／ 投资者商业日报 ／ 彭博社
这家受到审视的公司向投资者展示了强劲的业绩数据。市场如何在盈利能力与对安全性的疑虑之间权衡？这就是我们在此要探讨的问题。
| 项目 | 报道内容 | 来源 |
|---|---|---|
| 季度营收 | 168亿美元；投资者被告知增长了近50% | 金融时报 |
| 现金流 | AI 模型开发商中首次实现正现金流 | 雅虎财经 |
| AI 股票 | 即使在营收报告发布之后仍然下跌 | 投资者商业日报 |
| 分析师观点 | 对IPO是利好，但并未提振AI股票 | |
营收为 7–9 月数据(Yahoo Finance 标题)
销售额大幅增长,据报道流入的现金多于流出的现金。在研发投入巨大的领域,这是引人注目的消息。然而相关公司的股价并未上涨。市场没有把一家公司的强劲表现解读为整个行业的利好。数字与市场反应指向了不同的方向。
为何会出现差距？盈利能力的证明并未消除对安全性的疑虑。甚至有人在上市前夕敦促推迟。因此我认为，投资者是在为强劲业绩背后的风险定价。
从制药方的角度看,这为选择工具提供了线索。选择供应商的机器时,仅比较性能和价格是不够的。供应商面对监管机构和法院的风险敞口,决定了你明天能否以同样的条件继续使用同一工具。被起诉公司的工具,其使用条款可能一夜之间发生变化。
那么，当我们让这个工具代我们行事时，谁来为它的错误负责？接下来，是一台被信任可以进行支付的机器。
03当AI替你购物时，谁来承担责任
来源 ServiceNow ／ The Verge ／ Cybernews
过去由人一个个按下的按钮,如今由机器来按。在这里出了错,谁来承担损失?便利先行,而答案仍悬而未决。
这条路径本身很简单。由人交付任务，机器一路执行到付款。再往后，就可能出现错误或泄露。针对最后这一步，一家开发商的负责人直言，公司会承担损失。责任正开始从用户转向开发者。
然而，据报道，该机器与一封虚假邮件的案例显示了委托的风险。承诺赔偿损失固然重要，但并不能证明不会发生事故。与此同时，另一家公司扩大了用于约束机器在企业内部行为方式的工具。是靠承诺来保护，还是靠设计来保护。
在制药行业，总有一天机器会下订单。在合同中，先于任何赔偿承诺，要检查两件事：你能否让机器停下来，以及是否有记录它所做操作的日志？金钱可以弥补损失，却无法消除对患者或合作伙伴造成的影响。
承诺的话语与真正流动的资金是两回事。接下来，介绍如何解读交易附带的金额，以找到药品。
04一笔 AI 药物研发交易中的三个金额
来源 阿斯利康 ／ 路透社 ／ BioSpace ／ 雅虎财经
同一笔交易，不同报道给出了不同的金额。问题不在于金额有多大，而在于它由什么构成。
| 金额类型 | 报道金额 | 自然 |
|---|---|---|
| 标题金额 | 18.6亿美元 | 大型制药公司与 insitro 达成合作。彭博社等报道 |
| 上限金额 | 最高15亿美元 | 不是固定金额。根据成果支付 |
| 预付金额 | $40M | 签署付款。确定会支付的部分 |
| 在IPO中募集 | $150M | AI药物发现公司Iambic。与合作付款分开 |
目标疾病:肝脏和心脏疾病(MASH、心肌病等)。金额以原始报道为准
最大的数字出自一些标题。它下面还有一个上限，只有取得成果才会支付。真正会易手的，看起来只有那笔金额不大的首付款。两者之间的差距超过一个数量级。另一家公司通过上市筹集的资金也被列了出来，但这笔钱并非合作方支付。如果只记住标题上的数字，你就会误判这笔交易。
设有上限的总金额分阶段支付，研究每通过一个阶段就支付一部分。错过某个阶段，就一分钱也不会支付。对支付方来说，这避免了为从未出现的成果付费。醒目的巨额标题数字只是最高额，前提是一切顺利。
制药团队在日常工作中早已这样解读交易。然而一旦涉及AI，标题上的数字往往会原样传播。在公司内部说明一项投资时，请把首付款与上限金额分开。仅此一点就能让预期保持理性。
谈完金钱之后,接下来要问的是机器自身判断有多可靠。下一个问题是:读取医学影像的机器如何处理其判断依据。
05AI 读取 X 光片的证据
来源 X-Ragent：面向循证胸部X光推理的工具增强强化学习
读取医学影像的机器，不会仅仅因为给出了正确答案就被信任。如果正确答案建立在错误的依据之上，下一位患者就会被漏诊。在这里，一个团队尝试教会机器选择自己的依据。
该研究将两种判断区分开来：一是是否去寻找支持证据，二是剔除与图像不符的数值。人类医生同样不信任与眼前影像相冲突的读数。机器正是一点一点地学会这种常识的。
仅在正确时才给予奖励
测量一致性和工具成本的得分只授予诊断正确的轨迹。
培训资料
在 Qwen3-VL-8B 基础模型之上构建了 Rad-CoT,将工具调用日志与报告式推理相结合。
尚未经过同行评审
一篇 arXiv 预印本。摘要没有说明所报告的改进是与哪一项对比得出的。
只有在最终答案正确时,才会给中间各步骤打分。对错误答案背后的过程打分,可能会让模型学到看似合理的错误。不过,这篇论文尚未经外部专家核查。其摘要也没有说明它击败了哪些对手。
对制药行业而言，这与药物安全工作有所重叠。重要的与其说是结论，不如说是机器能否展示其所依据的内容。如果其依据可以追溯，这条轨迹既有助于核查者，也有助于提出询问的监管机构。
研究要求提供依据，而机器已在现场工作。接下来，我们看看药物被发现和送达的地方。
06医药一线
来源 谷歌DeepMind ／ Pulse 2.0 ／ Quiver Quantitative
到目前为止，我们听到的是开发者和监管者的声音。机器在多大程度上进入了制药行业本身的工作？今天的新闻展示了部分答案。
抗菌肽检索
Google DeepMind 官方博客介绍了使用 Google Antigravity 加快抗菌肽的搜寻。
面向供应链的 AI 平台
ParkourSC收购了Quartic。目标是打造面向生命科学供应链的AI平台；标题中未给出价格。
来自联合项目的候选者
据报道,在与 Recursion 的 AI 驱动合作中,合作药企已对首个开发候选药物行使了选择权。
今天的动向涵盖了从药物研发起点到药品送达患者的全过程:寻找候选药物、决定是否接手、以及药品的流转。机器不再只是实验室的工具。最重要的是,一家合作公司决定接手一个由共同研究诞生的候选药物。制药方认为,机器选出的候选药物值得投入时间和资金。
接手意味着制药公司行使了其在合同中确保的选择权。此后,后续的开发将由其自行负责。因此,这一决定可被解读为机器提出的方案值得投入的信号。由机器挑选出的候选药物已经通过了一道人类的检验。
机器进入配送环节同样值得关注。一旦供应中断,药品就无法送达患者手中。无论是研究还是供应,问题始终相同:谁来检查机器的判断,谁又能让它停下来?
在引人注目的新闻背后,谁来阻止机器的问题依然存在。最后,是几则容易被忽略的报道。
07被忽视的问题
来源 《纽约时报》 ／ 南华早报 ／ Android Authority
与法规和法庭案件相比，我们最后的这些报道显得微不足道。然而，它们离用户的日常工作更近。正因为藏在重大新闻背后，它们可能会对明天的工作造成更大的冲击。
内部人员的不当行为
《纽约时报》报道称,一名被控植入漏洞的OpenAI工程师一直在为沙特方面提供建议。
会停下来并退款的 AI
DeepSeek又发生了一次约5小时的重大故障，并提供了退款和补偿。据报道，这至少是今年的第18次。
关于价格变为 4 倍的通知
据报道,Google 向 Gemini 订阅用户发送邮件,告知价格将变为原来的 4 倍。
内部人员植入的缺陷、不断宕机的服务、突然飙升的价格。这些都与机器有多聪明无关。但它们依然会伤害那些交出工作的人。每次故障后退还的费用，无法挽回宕机期间损失的工作。来自内部的不法行为，外部防御无法阻止。用户看不到构建者的内部管控。安全不止于答案正确。我认为它还意味着持续在线、保持忠诚、条款稳定。
如果制药工作中内置的某个工具在某天早上突然停用，会怎么样？如果价格变动，能否改用其他工具？对构建者内部的人员又能信任到什么程度？用户现在就可以敲定这些方案，无需等待监管方面的消息。只要备好应对方案，工作就能继续。这与为药品供应中断做准备的思路是一样的。
外部规则与摆在眼前的故障引出了同一个问题:用户同样不能放弃检验安全性的责任。
美国联邦贸易委员会（FTC）的权限范围和IPO时间会揭晓吗？
打开完整文字记录
简介
我们该把AI安全交给开发AI的公司吗？读完之后，你会明白为什么安全正在变成一项由外部通过记录来核查的义务。四个截然不同的主体采取了行动：一个保护消费者的国家机构、地区政府、一位监督城市资金的官员，以及一个海外监管机构。制药行业长期以来在严格规则下做出攸关生死的决定。如果我们把AI引入这项工作，就需要知道可以依靠谁。我们将看看资金、在我们交给它们的任务上出错的机器、寻找药物的交易，以及影像解读背后的依据。这些对作为用户的我们意味着什么？
CH 01 监管与诉讼合流
我们从开发者之外说起。迄今为止，开发者都是用自己的话来解释安全问题。这里要问的是：公司之外，谁开始要求这种解释，又要求到什么程度。这几方的差异再大不过：一个消费者监督机构、若干地方政府、一位守护公共资金的市政官员，以及一个海外机构。它们各有各的缘由，行动时间却有所重叠。单独一例，可以被当作某一家公司的疏失。放在一起，则预示着一种转变：安全正从公司自行设定的目标，变成由外部强制执行的义务。 最重的一步是监督机构要求提交文件。交出文件意味着以书面形式说明发生了什么、如何处理的。口头承诺已经不够。如今评判安全工作，要看是否留有可查的记录。 对制药团队来说，这并非遥远的故事。我预计，有朝一日我们交给机器完成的工作也将面临同样的问题：哪个工具做了什么，出了什么问题，又是如何修复的？
现在就留下这条记录,被问到时才能回答。外部审视也会改变投资者看待这些公司的方式。接下来,看看上市前披露的数据能告诉我们什么。
CH 02 IPO 前的营收领先
这家受到审视的公司向投资者展示了强劲的业绩数据。市场如何在盈利能力与对安全性的疑虑之间权衡？这就是我们在此要探讨的问题。据报道，销售额大幅增长，流入的现金也多于流出的现金。在一个需要投入巨额资金进行研发的领域，这是引人注目的消息。然而，相关公司的股价并未上涨。市场并没有把一家公司的强势解读为整个行业的利好。业绩数据与市场反应指向了不同的方向。为何会出现这种落差？
盈利能力的证明并没有消除对安全性的疑虑。甚至有人在上市前夕呼吁推迟。因此我认为,投资者是在为强劲业绩背后的风险定价。从制药行业的角度看,这为选择工具提供了线索。选择供应商的机器时,仅比较性能和价格是不够的。供应商面对监管机构和法院的风险敞口有多大,决定了明天你能否按相同条件继续使用同一工具。被起诉公司的工具,其使用条款可能一夜之间改变。那么,当我们让这样的工具代替我们行事时,它的错误该由谁负责?
接下来，是一台被信任可以进行支付的机器。
CH 03 AI 替你购物时由谁担责
过去由人一个个按下的按钮,如今由机器来按。在这里出了错,谁来承担损失?便利先行,而答案仍悬而未决。路径本身很简单:人把任务交出去,机器一路办到付款。再往后,可能出现错误或泄露。针对这最后一步,一家开发商的负责人明确表示,公司将承担损失。责任正开始从用户转向开发者。然而据报道,涉及该机器和一封虚假邮件的一起案例显示了委托的危险。赔偿损失的承诺固然重要,但并不能证明事故不会发生。与此同时,另一家公司扩展了用于约束机器在企业内部行为的工具。是靠承诺来保护,还是靠设计来保护。在制药领域,机器终有一天会下订单。在合同中,在任何赔偿承诺之前,先确认两件事:你能否让机器停下来,以及是否有记录它所做操作的日志?
金钱可以弥补损失，却无法消除对患者或合作伙伴造成的影响。承诺的话语与真正流动的资金是两回事。接下来，介绍如何解读交易所附带的金额，以找到药物。
CH 04 一笔 AI 药物研发交易中的三个金额
同一笔交易，不同报道给出了不同的金额。问题不在于金额有多大，而在于它由什么构成。最大的数字来自一些标题。其下是一个上限金额，只有在取得成果时才会支付。真正会易手的，看起来只是金额很小的首付款。两者之间的差距超过一个数量级。另一家公司通过上市募集的资金也被列了出来，但那并不是合作伙伴支付的。如果只记住标题上的数字，就会误判这笔交易。设有上限的金额是分期支付的，研究每通过一个阶段就支付一次。错过某个阶段，就分文不付。对付款方而言，这避免了为从未出现的成果买单。那个醒目的大数字只是在一切顺利时的最高金额。制药团队在日常工作中早已这样解读交易。然而一旦涉及 AI，标题数字往往原样传播。在公司内部说明一项投资时，请把首付款与上限金额分开。仅此一点，就能让预期保持在合理范围内。谈完资金，接下来的问题是机器自身判断的可靠程度。下面来看，读取医学影像的机器是如何处理其判断依据的。
CH 05 读取 X 光片的 AI 中的证据
读取医学影像的机器，不会仅仅因为给出了正确答案就被信任。如果正确答案建立在错误的依据之上，下一位患者就会被漏诊。在这里，一个团队尝试教会机器选择自己的依据。该研究将两种判断分开。一种是是否去寻找支持证据。另一种是剔除与影像不符的数值。人类医生同样不信任与眼前图像相冲突的解读。机器一点一点地学会这种常识。只有当最终答案正确时，才会发放沿途各步骤的分数。若对错误答案背后的过程打分，可能会教出看似合理的错误。不过，外部专家尚未审查这篇论文。其摘要也没有说明它击败了哪些对手。对制药行业而言，这与药物安全工作有所重叠。重要的与其说是结论，不如说是机器能否展示它依赖了什么。如果其依据可以追溯，这条轨迹既有助于核查的人，也有助于提出质询的监管机构。研究在追问依据的同时，机器已在现场工作。接下来，看看药物被发现和送达的地方。
CH 06 在制药一线
到目前为止,我们已经听取了开发者和监管机构的意见。机器已在多大程度上进入了制药行业本身的工作?今天的新闻给出了部分答案。今天的动向覆盖了从药物研制起点到药品送达患者手中的各个环节:寻找候选药物、决定是否接手某个候选药物,以及药品的运送。机器不再只是实验室的工具。其中分量最重的,是一家合作企业决定接手一个由共同研究产生的候选药物。制药一方认为,机器选出的候选药物值得投入时间和资金。接手意味着药企行使其在合同中取得的选择权。此后的开发工作将由其自己承担。因此,这一决定可被视为一个信号,表明机器的提议值得投资。机器选出的候选药物已经通过了一道人类的检验。机器进入配送环节同样值得关注。供应一旦中断,药品就无法送达患者。无论在研究还是供应环节,同一个问题依然存在:谁来检验机器的判断,谁又能让它停下来?
在引人注目的新闻背后,谁来阻止机器的问题依然存在。最后,是几则容易被忽略的报道。
第 07 章 被忽视的问题
与各项规则和法庭案件相比,我们最近的几篇报道显得微不足道。然而,它们却更贴近用户的日常工作。正因为它们藏在重大新闻的背后,反而可能对明天的工作造成更大冲击。内部人员植入的漏洞、屡屡宕机的服务、突然飙升的价格,这些都与机器有多聪明无关。但它们仍然伤害了那些把工作托付出去的人。每次故障后退还的费用,无法挽回服务中断期间丢失的工作。来自内部的不法行为,外部防御无法阻挡。用户看不到构建者的内部管控。安全不只是答案正确。我认为它还意味着持续在线、保持忠诚、条款稳定。如果某天早上,一个嵌入医药工作的工具突然停止运行,会怎样?
如果价格变了，你能换用其他工具吗？你能在多大程度上信任构建者内部的人？用户今天就可以确定这些方案，无需等待监管方面的消息。有了现成的答案，工作就能继续。这与为药品供应中断做准备的思路相同。外部规则和眼前的故障引出了同一个问题。用户同样不能放弃检查安全性的责任。
总结
今天发生的事都指向同一个方向:安全不能只靠开发者的承诺。当外部人士提出质疑、用户持续检验时,安全才站得住。明天,我们或许能了解监管机构的要求涉及多大范围,以及上市计划将如何推进。之后,我们便可以更明确地选择工具,并确定在公司内部保留哪些记录。
- 第 01 章Axios「独家：美国联邦贸易委员会就近期安全事件向 AI 巨头索要文件」 axios.com
- 第 01 章圣克鲁斯哨兵报「多个州起诉 AI 巨头 OpenAI，称其热门聊天机器人伤害儿童并欺骗成年人」 santacruzsentinel.com
- 第 01 章《Crain's 纽约商业》「审计长鉴于“诸多安全隐患”敦促Anthropic推迟IPO」 crainsnewyork.com
- 第 01 章科技组织「欧盟对OpenAI和Anthropic启动首起《AI法案》执法案件」 technology.org
- 第 02 章金融时报「Anthropic向投资者表示，IPO前季度营收增长近50%，达168亿美元」 ft.com
- 第 02 章雅虎财经「更新：市场传闻：Anthropic 第三季度营收达 168 亿美元，AI 模型开发商现金流转正」 finance.yahoo.com
- 第 02 章投资者商业日报「为何有关 Anthropic 营收的报道加剧了 AI 股票的困境」 investors.com
- 第 02 章彭博社「分析师称，Anthropic的业绩或有助于IPO，但对AI交易无益」 bloomberg.com
- 第 03 章ServiceNow「ServiceNow 通过 AI Passport 和扩展的治理能力，推进其面向企业 AI 的运营框架」 newsroom.servicenow.com
- 第 03 章The Verge「Elon Musk承诺，如果Grok搞砸了购买操作或泄露了你的信用卡信息，将“让你得到全额补偿”。」 theverge.com
- 第 03 章Cybernews「Grok机器人钓鱼邮件被识破，暴露AI智能体风险」 cybernews.com
- 第 04 章阿斯利康「阿斯利康宣布与insitro达成新的战略合作，利用先进AI系统开发针对难治性心血管代谢疾病的变革性疗法」 astrazeneca.com
- 第 04 章路透社「阿斯利康与insitro达成4000万美元的AI药物发现交易」 reuters.com
- 第 04 章BioSpace「阿斯利康在高达15亿美元的AI合作中加码MASH和心血管研究，合作方为insitro」 biospace.com
- 第 04 章雅虎财经「AI药物发现专家Iambic在IPO中融资1.5亿美元」 finance.yahoo.com
- 第 05 章X-Ragent：面向循证胸部X光推理的工具增强强化学习（「X-Ragentはこの二つを分けて学習させる後学習の枠組みで、診断が正しかった軌跡にだけ過程の評価を与える報酬を使う。」）
- 第 06 章谷歌DeepMind「借助Google Antigravity加速抗菌肽的搜寻」 deepmind.google
- 第 06 章Pulse 2.0「ParkourSC 收购 Quartic，推出面向生命科学供应链的统一 AI 平台」 pulse2.com
- 第 06 章Quiver Quantitative「Recursion Pharmaceuticals 宣布 Sanofi 行使选择权，获得 AI 驱动合作项目的首个开发候选药物」 quiverquant.com
- 第 07 章《纽约时报》「被控植入漏洞的OpenAI工程师曾为沙特方面提供咨询」 nytimes.com
- 第 07 章南华早报「DeepSeek再次发生重大宕机，公司向用户提供退款」 scmp.com
- 第 07 章Android Authority「Google现在正向Gemini订阅用户发送邮件，告知一项将使他们多花4倍费用的变更」 androidauthority.com
所用文章
今日相关报道
旁白为合成语音。内容仅取自本站同一天的文章。每期在发布前都会通过七项通俗易懂性检查。这意味着已知的理解障碍被控制在阈值以下——并不保证一定能理解。