AI安全：四方同時要求答覆── 規範與法院案例的重疊之處,以及製藥業應保存的紀錄
AI 安全該交給打造它的公司嗎?讀完之後,你會明白安全為何正成為一種由外部人士透過紀錄來查核的責任。四個截然不同的單位有了動作:一個保護消費者的國家機構、地方政府、一位監督城市財務的官員,以及一個海外的主管機關。製藥業長期以來都是在嚴格規範下做出攸關生死的決定。如果我們把 AI 帶進這項工作,就必須知道可以信賴誰。我們將探討資金、在我們交付的任務上失敗的機器、尋找藥物的交易,以及影像判讀背後的依據。這些對身為使用者的我們意味著什麼?
01法規與訴訟同時匯集
來源 Axios ／ 聖克魯茲哨兵報 ／ Crain's New York ／ 科技組織
我們從開發者之外談起。過去，打造 AI 的業者以自己的話來說明安全性。這裡要問的是，公司之外有哪些人開始要求這樣的說明，以及要求到什麼程度。
| 演員 | 目標 | 報導內容 |
|---|---|---|
| FTC | OpenAI、Anthropic | 要求提供近期安全事件的相關文件 |
| 8 個州 | OpenAI | 遭起訴，指控其對兒童造成傷害並欺騙成年人 |
| 紐約市審計長 | Anthropic | 以「諸多安全疑慮」為由，呼籲延後 IPO |
| 歐盟 | OpenAI、Anthropic | 據報首起依 AI 法案執行的案例 |
Axios、Santa Cruz Sentinel、Crain's New York、Technology Org（10/15）
這些當事方幾乎無法更不同了。消費者監督機構、地方政府、守護公帑的市府官員,以及一個海外機構。各自出於自身理由行動,時間卻彼此重疊。單獨一個,可以被當作一家公司的疏失。合在一起,則顯示出轉變。安全正從企業自行設定的目標,轉變為由外部強制執行的義務。
最重的一步是監管機關要求提交書面文件。交出文件,意味著要以書面說明發生了什麼事、又是如何處理的。口頭承諾已經不夠。如今評斷安全工作的標準,在於是否留有可供查核的紀錄。
對製藥團隊而言，這不是遙遠的故事。我預期有一天，交給機器處理的工作也會面臨同樣的問題：哪個工具做了什麼、哪裡出了錯、又是如何修正的？現在就保留這些紀錄，被詢問時才答得出來。
外界的審視也改變了投資人看待這些公司的方式。接下來,看看股票上市前公布的數字能告訴我們什麼。
02IPO 前的營收
來源 金融時報 ／ Yahoo 財經 ／ 投資者商業日報 ／ Bloomberg.com
受到審視的正是這家公司,而它向投資人展示了亮眼的數字。市場如何權衡獲利能力與對安全性的疑慮?這就是我們在此要探討的問題。
| 項目 | 報導內容 | 來源 |
|---|---|---|
| 季度營收 | 168億美元;投資人被告知成長了近50% | 金融時報 |
| 現金流 | AI 模型開發商中首度出現正現金流 | Yahoo 財經 |
| AI 股票 | 即使公布營收報告後仍下跌 | 投資者商業日報 |
| 分析師觀點 | 對 IPO 是順風，卻沒能拉抬 AI 概念股 | |
營收為 7–9 月（Yahoo Finance 標題）
銷售額大幅成長，且據報流入的現金多於流出。在投入巨額研發經費的領域，這是令人矚目的消息。然而相關公司的股價並未上漲。市場並未將一家公司的強勁表現解讀為整個產業的利多。數字與市場反應指向不同的方向。
為何會有落差？獲利能力的證明並未消除對安全性的疑慮，甚至有人在上市前夕呼籲延後。因此我認為，投資人是把強勁業績背後的風險也計入了定價。
從製藥業的角度來看,這為選擇工具提供了線索。挑選供應商的機器時,僅比較效能與價格並不足夠。供應商受到監管機關與法院影響的程度,決定了明天能否以相同條件使用同一套工具。遭到起訴的公司所提供的工具,其使用條款可能一夜之間就有所改變。
那麼,當我們讓這項工具代替我們行動時,它的錯誤該由誰負責?接下來,談談被信任可執行付款的機器。
03當 AI 代你購物時，誰該負責
來源 ServiceNow ／ The Verge ／ Cybernews
過去由人一個個按下的按鈕，如今由機器代按。當中出了錯，損失由誰承擔？便利性先行，答案卻仍懸而未決。
這條路徑本身很簡單：由人交付任務，機器一路執行到付款為止。再往後，可能會發生錯誤或洩漏。針對最後這一步，某家開發商的負責人直截了當地表示，公司會承擔損失。責任正開始從使用者轉向打造者。
然而，據報導，該機器搭配一封假電子郵件的案例顯示了委託的危險。賠償損失的承諾固然重要，卻不能證明不會發生事故。與此同時，另一家公司擴大了用來約束機器在企業內部行為方式的工具。是靠承諾來保護，還是靠設計來保護。
在製藥業，總有一天會由機器下訂單。簽訂合約時，在任何賠償承諾之前，先確認兩件事：你能否讓機器停下來，以及是否留有它所做所為的紀錄。金錢可以彌補損失，卻無法抹去對病患或合作夥伴造成的影響。
承諾的言語與真正流動的資金是兩回事。接下來，談談如何解讀尋找藥物的交易所附帶的金額。
04一筆 AI 藥物探索交易中的三種金額
來源 阿斯特捷利康 ／ 路透社 ／ BioSpace ／ Yahoo 財經
同一筆交易，各家報導的金額卻不一樣。重點不在金額有多大，而在金額由什麼組成。
| 金額類型 | 報導金額 | 自然 |
|---|---|---|
| 標題金額 | $1.86 十億美元 | 大型製藥公司與 insitro 達成合作。Bloomberg 等媒體報導 |
| 上限金額 | 最高 $1.5B | 非固定金額。依成果計酬 |
| 預付金額 | $40M | 簽署付款。確定會被支付的部分 |
| 在首次公開發行(IPO)中募得 | $150M | AI 藥物探索公司 Iambic。與合作款項分開看待 |
目標疾病：肝臟與心臟疾病（MASH、心肌病變等）。金額依原始報導所載
最大的數字來自部分新聞標題。其下方設有一個上限金額，只有在成果出現時才會支付。真正確定會易手的金額，看起來只有金額較小的第一筆款項。兩者之間的差距超過一個數量級。另一家公司透過上市所籌得的資金也一併列出，但合作夥伴並不會支付這筆錢。如果只記住標題上的數字，就會誤判這筆交易。
設有上限的總金額會分期支付,每當研究通過一個階段便支付一筆。若未通過某個階段,就不會支付任何款項。對付款方而言,這可以避免為從未實現的成果付費。醒目的巨額標題數字只是在一切順利時的最高金額。
製藥團隊在日常工作中早已用這種方式解讀交易。然而一旦涉及 AI，標題上的金額往往會被原封不動地散播。在公司內部說明一項投資時，請把首期付款與上限金額分開講。光是這樣，就能讓預期維持在合理範圍。
談完金錢，接著要問的是機器自身判斷有多可靠。下一個主題是讀取醫學影像的機器如何處理其判斷依據。
05解讀 X 光片的 AI 之實證
來源 X-Ragent：以工具增強式強化學習實現具證據依據的胸部 X 光推理
讀取醫學影像的機器，不會只因為答對就獲得信任。如果答對是建立在錯誤的依據上，下一位病患就會判斷失誤。在此，一個團隊嘗試教機器自己選擇依據。
這項研究將兩種判斷分開。其一是要不要去尋求支援。其二是剔除不符合影像的數值。人類醫師同樣會不信任與眼前影像相衝突的讀數。機器則是一點一滴地學會這種常識。
僅在正確時才給予獎勵
測量一致性與工具成本的分數,只會給予診斷正確的執行軌跡。
訓練素材
以 Qwen3-VL-8B 基礎模型為底，打造結合工具呼叫日誌與報告式推理的 Rad-CoT。
尚未經同儕審查
一篇 arXiv 預印本。摘要並未說明所回報的改善是以哪項比較對象為基準。
只有在最終答案正確時，才會給予中間各步驟的分數。對錯誤答案的過程評分，可能會讓模型學到看似合理的錯誤。不過，外部專家尚未審查這篇論文。其摘要也沒有提到它勝過了哪些方法。
對製藥業而言，這與藥品安全工作有所重疊。重點與其說是結論，不如說是機器能否呈現其所依據的內容。若能追溯其依據，這份軌跡將有助於查核的人員與提出詢問的監管機關。
研究要求提出依據，而機器人已經在現場運作。接下來談談藥物被發現與送達的地方。
06藥廠第一線
來源 Google DeepMind ／ Pulse 2.0 ／ Quiver Quantitative
到目前為止,我們聽到的是打造者與監管者的說法。機器在製藥本身的工作中已經走了多深?今天的新聞展現了部分答案。
抗菌肽搜尋
Google DeepMind 官方部落格介紹了如何運用 Google Antigravity 加速尋找抗菌肽。
供應鏈 AI 平台
ParkourSC 收購了 Quartic。目標是打造生命科學供應鏈的 AI 平台；標題中未提及價格。
來自聯合計畫的候選人
據報導,在與 Recursion 的 AI 驅動合作中,合作藥廠已針對首個開發候選藥物行使選擇權。
今天的動向涵蓋從藥物開發起點到藥品送達病患手中的整個過程：尋找候選藥物、決定是否接手，以及藥品的運送流通。機器不再只是實驗室的工具。其中最具分量的，是一家合作夥伴公司決定接手一項由共同研究誕生的候選藥物。製藥方認為，由機器挑選出的候選藥物值得投入時間與資金。
接手意味著製藥公司行使了其在合約中取得的選擇權。從此之後，後續的開發就是自己的工作。因此，這項決定可解讀為機器所提出的建議值得投資的一個跡象。由機器挑選出的候選藥物，已通過了一道人類的檢驗。
機器進入交付階段同樣值得關注。若供應中斷，藥品就無法送到病患手中。無論是在研究還是供應上，問題始終相同：誰來檢驗機器的判斷，又有誰能讓它停下來？
在吸睛的新聞背後，「誰來阻止機器」的問題依然存在。最後，是幾則容易被忽略的報導。
07被忽略的事
來源 紐約時報 ／ 南華早報 ／ Android Authority
相較於法規與法院案例，我們最後這幾則報導看起來不起眼。然而它們更貼近使用者的日常工作。正因為躲在大新聞背後，它們對明天工作的衝擊可能更大。
內部人員的不法行為
《紐約時報》報導，被控植入程式錯誤的一名 OpenAI 工程師，一直在為沙烏地方面提供建議。
會停下來並退款的 AI
DeepSeek 再度發生約 5 小時的重大當機,並提供退款與補償。據報導,這至少是今年第 18 次。
4x 漲價通知
據報導,Google 寄電子郵件通知 Gemini 訂閱用戶,價格將變為原來的 4 倍。
內部人員植入的缺陷、動不動就當機的服務、突然飆漲的價格。這些都與機器有多聰明無關，卻會傷害那些把工作託付出去的人。每次中斷後退還的費用，補不回停機期間損失的工作。來自內部的不當行為，外部防禦無法擋下。使用者看不到開發者的內部控管。安全不只是答案正確，我認為還包括持續運作、保持忠誠，以及維持條款穩定。
如果製藥工作中內建的某項工具有天早上突然停擺，該怎麼辦？如果價格改變，能否換到其他工具？對開發業者內部的人，又能信任到什麼程度？使用者不必等法規的消息，今天就能先擬定這些計畫。答案備妥，工作就能持續進行。這與為藥品供應中斷做準備的思維是一樣的。
眼前的外部規範與故障,引出了同一個問題。使用者同樣不能放棄檢查安全性的工作。
美國聯邦貿易委員會（FTC）的權限範圍與 IPO 時程會揭曉嗎？
開啟完整逐字稿
簡介
AI 安全該交給打造它的公司嗎?讀完之後,你會明白安全為何正成為一種由外部人士透過紀錄來查核的責任。四個截然不同的單位有了動作:一個保護消費者的國家機構、地方政府、一位監督城市財務的官員,以及一個海外的主管機關。製藥業長期以來都是在嚴格規範下做出攸關生死的決定。如果我們把 AI 帶進這項工作,就必須知道可以信賴誰。我們將探討資金、在我們交付的任務上失敗的機器、尋找藥物的交易,以及影像判讀背後的依據。這些對身為使用者的我們意味著什麼?
第 01 章 監管與訴訟交會
我們從開發者之外談起。過去，打造 AI 的業者以自己的話來說明安全性。這裡要問的是，公司之外有哪些人開始要求這樣的說明，以及要求到什麼程度。這幾方的立場幾乎南轅北轍：消費者監督機構、地方政府、守護公帑的市府官員，以及一個海外機構。各自出於自己的理由行動，時間卻彼此重疊。單獨一件，還可以被視為一家公司的疏失；合在一起，就顯示出一種轉變。安全正從企業自己設定的目標，轉為由外部強制執行的義務。最重的一步，是監督機構要求提交書面文件。交出文件，意味著要以書面呈現發生了什麼事、又是如何處理的。口頭承諾已經不夠。如今評斷安全工作的標準，是有沒有留下軌跡。對製藥團隊而言，這並非遙遠的事。我預期，交給機器處理的工作，有一天也會面臨同樣的問題：哪個工具做了什麼、出了什麼問題、又是如何修正的？
現在就保留這些紀錄，被問到時就能回答。外界的審視也會改變投資人看待這些公司的方式。接下來，來看看股票上市前公開的數字能告訴我們什麼。
第 02 章 IPO 前的營收
受到審視的正是這家公司,而它向投資人展示了亮眼的數字。市場如何權衡獲利能力與對安全性的疑慮?這就是我們在此要探討的問題。銷售額大幅成長,據報流入的現金也多於流出的現金。在一個需要投入鉅額資金進行研發的領域,這是相當亮眼的消息。然而相關企業的股價並未上漲。市場並未將單一企業的強勁表現解讀為整個產業的好消息。數字與市場的反應,指向了不同的方向。為何會有這樣的落差?
獲利能力的證明並未消除外界對安全性的疑慮。甚至有人在上市前夕呼籲延後。因此我認為,投資人是把亮眼業績背後的風險也計入了定價。從製藥業的角度來看,這為選擇工具提供了線索。挑選供應商的機器時,光比較效能與價格是不夠的。供應商受到監理機關與法院的牽制程度,決定了明天你是否還能以相同條件使用同一套工具。被提告的公司所提供的工具,其使用條款可能一夜之間就改變。那麼,當我們讓這套工具代替我們行動時,它的錯誤該由誰負責?
接下來,是獲得信任、可代為付款的機器。
第 03 章 當 AI 代你購物，責任歸誰
過去由人一個個按下的按鈕，如今由機器代按。當中出了錯，損失由誰承擔？便利性先行，答案卻仍懸而未決。這條路徑本身很簡單：人把任務交出去，機器一路執行到付款。再往後，就可能出現錯誤或外洩。對於最後這一步，一家開發商的負責人直言公司會承擔損失。責任正開始從使用者轉向打造者。然而，據報導，該機器搭配一封假電子郵件的案例顯示了委派的風險。賠償損失的承諾固然重要，卻不能證明不會發生意外。與此同時，另一家公司擴大了用來約束機器在企業內部行為的工具。是靠承諾來保護，還是靠設計來保護。在製藥業，機器有朝一日將會下訂單。簽約時，在任何賠償承諾之前，請先確認兩件事：你能否讓機器停下來，以及是否有記錄機器所作所為的日誌？
金錢可以彌補損失，卻無法抹去對患者或合作夥伴造成的影響。承諾的話語與實際流動的資金是兩回事。接下來，將說明如何解讀交易所附帶的金額，以找出藥品。
第 04 章 一樁 AI 藥物探索交易中的三種金額
同一筆交易，各家報導的金額卻不一樣。重點不在金額有多大，而在金額由什麼組成。最大的數字來自部分新聞標題。其下是一個上限金額，只有在成果達成時才會支付。確定會易手的，看起來只有金額很小的首期款。兩者之間的差距超過一個數量級。另一家公司透過上市募得的資金也一併列出，但那並不是合作夥伴支付的。如果只記住標題上的數字，就會誤判這筆交易。上限金額是分期支付的，研究每通過一個階段才付一次。未通過某個階段，就不支付任何款項。對付款方而言，這能避免為從未出現的成果買單。標題上的巨額數字，只是一切順利時的最大值。製藥團隊在日常工作中早已這樣解讀交易。然而一旦牽涉 AI，標題數字往往就原封不動地擴散開來。在公司內部說明投資時，請把首期款與上限金額分開說明。光是這樣，就能讓期待維持在合理範圍。談完金錢之後，接著要問的是機器自身判斷有多可靠。下一篇，來看讀取醫學影像的機器如何處理其判斷依據。
第 05 章 解讀 X 光的 AI 所需的證據
讀取醫學影像的機器，不會只因為答對就獲得信任。如果答對是建立在錯誤的依據上，下一位病患就會判斷失誤。在此，一個團隊嘗試教機器自己選擇依據。這項研究把兩種判斷分開：一是是否要去尋找佐證，二是剔除與影像不符的數值。人類醫師也會懷疑與眼前影像相衝突的判讀。機器則是一點一滴地學會這種常識。只有在最終答案正確時，才會給予中間步驟的分數。若對錯誤答案背後的過程也評分，可能會教出看似合理的錯誤。不過，這篇論文尚未經外部專家查核，其摘要也沒有說明它勝過了哪些方法。對製藥業而言，這與藥品安全工作有所重疊。重點與其說是結論，不如說是機器能否展示它所依據的內容。如果其依據可以追溯，這條軌跡就能幫助查核的人，以及提出詢問的主管機關。研究在追問依據的同時，機器已經在現場工作了。接下來談談藥品被發現與送達的地方。
第 06 章 製藥業第一線
到目前為止，我們聽到的多是開發者與監管機關的說法。機器已經在多大程度上進入製藥本身的工作？今天的新聞揭示了部分答案。今天的動向涵蓋從藥物研發起點到藥品送達病患手中的各個環節：尋找候選藥物、決定是否接手，以及藥品的運送。機器不再只是實驗室的工具。其中分量最重的，是一家合作夥伴公司決定接手一項源自共同研究的候選藥物。製藥方認為，由機器挑出的候選藥物值得投入時間與資金。接手意味著藥廠行使其在合約中取得的選擇權。從此之後，後續的開發就是它自己的工作。因此這項決定可被解讀為一個訊號，表示機器的提案值得投資。由機器挑出的候選藥物，已通過人類的一道關卡。機器進入配送階段同樣值得關注。一旦供應中斷，藥品就無法送達病患。無論在研究或供應上，同樣的問題依然存在：誰來檢驗機器的判斷，誰又能讓它停下來？
在吸睛的新聞背後，「誰來阻止機器」的問題依然存在。最後，是幾則容易被忽略的報導。
CH 07 被忽略的事
我們最近的幾則報導,與規範和法院案件相比顯得微不足道。然而,它們更貼近使用者的日常工作。正因為它們隱身於重大新聞之後,或許更會衝擊明天的工作。內部人員植入的漏洞、一再當機的服務、驟然飆漲的價格。這些都與機器有多聰明無關。但它們依然傷害了那些交付工作的人。每次停擺後退還的費用,無法挽回停擺期間損失的工作。來自內部的不當行為,外部防禦無法阻擋。使用者看不到建構者的內部控管。安全不只是答案正確。我認為它也意味著持續運作、保持忠誠,以及維持條款穩定。如果某天早上,內建於製藥工作中的工具突然停擺,會怎麼樣?
若價格改變，你能轉用其他工具嗎？對於建構者內部的人員，你能信任到什麼程度？使用者現在就能先訂好這些計畫，不必等待監管方面的消息。備妥答案，工作便能持續進行。這與為藥品斷供做準備的思維相同。外部規則與眼前的失敗，導向了同一個問題。使用者同樣不能放棄確認安全性的工作。
總結
今天的各項動態都指向同一個方向。安全不能只靠開發者的承諾。當外部人士提出質疑、使用者持續檢驗時，安全才站得住腳。明天，我們或許能得知監管機構的要求涵蓋到什麼程度，以及上市計畫如何變動。接著我們就能更明確地決定如何挑選工具，以及在公司內部保留哪些紀錄。
- CH 01Axios「獨家:FTC 就近期安全事件向 AI 巨頭調閱文件」 axios.com
- CH 01聖克魯茲哨兵報「多州控告 AI 巨頭 OpenAI,指其熱門聊天機器人傷害兒童並欺騙成年人」 santacruzsentinel.com
- CH 01Crain's New York「審計長鑑於「眾多安全疑慮」,敦促 Anthropic 延後 IPO」 crainsnewyork.com
- CH 01科技組織「歐盟針對 OpenAI 與 Anthropic 展開首起 AI 法案執法案件」 technology.org
- CH 02金融時報「Anthropic 在 IPO 前告知投資人,季營收成長近 50%,達 168 億美元」 ft.com
- CH 02Yahoo 財經「更新:市場傳聞:Anthropic 第三季營收達 168 億美元,AI 模型開發商現金流轉正」 finance.yahoo.com
- CH 02投資者商業日報「為何有關 Anthropic 營收的報導加深了 AI 股的困境」 investors.com
- CH 02Bloomberg.com「分析師:Anthropic 業績或有助於 IPO,但無助於 AI 交易」 bloomberg.com
- CH 03ServiceNow「ServiceNow 以 AI Passport 與擴充的治理功能,推進企業 AI 的營運駕馭架構」 newsroom.servicenow.com
- CH 03The Verge「Elon Musk 承諾,若 Grok 搞砸購物或洩漏信用卡資料,將「讓你完全不受損失」。」 theverge.com
- CH 03Cybernews「Grok Bot 攔截網路釣魚郵件,暴露 AI 代理的風險」 cybernews.com
- CH 04阿斯特捷利康「AstraZeneca 宣布與 insitro 展開新的策略合作,運用先進 AI 系統開發針對難治型心血管代謝疾病的變革性療法」 astrazeneca.com
- CH 04路透社「AstraZeneca 與 insitro 達成 4,000 萬美元的 AI 藥物探索協議」 reuters.com
- CH 04BioSpace「AstraZeneca 擴大 MASH 與心血管領域布局,與 insitro 的 AI 合作金額最高達 15 億美元」 biospace.com
- CH 04Yahoo 財經「AI 藥物探索專業公司 Iambic 透過 IPO 募得 1.5 億美元」 finance.yahoo.com
- CH 05X-Ragent：以工具增強式強化學習實現具證據依據的胸部 X 光推理（「X-Ragent 是一個將這兩者分開學習的後訓練框架，只對診斷正確的軌跡給予評估過程的獎勵。」）
- CH 06Google DeepMind「運用 Google Antigravity 加速抗菌肽的搜尋」 deepmind.google
- CH 06Pulse 2.0「ParkourSC 收購 Quartic,推出生命科學供應鏈統一 AI 平台」 pulse2.com
- CH 06Quiver Quantitative「Recursion Pharmaceuticals 宣布 Sanofi 就 AI 驅動合作計畫行使選擇權,取得首個開發候選藥物」 quiverquant.com
- CH 07紐約時報「被控植入程式錯誤的 OpenAI 工程師曾為沙烏地阿拉伯提供諮詢」 nytimes.com
- CH 07南華早報「DeepSeek 再度發生重大中斷,公司提供用戶退款」 scmp.com
- CH 07Android Authority「Google 現正寄電子郵件通知 Gemini 訂閱者,有項變更將使費用增加 4 倍」 androidauthority.com
使用的文章
今日相關報導
旁白為合成語音。內容僅取材自本站同一天的文章。每一期在發布前都會通過七項白話檢查。這意味著已知的理解障礙被控制在門檻以下——並不保證一定能夠理解。