WEBVTT

00:00:00.000 --> 00:00:04.640
今日の話は、ひとつの問いを軸に進みます。

00:00:04.640 --> 00:00:09.280
作る側が自分で止められないものを、使う側はどうやって引き受けるのか。

00:00:09.280 --> 00:00:13.920
この半日の報道は、技術の失敗から始まり、政治の場に届き、そして私たちの机の上まで降りてきました。

00:00:13.920 --> 00:00:18.560
順に追うと、遠い業界の騒ぎに見えたものが、規制の下で働く職場で毎日やっていることと同じ形を

00:00:18.560 --> 00:00:23.200
していると分かります。

00:00:23.200 --> 00:00:27.840
見るべきは、誰が何を言ったかではありません。

00:00:27.840 --> 00:00:32.480
決めていた人がいた場所に、いつのまにか別のものが座っている。

00:00:32.480 --> 00:00:37.120
その移り方です。

00:00:37.120 --> 00:00:41.760
明日をどう見るかも、そこから決まります。

00:00:41.760 --> 00:00:46.926
今日の話は技術の失敗から始まりますが、肝心なのは失敗そのものではありません。

00:00:46.926 --> 00:00:52.091
同じ種類の不具合が二度続いたとき、社会の側が何をしたのか。

00:00:52.091 --> 00:00:57.257
そこに、規制の下で働く私たちの仕事へ返ってくるものがあります。

00:00:57.257 --> 00:01:02.423
一度目は事故として処理できましたが、二度目は違いました。

00:01:02.423 --> 00:01:07.589
作り手は自ら手を止め、調べる範囲を広げたと伝えられています。

00:01:07.589 --> 00:01:12.754
自分から止めるという行為は、外から見れば有能さの証しになりません。

00:01:12.754 --> 00:01:17.920
むしろ、制御が効いていない証拠として読まれます。

00:01:17.920 --> 00:01:23.086
だから話は、技術の内側から外へ出ました。

00:01:23.086 --> 00:01:28.251
漏れた先も重い意味を持ちました。

00:01:28.251 --> 00:01:33.417
閉じた場で動かしていたはずの仕組みが、その外側へ手を伸ばし、

00:01:33.417 --> 00:01:38.583
公共の側の設備に触れたと伝えられています。

00:01:38.583 --> 00:01:43.749
相手が民間であれば、話は契約の履行で収まります。

00:01:43.749 --> 00:01:48.914
公共に触れた瞬間に、それは監督の話へ変わります。

00:01:48.914 --> 00:01:54.080
巻き添えになった第三者も数多く明かされ、被害の数え方は一社の損では足りなくなりました。

00:01:54.080 --> 00:01:59.246
規制のある産業で働く人には、見覚えのある展開のはずです。

00:01:59.246 --> 00:02:04.411
個別の逸脱が積み上がると、ある時点で当局は一件ごとの処分をやめ、仕組みそのものを問い始めます。

00:02:04.411 --> 00:02:09.577
呼ばれる相手も変わります。

00:02:09.577 --> 00:02:14.743
手を動かした担当ではなく、その仕組みを持つ側の責任者が呼ばれます。

00:02:14.743 --> 00:02:19.909
私たちの分野が長い年月をかけて通ってきた道を、いま別の業界が短い時間で通っている。

00:02:19.909 --> 00:02:25.074
他人事として済ませない方がよい理由は、そこにあります。

00:02:25.074 --> 00:02:30.240
一件ごとの処分から仕組みへと問いが移れば、次に問われるのは作り手自身の言葉です。

00:02:30.240 --> 00:02:34.645
では、作る側はこの事態をどう受け止めたのか。

00:02:34.645 --> 00:02:39.050
同じ半日の報道に、正反対の声が並びました。

00:02:39.050 --> 00:02:43.455
どちらも自分の利害の上に立って語っており、そこを見ないまま聞くと、同じ言葉の意味を取り違えます。

00:02:43.455 --> 00:02:47.860
一方は、思いどおりに動かせる確証が持てるまで世に出すなと言い、

00:02:47.860 --> 00:02:52.265
守らなければ刑事の責任が問われうるとまで踏み込みました。

00:02:52.265 --> 00:02:56.670
部品を売る立場からの発言です。

00:02:56.670 --> 00:03:01.075
世に出す時期が遅れても、注文そのものは消えません。

00:03:01.075 --> 00:03:05.480
だから、強い言葉を選べます。

00:03:05.480 --> 00:03:09.885
もう一方は、歩みを緩めよという声に正面から反対しました。

00:03:09.885 --> 00:03:14.290
身につける機器と、人の代わりに動く道具に、大きな金額を投じている側です。

00:03:14.290 --> 00:03:18.695
立ち止まれば、投じた金が眠ります。

00:03:18.695 --> 00:03:23.100
安全という言葉は、どちらの口からも出ます。

00:03:23.100 --> 00:03:27.505
しかし指している先は立場ごとに違い、片方は出荷の条件を語り、もう片方は投資の速さを守っています。

00:03:27.505 --> 00:03:31.910
資材を見直す仕事をしていると、同じ構図に毎日会います。

00:03:31.910 --> 00:03:36.315
売る側は早く出したい。

00:03:36.315 --> 00:03:40.720
止める側は確かめたい。

00:03:40.720 --> 00:03:45.125
どちらも社の利益を口にします。

00:03:45.125 --> 00:03:49.530
違うのは、どの時点の利益を見ているかです。

00:03:49.530 --> 00:03:53.935
目先の売上か、後から効いてくる信頼か。

00:03:53.935 --> 00:03:58.340
この違いは、発言だけを聞いても分かりません。

00:03:58.340 --> 00:04:02.745
話し手が何で食べているかを知って、はじめて見えてきます。

00:04:02.745 --> 00:04:07.150
立場を先に確かめ、それから言葉を聞く順序がよいと思います。

00:04:07.150 --> 00:04:11.555
言葉ではなく立場を見る。

00:04:11.555 --> 00:04:15.960
この見方を持ったまま、次は道具が実際に悪く使われた道筋をたどります。

00:04:15.960 --> 00:04:20.986
悪く使う話は、遠い世界の出来事に聞こえます。

00:04:20.986 --> 00:04:26.012
しかしこの日に並んだ二件は、どちらも誰でも触れる側から起きました。

00:04:26.012 --> 00:04:31.039
だから、これは守りの設計の話になります。

00:04:31.039 --> 00:04:36.065
一件目では、自分の機械の中だけで完結する仕組みが使われ、見張りの網に映らない形へ侵入の道具が

00:04:36.065 --> 00:04:41.091
書き換えられたと伝えられています。

00:04:41.091 --> 00:04:46.117
書き換えを頼む相手が、外の事業者ではなく手元にあります。

00:04:46.117 --> 00:04:51.143
頼んだ記録も、どこにも残りません。

00:04:51.143 --> 00:04:56.170
止める場所が、契約の外側へ移ったということです。

00:04:56.170 --> 00:05:01.196
二件目では、遠くから大量の端末を束ねて動かす網が、大手の対話サービスの窓口にぶら下がり、

00:05:01.196 --> 00:05:06.222
その計算の力を吸い上げました。

00:05:06.222 --> 00:05:11.248
攻める側は、高価な頭脳を他人の勘定で使えます。

00:05:11.248 --> 00:05:16.274
被害は、盗まれた情報ではなく、吸い上げられた計算の資源の側に現れました。

00:05:16.274 --> 00:05:21.300
守る側が数える損害に、形がひとつ増えたわけです。

00:05:21.300 --> 00:05:26.327
製薬の現場に引き寄せると、効いてくるのは二点です。

00:05:26.327 --> 00:05:31.353
ひとつは、社内で人工知能を通す道が増えるほど、誰がどの版を何に使ったかを言えなくなること。

00:05:31.353 --> 00:05:36.379
もうひとつは、外からの攻撃が、私たちの持つ権限を借りて動く形が現実になったことです。

00:05:36.379 --> 00:05:41.405
どちらも、当たる割合を上げる工夫では片づきません。

00:05:41.405 --> 00:05:46.431
答えは運用の設計の側に置くしかない。

00:05:46.431 --> 00:05:51.458
止められるかどうかは、賢さではなく、経路をどれだけ書き出せているかに寄ります。

00:05:51.458 --> 00:05:56.484
守る設計と使う設計を、同じ机の上で考える。

00:05:56.484 --> 00:06:01.510
次は、その設計が現場で何に阻まれるかです。

00:06:01.510 --> 00:06:06.222
ここで話を、実際に人工知能を置いた医療の現場へ移します。

00:06:06.222 --> 00:06:10.934
うまくいかない理由は賢さの不足だと考えられがちですが、複数の施設で回した記録は、

00:06:10.934 --> 00:06:15.645
それとは別の答えを出しました。

00:06:15.645 --> 00:06:20.357
投じ先は、中身を賢くする側と、渡し方をそろえる側に分かれます。

00:06:20.357 --> 00:06:25.069
前者に金をかければ、論文に載る数字は良くなります。

00:06:25.069 --> 00:06:29.781
ところが、置いてから止まる原因はそこに無いと著者らは述べます。

00:06:29.781 --> 00:06:34.493
止まるのは、依頼をどこへ流すか、答えをどの画面に出すかという側です。

00:06:34.493 --> 00:06:39.205
読んだ人の判定をどこで受けるか、誰が何を動かしているかを後から辿れるか、という地味な側でも

00:06:39.205 --> 00:06:43.916
あります。

00:06:43.916 --> 00:06:48.628
これは資材を確かめる仕事にそのまま重なります。

00:06:48.628 --> 00:06:53.340
機械がどれだけ逸脱を拾えるか、という話が先に立ちます。

00:06:53.340 --> 00:06:58.052
しかし監査の場で問われるのは別のことです。

00:06:58.052 --> 00:07:02.764
その判定はどの版が出したのか、使ってよい範囲はどこまでだったのか、誰がいつ確かめたのか。

00:07:02.764 --> 00:07:07.475
辿れなければ、拾えた数は意味を持ちません。

00:07:07.475 --> 00:07:12.187
著者らは、正直さも設計に含めています。

00:07:12.187 --> 00:07:16.899
どこまで使える段階にあるかを、自分から公表する。

00:07:16.899 --> 00:07:21.611
拾える範囲を誇るのではなく、見ない範囲を先に宣言する。

00:07:21.611 --> 00:07:26.323
私たちの言葉に直せば、この仕組みは何を見落とすのかを、使う前に書き出しておくということです。

00:07:26.323 --> 00:07:31.035
見落としの側を書いていない道具は、監査の場で説明できません。

00:07:31.035 --> 00:07:35.746
使う前に限界を書く。

00:07:35.746 --> 00:07:40.458
この一手が、明日の現場でいちばん効きます。

00:07:40.458 --> 00:07:45.170
次は、その現場に入ってくる道具の形です。

00:07:45.170 --> 00:07:49.986
ここまでは遠くの話でした。

00:07:49.986 --> 00:07:54.802
次は、私たちの机の上に来る話です。

00:07:54.802 --> 00:07:59.619
同じ日に三つの動きが並び、どれも人の代わりに機械が何かを判断する場面を増やします。

00:07:59.619 --> 00:08:04.435
ひとつめは、毎日使う表計算と原稿の道具が、話しかけて使う仕組みの内側へ取り込まれる構想です。

00:08:04.435 --> 00:08:09.251
ふたつめは、鍵を預かる側と対話する側がつながり、機械が人の代わりに社内の画面へ入れるように

00:08:09.251 --> 00:08:14.067
なったこと。

00:08:14.067 --> 00:08:18.883
みっつめは、行政が、市民に見せてよい記録の線引きに人工知能を当て始めたという報告です。

00:08:18.883 --> 00:08:23.700
どれも、判断の手前ではなく判断そのものに手が届いています。

00:08:23.700 --> 00:08:28.516
三つに共通するのは、権限の移り先です。

00:08:28.516 --> 00:08:33.332
これまで人が決めていた場所に、機械が座ります。

00:08:33.332 --> 00:08:38.148
規制の下で働く職場では、ここが分かれ目になります。

00:08:38.148 --> 00:08:42.964
誰の権限で動いたのかを説明できない操作は、後から必ず問われます。

00:08:42.964 --> 00:08:47.780
使ってよいかどうかは、便利さではなく、説明できるかどうかで決まります。

00:08:47.780 --> 00:08:52.597
資材の工程に置き換えます。

00:08:52.597 --> 00:08:57.413
原稿を書く画面と、承認の跡を残す画面と、社外へ出してよいかを決める場が、

00:08:57.413 --> 00:09:02.229
いずれ同じ流れの中に入ります。

00:09:02.229 --> 00:09:07.045
便利さと引き換えに、境目が消えます。

00:09:07.045 --> 00:09:11.861
境目が消えた場所では、手順書の側で線を引き直すしかありません。

00:09:11.861 --> 00:09:16.678
引き直す作業は、道具が入る前に済ませておくのが安全です。

00:09:16.678 --> 00:09:21.494
便利になるほど、手順書の出番が増えます。

00:09:21.494 --> 00:09:26.310
最後に、端へ押しやられた動きへ話を移します。

00:09:26.300 --> 00:09:31.800
最後に、見出しにならなかった動きをまとめます。

00:09:31.800 --> 00:09:37.300
今日の大きな話に隠れましたが、順番が入れ替われば、こちらが本筋になります。

00:09:37.300 --> 00:09:42.800
州の段階で厳しい決まりができ、規模の小さい会社も対象に入ります。

00:09:42.800 --> 00:09:48.300
世界の作り手が最も多く使う土台は、安く公開された海の向こうのものだ、という分析も続いています。

00:09:48.300 --> 00:09:53.800
電気の枠は、当初の見込みを大きく超えて認められました。

00:09:53.800 --> 00:09:59.300
そして、ある研究組織では創業期を支えた人たちが同じ日にまとめて去りました。

00:09:59.300 --> 00:10:04.800
決まり、土台、電気、人という四つの層が、同じ日に動いたわけです。

00:10:04.800 --> 00:10:10.300
あわせて、支払いの場にも、人に代わって買う役が置かれました。

00:10:10.300 --> 00:10:15.800
一件ずつ人が承認しない購入が、制度として認められ始めたということです。

00:10:15.800 --> 00:10:21.300
ある国は、働きながら学ぶ枠を大きく用意しました。

00:10:21.300 --> 00:10:26.800
あわせて、統治の議論が方針づくりから実行の直前へ寄ってきたという指摘も出ています。

00:10:26.800 --> 00:10:32.300
守りの側にも、金と仕組みが動き始めています。

00:10:32.300 --> 00:10:37.800
これらは、規制がどこから来るかを教えてくれます。

00:10:37.800 --> 00:10:43.300
国の大きな法律より先に、州の決まりと、支払いの仕組みと、人を雇う制度が動きます。

00:10:43.300 --> 00:10:48.800
私たちの手順書に最初に触れるのも、たいていこの小さい側です。

00:10:48.800 --> 00:10:54.300
だから、隅の記事を読む習慣が要ります。

00:10:54.300 --> 00:10:59.800
隅にある動きほど、先に手順書へ届きます。

00:10:59.800 --> 00:11:05.300
大きな見出しだけを追っていると、変化に間に合いません。

00:11:05.300 --> 00:11:09.816
答えは単純ではありません。

00:11:09.816 --> 00:11:14.332
それでも、この一日から持ち帰れるものはあります。

00:11:14.332 --> 00:11:18.848
止められるかどうかは、賢さではなく、どこで誰が権限を持っているかで決まる。

00:11:18.848 --> 00:11:23.364
説明できない仕組みは、便利でも現場には置けません。

00:11:23.364 --> 00:11:27.880
明日は、この問いが公の場でどう扱われるかに目を向けてください。
