学問・資格

「自動診断ソフトウェア」の悲劇1

学会とかでもいろいろ発表したネタだし、知っている人は知っていることなんだけれど、僕は、3年前から昨年にかけて、医者のかわりに「診断」をしてくれる「自動診断システム」を作っていた。
この自動診断システムはウェブで動く、プライマリケアに特化したシステム。
なにか体調が悪くて、でも医者にかかるほどでもないからネットで調べたいって思っているような人がターゲット。

このシステムの動作について簡単に説明すると、


  1. まず、ユーザーは、自分の年齢、性別、最もつらい症状を、フォームに入力する。
  2. すると、システムは、その制約の中で、可能性の高い疾患を確率順に列挙し、また、疾患を絞り込むために質問を生成する。
  3. ユーザーが質問に回答すると、システムはその質問の結果を使って、さらに疾患を絞り込み、質問を繰りかえす。
  4. かんたんな質問だけで、これ以上、可能性の高い疾患を絞り込めなくなったら質問を終了する。
    という動作をするシステム。

これだけで、プライマリケアでの正診率は、おおむね80~95%に達する。

ベンチマークとして、医師国家試験の臨床実地問題を解かせてみると、おおむね、75~80%程度程度の正答率になる。医師国家試験では、ボーダーラインは60%台なので、これは、コンピュータのソフトウェアが、国家試験に合格する(可能性が高い)レベルに達しているということを意味している。この成績は、実は、この種のソフトウェアとしては、ほとんど最高レベルである。

医師国家試験に合格するレベルの自動診断システムっていうと、みんな、すごいっていってくれたんだけれど、とはいえ、このシステムは、特別複雑なことをしていたわけではない。推論エンジンは、単純なベイズ推論、つまり、その年齢、性別で「よくある病気」の症状にあてはまらないか質問するだけの安直な推論でしかなかったし、推論のためのデータは、ネットで自動で集めただけ。
データ収集は、どうやったのかというと、


  1. このサイトを使う前には、このソフトウェアは、医師の代わりになるものではないので、なにかあったら必ず医師に相談するようにメッセージを出す。
  2. このサイトから離れる際に、ふたたび、メッセージを表示する。内容は、なにかあったら必ず医師に相談してほしいこと、また、このシステムを改善する目的で、受診した医師が行った診断についてメールで質問することがあること、その際、同意いただけるならば、質問には答えてほしいことの3点。
  3. システムの利用者には、システム利用から1週間後に、その後、医療機関に受診したか、もし、受診したならば、どのような診断をされたか、質問する。

この質問の結果をそれそれの疾患に罹患した際に各症状が起こる確率をしめす基礎データとして推論に使った。特別なデータクレンジングなどの操作はしなかった。

さて、このシステムの話をすると、


  • 一般の人に話すと、たいてい、このシステムの精度、つまり、「医師国家試験に合格する水準」という点に素直に驚いてくれた。
  • 統計やデータマイニングの専門家に話すと、このシステムが、データクレンジングなどの操作をさっぱりしていないこと、それにもかかわらず、それなりの精度を持っていることに驚いてくれた。
  • 医師に話すと、ほとんどの医師は驚かなかった。特に、システムの推論メカニズムについて話すと、「ま、俺たち人間の医者がやってることも、そんなもんだろ。」って反応が一般的。

ここまでの経緯から僕が得た教訓

  1. 人工知能やエキスパートシステムなど、過去のコンピュータ技術で使われた方法論のうちで、使い物にならないとされたものは多い。でも、それらの多くは、当時のハードウェアでは使い物にならないとみなされただけに過ぎない。現在のハードウェアの計算能力と記憶容量を利用すれば、案外使えるものも多い。
  2. ネットの生のデータは、きちんとデータクレンジングしないと使えないというのが常識。たとえば、ユーザーが間違えて入力したり、時には故意にウソのデータを入れたりするから。でも、これは状況によっては正しくない。
    • たとえば、専門的な「病名」などについては、ユーザーは入力時に間違いを犯しやすいのだけれど、でも、事前に、「診断名を質問するよ」って伝えておくことで、記憶違いなどは、相当抑制できる。
    • また、体の調子が悪くて、どうすればいいかネットで調べたい人は、ウソのデータで検索したりはしない。

  3. そういう社会的、心理的方法を十分に配慮したら、データクレンジングはほとんど不要になり、自動化できる部分をふやすことができる。
  4. 実のところ、医者のやっている推論は、そう複雑な推論ではない。そして、ほとんどの医者がそれを知っているし、それを指摘されても不快には思わない。
  5. にもかかわらず、医療関係でない人たちは、医者のしている「診断」を実際以上に専門的で複雑な推論だと思っている。

次回、このシステムの開発の悲劇的結末について(いずれ書く)。

| | コメント (0) | トラックバック (0)

ピペド問題は理学部生物学から逃れても続くんだよ

まず、ここまでの経緯

数日前、はてなのアノニマスダイアリーに「ピペド問題」について、問題提起する記事がでた。
この記事が告発する「ピペド問題」の深刻さに驚くギャラリーによって、当該エントリーはすぐさま炎上した。
僕自身も、この件に関してワープーになりたくない生物系学生は数学を勉強せよという記事を書いた。
翌日、そのエントリーが別のブログ「皆殺しの天使」からの無断転載であることに気付かれ、炎上は転載もとのブログに移った。
結果、その2日後の現時点では、「皆殺しの天使」はすでにアクセスできなくなっている。

さて、その「皆殺しの天使」に対する下記の記事から
出身学科は就職機会に関係するけど就職後には関係しないの下記のコメントについて(本来ならば、先方のコメントに書き込むべき話だったのかもしれないけれども、なぜかうまく書き込めなかったため、こちらのブログに書く)。


ご紹介のエントリーを通して私が理解した点は以下のとおりです。

1. 分子生物学の主たる研究テーマは新事例の収集である
2. 新事例は最初に報告した人間の成果となるので、速度がもっとも重要である
3. そのため、世界中で新事例の発見競争が勃発している
4. 新事例の収集を行うためには、ピベドと呼ばれる単純作業を行う人間が必要不可欠である
5. 研究成果(新事例の収集)がないと研究費を得られず研究を続けられない
6. 日本のほとんどの大学にはテクニシャンがおらず、学生を労働力として使用せざるを得ない
7. その結果、学生は学部4年生~大学院時代にかけて労働力として扱われ、実用的な専門知識を身につけられない
8. 日本の分子生物系にはこのような事実があるので、高校生は分子生物系への進学は止めた方がよい。


僕の見聞きする範囲では、このうち、6は、おそらくピペド問題とは関係ない。
僕の多くの知人が、医学部の、いわゆる「基礎医学」の研究室で分子生物学の研究に従事していて、僕も時々、そういう研究室に遊びに行く。
この医学部の基礎というやつは、研究手法は理学部生物学科とほとんどかわらない。
つまり、「ねるねるねるね」を使う実験係を大量に動員しての調査。
でも、たぶん、理学部生物学科の大学院よりも研究予算は潤沢で、普通はテクニシャンを雇う程度の余裕はある(もちろん、研究室によってはないこともある)。
ただし、テクニシャンを雇っているからといって、学費を払っているピペドがいないわけではない。もっぱら、医学部修士課程の学生がピペドとして動員されていることがほとんど。かれらは、自分たちより低学歴かもしれないテクニシャンと並んで「ねるねるねるね」をいじっている。ちなみに、同じ作業をしているテクニシャンより労働時間は長いことが多い(ただし無給)。
たぶん、マンパワーが必要な現場で、現場監督(教授)の権力に従順な人がいたら、どうしたって労働力として使われるしかない。マンパワーがあればそれだけ実績につながる(と信じられている)現場で、必要な奴隷の数に上限はない。テクニシャンを雇えたとしても、安価な奴隷の「利用価値」は高い。

だから、

中期的には国が生物系の研究を維持したいのであれば、大学を含む研究機関がテクニシャンを
雇えるようにするしかないでしょうね。それこそ、高卒者の就職対策として。

というのは、学生が適切な教育を受けるためにはほとんど助けにならないと思う。

さて、僕などは、こういう研究室の学生には、しょっちゅう専攻の変更(もしくは就職)を勧めている。
だって、奴隷でいたって将来につながらないのだから。
でも、そう言っても、専攻を変えたり就職したりする学生はまれだ。
かなりの数の学生は、
「この大学院にいたら、将来暗いのはわかっているけれど、自分はコミュニケーションが苦手だから、就職してやって行く自信がない」
「自分が他分野に行って、研究できるとは思えない(難しい数学とか英語とかわからないけど、ピペドなら、自分でもできる)」

こういう学生たちの自信のなさは、ある意味でやむをえないことではある。彼らは、大学生の後半、つまり、通常であれば、多くの勉強をして、友人や教官と議論をしたり、また、アルバイトをしたり、就職活動をしたり、そうやって学問的にも人間的に成長する大切な時期を、完全に奴隷として奪われてしまったのだ。その分、コミュニケーション能力や科学的な思考力が、おそらく高校時代には同程度の学力だった彼等の友人たちに大きく劣っている(少なくとも本人たちは、そう思っていることが多い)。

また、ひどい場合には、学部時代の指導教官から、
「君のようなコミュニケーション能力のない人間は就職しても、ろくな社会人になれないから、大学院にくるしかないよ。」
とか
「分子生物学の研究ならば、手を動かすしか能がない人間でも、やっていける。でも、他分野では、君のような頭の悪い人間は留年を繰り返すだけだよ。」
みたいな言葉を言われ続けていたやつもいる。
大人の目から見ると、そういうことを言う教官たちが、単に労働力をほしいだけなのははっきりしている。でも、まだ世間を知らない学生たちは、奴隷扱いされ、友人と会う時間もなくなり、そして、こういうことを周囲から言われ続ければ、確実にスポイルされる。
たとえ死んだとしても生命科学の研究者を志してはいけないの著者は、そういう境遇にいたのだろうと思う。

僕のよく知っている、医学部修士課程の学生たちのほとんどは、理学部の学部時代にそういうことを言われて、奴隷扱いされて、それに耐えられなくて、で、医学部の大学院に移ってきた連中だ。
彼等の大部分は、医学部の基礎でならば、彼等の唯一身に付けた「技術」である、ピペット操作を役立てることが出来るし、それに、医学部ならば、理学部と違って、実際に役に立つ「何か」を身に付けられるかもしれないと考えてくる。そういう希望的観測が誤りであることを気づくチャンスは、院試を受ける前に、いくらでもあるのだけれど、でも、理学部生物学科にいる彼らの多くは、医学部の院への進学を「地獄に下りてきた一本だけの蜘蛛の糸」だと思っているから、不安を頭から振り払い、時々垣間見える不吉な未来に目を閉ざし、そうして、「蜘蛛の糸」を通って別の地獄へやってくる。

ようこそ、奴隷諸君。

僕は、彼らは、大学院をやめたほうが幸せになれると思っている(彼等の多くも、それに同意する)。
でも、外の世界に行くには、彼らには、もっと自信が必要なんだと思う。
現に、ほかの分野、特にほかの理科系の分野でも自分が通用すると思っている学生は、もっと自分が幸せになれる分野に、簡単に移動する。
僕が見るに、ほとんどの場合、ほかの理科系の分野で活躍できないと彼らが感じている最大の理由は、彼等の数学力の欠如である。

というわけで、やっぱり、数学を勉強しなさいって結論になるのだな。

| | コメント (2) | トラックバック (0)

hiroyukikojimaの日記、一気読み

yhiroyukikojimaの日記の過去ログ読了。
数学関連のエントリーの面白さはさすが。
数学のあまり得意でない人に対しての配慮が見える書き方が、暖かい。

| | コメント (0) | トラックバック (0)