« アロマテラピー初体験 | トップページ | 論文落とされました »

「自動診断ソフトウェア」の悲劇1

学会とかでもいろいろ発表したネタだし、知っている人は知っていることなんだけれど、僕は、3年前から昨年にかけて、医者のかわりに「診断」をしてくれる「自動診断システム」を作っていた。
この自動診断システムはウェブで動く、プライマリケアに特化したシステム。
なにか体調が悪くて、でも医者にかかるほどでもないからネットで調べたいって思っているような人がターゲット。

このシステムの動作について簡単に説明すると、


  1. まず、ユーザーは、自分の年齢、性別、最もつらい症状を、フォームに入力する。
  2. すると、システムは、その制約の中で、可能性の高い疾患を確率順に列挙し、また、疾患を絞り込むために質問を生成する。
  3. ユーザーが質問に回答すると、システムはその質問の結果を使って、さらに疾患を絞り込み、質問を繰りかえす。
  4. かんたんな質問だけで、これ以上、可能性の高い疾患を絞り込めなくなったら質問を終了する。
    という動作をするシステム。

これだけで、プライマリケアでの正診率は、おおむね80~95%に達する。

ベンチマークとして、医師国家試験の臨床実地問題を解かせてみると、おおむね、75~80%程度程度の正答率になる。医師国家試験では、ボーダーラインは60%台なので、これは、コンピュータのソフトウェアが、国家試験に合格する(可能性が高い)レベルに達しているということを意味している。この成績は、実は、この種のソフトウェアとしては、ほとんど最高レベルである。

医師国家試験に合格するレベルの自動診断システムっていうと、みんな、すごいっていってくれたんだけれど、とはいえ、このシステムは、特別複雑なことをしていたわけではない。推論エンジンは、単純なベイズ推論、つまり、その年齢、性別で「よくある病気」の症状にあてはまらないか質問するだけの安直な推論でしかなかったし、推論のためのデータは、ネットで自動で集めただけ。
データ収集は、どうやったのかというと、


  1. このサイトを使う前には、このソフトウェアは、医師の代わりになるものではないので、なにかあったら必ず医師に相談するようにメッセージを出す。
  2. このサイトから離れる際に、ふたたび、メッセージを表示する。内容は、なにかあったら必ず医師に相談してほしいこと、また、このシステムを改善する目的で、受診した医師が行った診断についてメールで質問することがあること、その際、同意いただけるならば、質問には答えてほしいことの3点。
  3. システムの利用者には、システム利用から1週間後に、その後、医療機関に受診したか、もし、受診したならば、どのような診断をされたか、質問する。

この質問の結果をそれそれの疾患に罹患した際に各症状が起こる確率をしめす基礎データとして推論に使った。特別なデータクレンジングなどの操作はしなかった。

さて、このシステムの話をすると、


  • 一般の人に話すと、たいてい、このシステムの精度、つまり、「医師国家試験に合格する水準」という点に素直に驚いてくれた。
  • 統計やデータマイニングの専門家に話すと、このシステムが、データクレンジングなどの操作をさっぱりしていないこと、それにもかかわらず、それなりの精度を持っていることに驚いてくれた。
  • 医師に話すと、ほとんどの医師は驚かなかった。特に、システムの推論メカニズムについて話すと、「ま、俺たち人間の医者がやってることも、そんなもんだろ。」って反応が一般的。

ここまでの経緯から僕が得た教訓

  1. 人工知能やエキスパートシステムなど、過去のコンピュータ技術で使われた方法論のうちで、使い物にならないとされたものは多い。でも、それらの多くは、当時のハードウェアでは使い物にならないとみなされただけに過ぎない。現在のハードウェアの計算能力と記憶容量を利用すれば、案外使えるものも多い。
  2. ネットの生のデータは、きちんとデータクレンジングしないと使えないというのが常識。たとえば、ユーザーが間違えて入力したり、時には故意にウソのデータを入れたりするから。でも、これは状況によっては正しくない。
    • たとえば、専門的な「病名」などについては、ユーザーは入力時に間違いを犯しやすいのだけれど、でも、事前に、「診断名を質問するよ」って伝えておくことで、記憶違いなどは、相当抑制できる。
    • また、体の調子が悪くて、どうすればいいかネットで調べたい人は、ウソのデータで検索したりはしない。

  3. そういう社会的、心理的方法を十分に配慮したら、データクレンジングはほとんど不要になり、自動化できる部分をふやすことができる。
  4. 実のところ、医者のやっている推論は、そう複雑な推論ではない。そして、ほとんどの医者がそれを知っているし、それを指摘されても不快には思わない。
  5. にもかかわらず、医療関係でない人たちは、医者のしている「診断」を実際以上に専門的で複雑な推論だと思っている。

次回、このシステムの開発の悲劇的結末について(いずれ書く)。

|

« アロマテラピー初体験 | トップページ | 論文落とされました »

パソコン・インターネット」カテゴリの記事

医学」カテゴリの記事

学問・資格」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1238660/31205455

この記事へのトラックバック一覧です: 「自動診断ソフトウェア」の悲劇1:

« アロマテラピー初体験 | トップページ | 論文落とされました »