医療あれこれ

チャットGPTが医師国家試験に合格する?

 チャットGPTはアメリカのAI企業が開発し202211月にオンラインで公開されているAIプログラムです。人間のさまざまな質問に対して対話型で回答してくることから、いずれ人間の仕事がコンピューターに奪われてしまう時代になってしまうと危惧されるなどと言われますが本当にそうなのでしょうか。

 チャットGPTが人間の質問に対して正しい回答ができるのであれば試験問題を与えて答えさせればその試験に必ず合格するための正解が示されるという想定から、新たに医師になる能力を判定する医師国家試験問題を受験させ結果の判定する実験が試みられました。この研究をしたのは金沢大学医学部の融合科学系の研究者らで、本年度実際におこなわれた第117回医師国家試験問題をチャットGPTに回答させました。採点結果は医学系学術雑誌に論文として公表されています。

(BMJ yale https:// doi.org/10.1101/2023.04.17.23288603)

 実際の国家試験問題には臨床症例問題としてレントゲン写真などの画像問題なども含まれるのですが、今回はこれらを削除した262問中206問で正解の回答が導かれました。内訳は必修問題は82.7%が正解(合格最低ラインは80.0)、基礎・臨床問題は77.4%が正解(合格最低ラインは74.6)で、いずれも合格最低ラインを満たし、もしこれらの問題だけで国家試験がおこなわれたとしたら合格するだろうという結果でした。不正解だった56問について詳しい解析がおこなわれましたが、33問(58.9%)では「医学知識の不足」が、17問(30.4%)では「日本特有の医療制度情報」が、4問(7.1%)では「数学的誤り」が要因だったそうです。

 もし今回省略された画像問題も含め、さらにチャットGPTに「勉強」させれば、チャットGPTが人間の医師並に患者さんを診療できるのかという話で、手塚治虫の鉄腕アトムのように人間が作ったロボットの医師が正しい診療をする時代になると考えてしまいます。しかし現実にはそうはいかないでしょう。例えば内科の診察では、機械的に得られた体温、血圧などの結果や血液などの検査結果だけではなく、受診者の表情や行動、服装、身なりなど、さらに質問に対しての返答など数字的に表現できないあらゆることを評価し診断します。機械なら100%暗記できるかもしれませんが、人間がおこなう診療は100%丸暗記すれば完璧というものではないからです。人間対コンピューターで将棋の勝負をすると人間が負けたという結果がありましたが、人間相手の診療という行為は丸暗記という単純な知識の集積だけでできるものではないと考えます。