Galeanu Mihai/iStock
4月10日号のNature誌ニュース欄に「Is ChatGPT corrupting peer review? Telltale words hint at AI use」というタイトルの記事が掲載されていた。
ChatGPTに代表される生成AIが論文の審査に利用されていること、そして、それが形容詞の使い方で判定できるというのだ。
このニュース記事によると、論文審査報告の17％に生成AIが利用されていたと推測されている。評価そのものをAIに委ねたのか、文章の校正のために利用しただけなのかはわからないようだが、審査の締め切り日に近いものほどその傾向が高いようだ。
4つの情報系の学会に投稿された抄録を評価した際に、生成AIが利用されたかどうかを調査した結果だが、審査側も情報系に詳しいので高い数字が出たのかもしれない。
ChatGPTが登場したのは2022年11月だが、公表されている146000件の論文審査コメントを、ChatGPT登場前後で比較したところ、特定の形容詞が頻回に用いられているのだそうだ。たとえば、「commendable」「innovative」「meticulous」「intricate」「notable」「versatile」（「賞賛に値する」「革新的」「非常に注意深く」「複雑な」「注目に値する」「万能な」）などの言葉だ。
私の脳の辞書にない言葉もあり、論文の審査をしていても私にはなかなか思い浮かばない言葉が多い。 ところが、Nature関連の15の雑誌の25000の審査コメントにはこのような特徴的な形容詞の使われ方は認められなかったそうだ。情報系の論文に偏りがあっても不思議ではないが。
ある研究者は「審査の透明性が重要だ」と言う。審査のコメントを校正したり、母国語で作成したものを英語に翻訳するのに使っているならいいがどのように利用されているのか不透明だと批判していた。もちろん、論文をChatGPTに丸投げして審査のコメントを引き出すと、知財に関わる情報や斬新な手法が漏洩する危険がある。
ChatGPTなどの生成AIは色々な時間の節約につながるので、様々な側面で活用されることが増えてくることは間違いない。したがって、生成AIを使っていいのか、悪いかの議論ではなく、どのようなルールのもとに活用化していくのかといった議論が必要だ。
私は、ChatGPTを使うことが、直ちに公平性や公正性を損なう訳ではないと思う。間違いなく、時間の節約につながるし、今までできなかったことができるようになるのはとっても魅力的だ。
技術が進歩すれば世の中は変わる。しかし、歳をとると新しい技術についいていくのはしんどい。ロボット手術もゲーマー世代がより適応できると思う。教授が先頭に立つよりも、先頭に立てる人を育てる方向へのシフトが重要だ。
■
編集部より:この記事は、医学者、中村祐輔氏のブログ「中村祐輔のこれでいいのか日本の医療」2024年4月18日の記事を転載させていただきました。オリジナル原稿をお読みになりたい方は、こちらをご覧ください。
