考えたこと2

ChatGPTは平気で嘘をつく。
もともと、ChatGPTに嘘をつこうとかいう意思もないし、膨大な言葉のデーターベースから、ある言葉が手てきたら、次にこういう言葉が来る可能性が高い、というような理屈で動いているからだろう。

ChatGPTは、分数の問題が苦手だという記事があった。

99/100、101/100、100を小さい順に並べるという問題。
99/100は1より小さく、101/100は1より大きい、という問題には正解したが、100を入れた3つの数を小さい順に並べるということになると、99/100＜100＜101/100と間違ってしまう。
これはおそらく　ChatGPTが学習している大規模言語のなかに「99,100,101」という並びが多いからだろう、と筆者は推定している。
そうなのだろう。

もう一つの問題である、「12/13−11/12」は「−1,0,1」のどれに近いか、という問題も面白い。
ChatGPTは「12/13−11/12」はちゃんと計算して合っているが、どれに近いかということになると「−１」を選んでしまう。
分数をよく理解した人間なら、12/13も11/12もほとんど１だから、「12/13−11/12」は1−1のようなもののだと考えて、計算せずに「０」を選ぶ。
そういう感覚は大規模言語モデルを学習してもできない、ということだろう。

さらに興味深いのは、公立中学の2年生159人にこういう問題をさせると、正解したのが68人で、ChatGPTと同じように間違えた生徒が68人いた、ということだ。
その生徒たちは、ChatGPTと同じく、分数の意味を理解していない、ということになる。

実は、こういう大学生は本当に多い。
極論すると、半分という言葉と1/2が一緒であることを理解していない、ということだ。
小学校、中学校で何をどう教えてきたのかと思う。
学ぶ方の責任ではない。
教える方の責任だと思う。

この記事の筆者、慶応義塾大学環境情報学部の今井 むつみ教授は認知科学の専門家らしいが、エライ人だと思う。
彼女は、小学校でこういう分数の大きさなどの直感を身につけることは、中学、高校で数学を学習していくために不可欠な要素だという。
そのための「たつじんテスト」というテストも作ったらしい。

この数の直感について「分数や整数をはじめとした「数」の意味を理解し、直観で操作できないと、いくら丁寧に文章題の解き方を教えられても、文章題を解くことができない」という。

計算はできても、文章題ができない、というのはそういう直感ができていないのかもしれない。
割合の概念も同じことだろう。

「これらの実験結果が示しているのは、ChatGPTは、うまく聞けばどんな質問にも回答を示してくれますが、どんなにChatGPTに質問を重ねても、「意味」と「直観」に触れることはできない、ということ。そして、人間の学びに真に必要なのは、まさにこの「意味」と「直観」なのです。とすれば、ChatGPTの活用が人間の認知能力に与える影響は、認知科学を研究する者として、決して見過ごすことはできません。」

「私たちの仕事でも同じです。分厚い書類をざっと見たときに、すぐに「この数字は確かめたほうがいい」と直観的に思うことがありませんか？　限られた時間の中で膨大な量の書類の内容をすべて詳細に確認することは人間には不可能です。そのとき、経験豊富で、いわゆる「デキる人」は、この内容はおかしいのではないか、この数字はチェックしなければならないのではないか、ということが直観的に分かります。」

本当に、そういうことなのだ。

「このAIの限界に無自覚なまま、AIを活用すれば、人間の知性に大きな悪影響を及ぼしかねません。私たちの学びにとって必要不可欠な「意味」と「直観」に触れる機会が、日常生活にAIを取り入れた分だけ、減ってしまうのではないか。小さいころからAIに頼り、AIに「答えを教えてもらう」ことに慣れてしまうと、本来人間が持っていた意味の理解が失われ、直観を働かせて新しい知識を創造していくことができなくなるのではないか。対話型AIの登場によって、こうした危機感が、認知科学を研究する私の中で急速に高まっているのです。」

最後は引用ばかりになったが、この認識は正しいと思う。
しかし、残念ながらAIを使わなくても、数の直感を持たない学生はできてしまっているのだ。

それはもっと大きな問題だと思う。