考えたこと2 | シャノンの予言

2025.08.22 Friday

シャノンの予言

日経の記事によると、1951年にクロード・シャノン氏は「次に来る文字や単語を統計的に推定することで、人間の知性や言語理解を再現できる」という論文を書いたとのこと。

彼は情報通信技術の基礎を築いた人だ。
シャノンのサンプリング定理というのは、振動や音の測定をする人は聞いたことがあるはず。
ぼくも先輩から教えてもらった。
観測したい振動の倍以上の周波数でサンプリングしないと、観測できないということだったと思う。
20代の頃だったなあ。

その彼が提唱していたことだ。
当時は人間の知性はそんなものではないということで、批判を浴びたとのこと。
それは誰でもそう思う。
ぼくもそう思った。

今のAIの技術の基礎である「トランスフォーマー」はその単語や文脈から、次に来る単語を推定するという技術。
要はシャノンが言ったことを実行しているのだ。
そうすると、思った以上に人間らしい文章が生成される。

膨大なネット上の文章を学んで、それぞれの単語の意味をベクトル化して、それらを合成して文章の意味を推定して、次に来る単語を推定し、またそれで作られた文章の次に来る単語を推定する、という膨大な計算量でAIは答えを出している。

シャノン氏の頃にはできなかった推定が、今は計算資源と学ぶテキストが豊富に使えるようになって、実現したということだ。

ということは、人間の知性というのも、同じようなことをやっている可能性が大きい。
あまりにも、人間が作ったような文章が生成されるからだ。

脳のメカニズムはまだわかっていない。
それでも、単純な文章の穴埋め問題の理屈だけで、こんなに正確な文章を作るとは驚きだ。

でも、それを予言できたのは人間であり、それは偉大なことだと思う。

そこに人間の価値があるのかもしれない。
改めて、偉大さを知った。

シャノンは人間の価値を示した天才だったのだろう。