考えたこと2 | 日本語LLM

2024.09.05 Thursday

日本語LLM

今のAIは「大規模言語モデル」というのを学習して、言葉で質問されたことに対して、言葉で返答できるようになっている。
LLMというのは「Large Language Models」の略。

現在メジャーなAIであるChatGPTの「GPT」は「Generative Pre-trained Transformer」の略で、「GPT」の説明をネットで聞くと、

「トランスフォーマーアーキテクチャ上に構築されたニューラルネットワークベースの言語予測モデルです。プロンプトと呼ばれる自然言語クエリを分析し、言語の理解に基づいて最適な応答を予測します。」

ニューラルネットワークというのは、脳の神経を模したネットワークのことで、こちらも詳しく聞くと、

「人間の脳に似た方法で意思決定を行う機械学習プログラムまたはモデルのことで、生物学的なニューロンが連携して現象を特定し、選択肢を検討し、結論を導き出す方法を模倣したプロセスを使用します。」

という回答。

よくわからないが、人間が考えるプロセスを真似したから、人間みたいに答えられるということだろう。

LLMはいろんなところが開発しているが、Googleの開発した会話型のLaMDAという会話型のLLMは1.56兆語のサイズがあるらしい。
1.56兆語のテキストがどれだけの大きさになるのかはわからないが、かなり大きいだろう。

それを学習させて、的確な回答ができるAIを作るには、ChatGPT3の場合、

「GPT-3 は、1750 億を超えるパラメーターまたはウェイトを使用してトレーニングされました。エンジニアは、ウェブテキスト、Common Crawl、書籍、Wikipedia などのソースから取得した 45 テラバイトを超えるデータでトレーニングしました。」

ということらしいから、少なくとも45テラバイトのデーターが必要だった。

それをいろんな人が使って、現実的な時間で返答をするためには、すごい演算装置（CPU）の速さと能力が必要になる。
結局、人間の脳みたいな仕組みを作り、記憶されている言語を学習しているから、人と会話ができるレベルまで来たということだ。

これは言語だけだが、写真や動画、音楽などは、それらをテキスト化して、同じような仕組みを使うのだろう。
ネコの写真を見せて、それがネコだとわかるためには1000万枚の画像が必要だった、ということだから、膨大な学習が必要になる。
人間はそれを日常生活を送りながら、きっと同じようにやっているのだろう。

寝ている間も脳の使用カロリーは変わらないということだから、脳は一生働きどうしだ。

でも、アメリカで開発されたChatGPTなどが日本語で使えているというのには、なんとなく不思議だ。
言語の構造が違うのに、同じLLMを使えるというのは翻訳の部分は別なのだろう。
質問を英語にして、それで回答を生成し、それを日本語に翻訳して答えているということだろう。

でも、最近は日本語LLMもできてきたらしい。
その方が自然な日本語で回答できる。
当然、日本の法律などは日本語の方が正確だし、行政手続きのAI化をしようとすると、日本語LLMを使ったほうがいいだろう。

この分野はこれからどんどん進む。

その先に何が起こるのかはまだ予想がつかないが…。