大規模言語モデル（LLM）

くわしく

LLMはLarge Language Modelの略です。Googleの機械学習用語集は「非常に多くのパラメータを持つ言語モデル」と説明しています。パラメータとは、学習を通じて調整される無数の「つまみ」のような数値のことです。

文章を作る仕組みは、たとえるなら超高性能な「次の言葉の予想」です。NISTの資料は、LLMが文の中で次に来るトークン（単語や文字のかたまり）を予測して出力をつくると説明しています。この予測は統計的な傾向にもとづくため、正確な文章になることもあれば、事実と異なる文章になることもあります。

総務省の情報通信白書によると、2020年にOpenAIが、データ量・計算量・パラメータ数を増やすほど性能が上がる「スケーリング則」を提唱しました。同白書は、パラメータ数がGPT-2（2019年）の15億からGPT-3（2020年）の1,750億へと拡大した例を挙げ、大規模化と開発競争が進んだと記しています。

クリエイターにとってのポイント

• 出口（成果物）：NISTは、LLMの出力は学習データの統計的な傾向に近づけたものであり、誤った内容や前後で矛盾する内容（いわゆるハルシネーション）が生じうると説明しています。記事・台本・コピーなどに使う場合、事実関係の確認が論点になります。
• 入口（入力）：個人情報保護委員会は、生成AIサービスに入力した個人情報が機械学習に利用されることがあるとして、提供事業者の利用規約やプライバシーポリシーの確認を促しています。
• NISTは、学習データに含まれていた情報をモデルがそのまま出力してしまう「データの記憶（memorization）」の問題も挙げています。

具体的な場面の例

• ライターが、取材メモを要約するためにチャット型AIを使う場面。メモに取材相手の個人情報が含まれているか、要約に元のメモにない記述が混ざっていないかが、確認ポイントになります。