2026年でAIの学習データが底をつく？サム・アルトマン「巨大モデルへ突き進む時代は終わった」

AI学習に使用できる高品質なテキストデータが2026年までに枯渇すると予測されている「2026年問題」。このデータ不足の解消策の1つに、別のAIが生成したデータを学習に利用する「データ合成」という方法がある。

AI開発においては遅れを取っている日本だが、この新たなフェイズにおいて、勝ち筋が見えるという。筆者が注目する自動運転AIの事例を紹介しよう。
※本稿は、国立情報学研究所・情報社会相関研究系教授の佐藤一郎『2030 次世代AI 日本の勝ち筋』（日経BP）の一部を抜粋・編集したものです。

●　AIの学習データは 底をついてしまう

AIの著名研究者のひとり、スチュアート・ラッセル氏（米カリフォルニア大学バークレー校教授）が、2023年7月の国際的標準化組織ITUのAI関連イベントで「AIの学習データが底をつく」と発言して話題を集めました。その背景には、AI業界で当時指摘されていた「2026年問題」があります。

「2026年問題」とは、言語生成AIの学習モデルの巨大化が進むと、そのモデルのための学習用データとして利用できる、一定の品質以上の文章データ、例えばニュース記事、論文、ウィキペディアなどは2026年で足りなくなるというものです。

オープンAIのサム・アルトマンCEOは2023年4月、米MITのイベントにおいて「巨大モデルへと突き進んでいく時代は終わったと思う。我々は別の方法で改善に取り組んでいる」と述べていますが、これも一定品質以上の学習用データが不足することが念頭にあったといわれています。

●　別の生成AIによる出力が 混ざるのは避けられない

現在、学習用データ不足の解消策がいくつか検討され、実行に移されています。

そのひとつは、学習モデルの構造を見直し、モデルをコンパクト化することです。

言語生成AIの学習モデルは冗長部分があるので、性能を維持しながら学習モデルの規模を圧縮することで、学習モデルを構築するための学習用データを減らせるという考え方です。

もうひとつ有力な策は、従来のウェブや各種コンテンツデータベースから集めたデータに加えて、別の言語生成AIが生成したデータも学習に利用する方法で、データ合成と呼ばれています。特に英語以外の特定言語を重視した言語生成AIの構築では、一定の品質以上の文章データの確保が難しいとされています。

実際、日本の言語生成AI開発プロジェクトには、従来の強化学習による学習用データのかさ上げに加えて、生成AIで作成した文章を学習用データとして付加しているものもあります。

これはAIが別の生成AIの出力を学習している状況であり、その別の生成AIが間違った出力を行うと、それを学習したAIもその間違いを再生産してしまう可能性があります。しかし、現在のAI開発において、合成データの活用は避けられなくなっています。

というのは、ウェブ上には生成AIが作り出した文章や画像、動画が増えてきており、生成AIがウェブ上のコンテンツを学習用データとして利用している限り、結果的に「別の生成AIが作り出した文章や画像、動画」を学習することは不可避だからです。

ソース
https://news.yahoo.co.jp/articles/7222d76

AIが作った学習データを学習したら劣化してくるって事は無いんかな

つか既存の学習データが無いと進化しないなら
結局AIが知能化する事はない気がする