生成系AIが変えるR&D法則

生成系AIのインパクトは、様々なところで、語られているが、R&Dのリスクとリターンのあり方をも大きく変えることを、岡野原氏「大規模言語モデルは新たな知識か」を読んで知った。それは言語モデルのべき乗則の発見である。すなわち、①訓練データ量、②利用するモデルのパラメータ数(モデルサイズ)、③投入計算量の三つの要因と、言語モデルの検証データの予測誤差(クロスエントロピー損失)の間にべき乗則が成り立つ、というのである。そうであれば、更にここから、第一に、投資対効果が前もって予測できる、第二に、大きなモデルほど汎化し学習効率が改善する、ということであり、これまでのR&Dはリスクがあり、投資対効果が不明だという常識を覆す。