Now Loading...

Now Loading...

生成AIの性能評価

生成AIの利活用 動向 生成AIの性能評価

 生成系AIの性能評価の手法は様々なものがあります。大まかに人間が行う性能評価とベンチマークで行う評価、自動で行う評価などがあります。

 

 人間が行う評価とはモデルが人間の求める挙動を示すかを人間が直接評価します。文法などを評価したり、同じ入力に対して2つの出力を表示し、人間が良い方を選択するABテストなどがあります。

 ベンチマークでの性能評価は様々なものがありますが、質疑応答に対して性能を評価するものや機械翻訳など特定のタスクであったり、複数のタスクを含むような評価セットがあります。

 自動評価指標はモデルが生成した時に自動的に参照した元々のテキストと一致するかを求めることで評価を行うもので様々なものがあります。

👉より体系的に学びたい方は「人工知能基礎」(東京大学松尾豊先生監修)へ

生成AIの性能評価の説明として正しいものを選べ

  • 正解を見る
  • 解説を見る
    性能評価には複数の手法やベンチマークを用いて行われることが多く、それぞれの評価手法で評価する項目やタスクが異なるため、一つの評価で良い値でも他の評価では悪い値が出る可能性があり、必ずしも一貫しているとは言えない。また、SQuADは質疑応答テストを含むベンチマーク性能指標の一つである。

    👉G検定の受験対策は約1,000問収録の「G検定実践トレーニング」へ

人工知能基礎講座を提供中

人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか? 人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。

サンプル動画

人工知能基礎講座はこちら↓ zero to one G検定 人工知能基礎 jdla

AI初学者・ビジネスパーソン向けのG検定対策講座

G検定受験前にトレーニングしたい方向けの問題集「G検定実践トレーニング」も提供中です。 zero to one E資格 jdla

zero to oneの「E資格」向け認定プログラム

日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。 厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円~(支給割合70%の場合)で受講可能です。※2023年弊社調べ zero to one E資格 jdla