データセットの質
モデルの性能向上にはデータセットのサイズの増加が重要であることがスケーリング則によりわかっています。しかし、全てのデータが性能向上につながるとは限りません。データの量と同時にデータの質も重要になってきます。質の悪いデータはモデルの性能を下げる可能性があります。
不正確または誤った情報を含むデータは、モデルが誤ったパターンを学習してしまい、その結果として不正確な予測や推論を行う原因となります。また、バイアスのあるデータは、モデルが特定の群集や事象に対して偏った見解を持つようになる可能性があります。最後に、ノイズが多いデータは、モデルが重要な情報と無関係な情報を区別する能力を低下させます。
よってこのようなデータを取り除いて学習データとする必要があります。また、上記のデータのように問題を起こすデータ以外にも性能に大きく影響を与えるデータとそうでないデータがあります。フィルタリングの工夫やデータの刈り込み(Data Pruning)により質の高いデータを用いることでスケーリング則を超えて性能が向上したという結果もあります。
![](https://resources.zero2one.jp/2024/04/2dc32e0de78a86db13e1984e95b157f9-1024x576.jpeg)
👉より体系的に学びたい方は「人工知能基礎」(東京大学松尾豊先生監修)へ
データセットの質に関して正しいものを選べ
人工知能基礎講座を提供中
人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか?
人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。
サンプル動画
AI初学者・ビジネスパーソン向けのG検定対策講座
zero to oneの「E資格」向け認定プログラム
日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。
厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円~(支給割合70%の場合)で受講可能です。※2023年弊社調べ
![zero to one E資格 jdla](https://resources.zero2one.jp/2023/02/e_shikaku-jdla_zero2one_v1.jpg)