モデルの性能向上にはデータセットのサイズの増加が重要であることがスケーリング則によりわかっています。しかし、全てのデータが性能向上につながるとは限りません。データの量と同時にデータの質も重要になってきます。質の悪いデータはモデルの性能を下げる可能性があります。

　不正確または誤った情報を含むデータは、モデルが誤ったパターンを学習してしまい、その結果として不正確な予測や推論を行う原因となります。また、バイアスのあるデータは、モデルが特定の群集や事象に対して偏った見解を持つようになる可能性があります。最後に、ノイズが多いデータは、モデルが重要な情報と無関係な情報を区別する能力を低下させます。

　よってこのようなデータを取り除いて学習データとする必要があります。また、上記のデータのように問題を起こすデータ以外にも性能に大きく影響を与えるデータとそうでないデータがあります。フィルタリングの工夫やデータの刈り込み(Data Pruning)により質の高いデータを用いることでスケーリング則を超えて性能が向上したという結果もあります。