Transformerは2017年に発表された、高精度で、高速な学習が可能な自然言語処理モデルです。

それまで主流だったリカレントニューラルネットワークや畳み込みニューラルネットワークを用いず、Attentionという、データのどこに注目すべきかを計算する仕組みを用いています。これにより、従来の自然言語処理モデルにおける長期記憶や並列化の問題をクリアした上、学習速度の高速化をも実現しました。

Transformerは自然言語処理の最先端を支えるモデルですが、様々な生成AIの基礎にもなっています。