Multi-Head Attentionは、Transformerという自然言語処理モデルの重要な構成要素の一つです。

Transformerにおいては、従来の手法で用いられていた畳み込みニューラルネットワークやリカレントニューラルネットワークを完全に排除し、Attention機構という仕組みに基づいて予測を行っています。

Transformerに用いられているAttention機構はMulti-Head Attentionとも呼ばれ、Scaled Dot-Product Attentionを並列に複数用いて表現能力を高める構造になっています。Scaled Dot-Product Attention内部では、Attention機構のより詳細な計算処理が行われています。

Multi-Head Attentionでは各ヘッドが異なるパラメータを持つため、異なる特徴や関係性を捉えることが可能であり、例えば文の異なる部分に焦点を当てたり、異なる意味の関係を捉えたりすることができます。