Attention
Attention
Attentionはデータの中から予測に役立つ箇所を重み付けして注目する方法で、CNNやRNNの様々なタスクに利用可能です。
👉より体系的に学びたい方は「人工知能基礎」（東京大学松尾豊先生監修）へ
クイズ
以下の文章を読み、空欄(ア)に最もよく当てはまる選択肢を1つ選べ。
(ア)は、系列データであれば予測のためにデータのどこに注目すればいいかを重みづけしていく機構である。
- 正解を見る
- 解説を見るAttentionはデータの中から予測に役立つ箇所を重み付けして注目する方法で、CNNやRNNの様々なタスクに利用可能です。
ここでEncoderの出力となる各時刻の隠れ状態には、その時刻に入力された時系列データの要素の特徴が多く含まれていると考えることができます。したがって、各時刻の隠れ状態は、その時刻にEncoderに入力された要素とみなすことができます。ここでこれらの隠れ状態に対する重要度を求めることでAttentionは「過去の入力のどの時点がどれくらいの影響を持っているか」を直接的に求めていると考えられます。
（参考: G検定公式テキスト 第2版 第6章 6-4 P244-246)
（参考：G検定公式テキスト 第1版 P173）👉G検定の受験対策は約1,000問収録の「G検定実践トレーニング」へ
人工知能基礎講座を提供中
人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか？
人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。
サンプル動画
人工知能基礎講座はこちら↓
AI初学者・ビジネスパーソン向けのG検定対策講座
G検定受験前にトレーニングしたい方向けの問題集「G検定実践トレーニング」も提供中です。
zero to oneの「E資格」向け認定プログラム
日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。
厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円～(支給割合70%の場合)で受講可能です。※2023年弊社調べ
関連ワード
ディープラーニングの手法
畳み込みニューラルネットワーク
- LeNet
- 畳み込み
- サブサンプリング層
- フィルタ
- 最大値プーリング
- ネオコグニトロン
- 平均値プーリング
- グローバルアベレージプーリング
- Random Erasing
- Cutout
- CutMix
- Mixup
- MobileNet
- Neural ArchitectureSearch(NAS)
- Depthwise Separable Convolution
- NASNet
- EfficientNet
- 転移学習
- 局所結合構造
- カーネル幅
- MnasNet
- ストライド
- プーリング
- スキップ結合
- パディング
- 各種データ拡張
- 畳み込みニューラルネットワーク（CNN）の基本形
- 全結合層
- CNN の発展形
深層生成モデル
画像認識分野
- AlexNet
- Inceptionモジュール
- ILSVRC
- GoogLeNet
- Skip Connection
- VGG
- DenseNet
- Wide ResNet
- ResNet
- SENet
- R-CNN
- YOLO
- FPN
- 矩形領域
- SSD
- Faster R-CNN
- Fast R-CNN
- インスタンスセグメンテーション
- FCN(Fully Convolutional Netwok)
- パノプティックセグメンテーション
- セマンティックセグメンテーション
- SegNet
- U-Net
- PSPNet
- Dilation convolution
- Atrous convolution
- Open Pose
- Parts Affinity Fields
- DeepLab
- Mask R-CNN
- 物体識別タスク
- 物体検出タスク
- セグメンテーションタスク
- 姿勢推定タスク
- マルチタスク学習
音声処理と自然言語処理分野
- LSTM
- CEC
- Bidirectional RNN(双方向RNN)
- GRU
- RNN Encoder-Decoder
- Attention
- パルス符号変調器
- BPTT
- スペクトル包絡
- A-D変換
- 高速フーリエ変換
- フォルマント
- メル周波数ケプストラム係数
- 音韻
- 音素
- フォルマント周波数
- 隠れマルコフモデル
- 音声認識エンジン
- メル尺度
- WaveNet
- ワンホットベクトル
- N-gram
- Bag-of-Words(BoW)
- TF-IDF
- 単語埋め込み
- 分散表現
- 局所表現
- word2vec
- CBOW
- スキップグラム
- CTC
- fastText
- ELMo
- Source-Target Attention
- Seq2Seq
- Self-Attention
- Encoder-Decoder Attention
- 位置エンコーディング
- Vision Transformer
- BERT
- GLUE
- 構文解析
- 形態要素解析
- 言語モデル
- Transformer
- データの扱い方
- 自然言語処理における Pre-trained Models
- 深層強化学習の基本的な手法と発展
- 深層強化学習とゲーム AI
- 実システム制御への応用
- GPT
- GPT-3
- GPT-2
- ChatGPT
深層強化学習分野
- DQN
- ダブルDQN
- Rainbow
- デュエリングネットワーク
- ノイジーネットワーク
- モンテカルロ木探索
- アルファ碁
- アルファゼロ
- アルファ碁ゼロ
- OpenAI Five
- マルチエージェント強化学習
- 連続値制御
- 報酬成形
- アルファスター
- 状態表現学習
- オフライン強化学習
- sim2real
- ドメインランダマイゼーション
- 残差強化学習