CBOW
CBOW
CBOWは分散仮説とよばれる言語学の主張をCNNで実現したword2vecの手法の一つです。この手法はスキップグラムとは逆に周辺の単語からある単語を予測する手法です。
👉より体系的に学びたい方は「人工知能基礎」（東京大学松尾豊先生監修）へ
クイズ
以下の文章を読み、空欄(ア)~(イ)の組み合わせに最もよく当てはまる選択肢を1つ選べ。
単語埋め込みモデルであるword2vecには、ある単語を与えてその周辺の単語を予測する（ア）という手法と、その逆で周辺の単語を与えてある単語を予測する（イ）という手法がある。
- 正解を見る
- 解説を見るword2vecにはスキップグラム（Skip-gram）とCBOWという2つの手法があります。スキップグラムとは、ある単語を与えて周辺の単語を予測するモデルであり、CBOWはその逆で周辺の単語を与えてある単語を予測するモデルです。fastTextとELMoはいずれもword2vecの後継です。fastTextは単語の表現に文字の情報も含めるモデルで、訓練データに存在しない単語を表現することを可能にしました。ELMoは文章表現を得るモデルで、2層の双方向リカレントネットワーク（Bidirectional RNN、BiRNN）言語モデルの内部状態から計算されます。
（参考: G検定公式テキスト 第2版 第6章 6-4 P236)
（参考：G検定公式テキスト 第1版 P198 - 199）👉G検定の受験対策は約1,000問収録の「G検定実践トレーニング」へ
人工知能基礎講座を提供中
人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか？
人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。
サンプル動画
人工知能基礎講座はこちら↓
AI初学者・ビジネスパーソン向けのG検定対策講座
G検定受験前にトレーニングしたい方向けの問題集「G検定実践トレーニング」も提供中です。
zero to oneの「E資格」向け認定プログラム
日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。
厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円～(支給割合70%の場合)で受講可能です。※2023年弊社調べ
関連ワード
ディープラーニングの手法
畳み込みニューラルネットワーク
- LeNet
- 畳み込み
- サブサンプリング層
- フィルタ
- 最大値プーリング
- ネオコグニトロン
- 平均値プーリング
- グローバルアベレージプーリング
- Random Erasing
- Cutout
- CutMix
- Mixup
- MobileNet
- Neural ArchitectureSearch(NAS)
- Depthwise Separable Convolution
- NASNet
- EfficientNet
- 転移学習
- 局所結合構造
- カーネル幅
- MnasNet
- ストライド
- プーリング
- スキップ結合
- パディング
- 各種データ拡張
- 畳み込みニューラルネットワーク（CNN）の基本形
- 全結合層
- CNN の発展形
深層生成モデル
画像認識分野
- AlexNet
- Inceptionモジュール
- ILSVRC
- GoogLeNet
- Skip Connection
- VGG
- DenseNet
- Wide ResNet
- ResNet
- SENet
- R-CNN
- YOLO
- FPN
- 矩形領域
- SSD
- Faster R-CNN
- Fast R-CNN
- インスタンスセグメンテーション
- FCN(Fully Convolutional Netwok)
- パノプティックセグメンテーション
- セマンティックセグメンテーション
- SegNet
- U-Net
- PSPNet
- Dilation convolution
- Atrous convolution
- Open Pose
- Parts Affinity Fields
- DeepLab
- Mask R-CNN
- 物体識別タスク
- 物体検出タスク
- セグメンテーションタスク
- 姿勢推定タスク
- マルチタスク学習
音声処理と自然言語処理分野
- LSTM
- CEC
- Bidirectional RNN(双方向RNN)
- GRU
- RNN Encoder-Decoder
- Attention
- パルス符号変調器
- BPTT
- スペクトル包絡
- A-D変換
- 高速フーリエ変換
- フォルマント
- メル周波数ケプストラム係数
- 音韻
- 音素
- フォルマント周波数
- 隠れマルコフモデル
- 音声認識エンジン
- メル尺度
- WaveNet
- ワンホットベクトル
- N-gram
- Bag-of-Words(BoW)
- TF-IDF
- 単語埋め込み
- 分散表現
- 局所表現
- word2vec
- CBOW
- スキップグラム
- CTC
- fastText
- ELMo
- Source-Target Attention
- Seq2Seq
- Self-Attention
- Encoder-Decoder Attention
- 位置エンコーディング
- Vision Transformer
- BERT
- GLUE
- 構文解析
- 形態要素解析
- 言語モデル
- Transformer
- データの扱い方
- 自然言語処理における Pre-trained Models
- 深層強化学習の基本的な手法と発展
- 深層強化学習とゲーム AI
- 実システム制御への応用
- GPT
- GPT-3
- GPT-2
- ChatGPT
深層強化学習分野
- DQN
- ダブルDQN
- Rainbow
- デュエリングネットワーク
- ノイジーネットワーク
- モンテカルロ木探索
- アルファ碁
- アルファゼロ
- アルファ碁ゼロ
- OpenAI Five
- マルチエージェント強化学習
- 連続値制御
- 報酬成形
- アルファスター
- 状態表現学習
- オフライン強化学習
- sim2real
- ドメインランダマイゼーション
- 残差強化学習