GPT
GPT
GPTとはGenerative Pretrained Transformerの略であり、OpenAIが開発した1.1億パラメータを使用している言語モデルです。
後継のGPT-2はあまりにも自然な文章を生成できるため、開発陣が危険すぎるとし論文の公開を延期しました。現在はGPT-3が公開されており、1750億ものパラメータを持ちます。
クイズ
OpenAIによって開発されたGPT(Generative Pretrained Transformer)について述べた文章のうち、最も不適切な選択肢を一つ選べ。
人工知能基礎講座を提供中
人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか？
人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。
サンプル動画
人工知能基礎講座はこちら↓
AI初学者・ビジネスパーソン向けのG検定対策講座
G検定受験前にトレーニングしたい方向けの問題集「G検定実践トレーニング」も提供中です。
zero to oneの「E資格」向け認定プログラム
日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。
厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円～(支給割合70%の場合)で受講可能です。※2023年弊社調べ
関連ワード
ディープラーニングの手法
畳み込みニューラルネットワーク
- LeNet
- 畳み込み
- サブサンプリング層
- フィルタ
- 最大値プーリング
- ネオコグニトロン
- 平均値プーリング
- グローバルアベレージプーリング
- Random Erasing
- Cutout
- CutMix
- Mixup
- MobileNet
- Neural ArchitectureSearch(NAS)
- Depthwise Separable Convolution
- NASNet
- EfficientNet
- 転移学習
- 局所結合構造
- MnasNet
- カーネル幅
- ストライド
- プーリング
- スキップ結合
- パディング
- 各種データ拡張
- 畳み込みニューラルネットワーク（CNN）の基本形
- 全結合層
- CNN の発展形
深層生成モデル
画像認識分野
- AlexNet
- Inceptionモジュール
- ILSVRC
- GoogLeNet
- Skip Connection
- VGG
- DenseNet
- Wide ResNet
- ResNet
- SENet
- R-CNN
- FPN
- YOLO
- 矩形領域
- SSD
- Faster R-CNN
- Fast R-CNN
- インスタンスセグメンテーション
- FCN(Fully Convolutional Netwok)
- パノプティックセグメンテーション
- セマンティックセグメンテーション
- SegNet
- U-Net
- PSPNet
- Dilation convolution
- Atrous convolution
- Open Pose
- Parts Affinity Fields
- DeepLab
- Mask R-CNN
- 物体識別タスク
- 物体検出タスク
- セグメンテーションタスク
- 姿勢推定タスク
- マルチタスク学習
音声処理と自然言語処理分野
- LSTM
- CEC
- Bidirectional RNN(双方向RNN)
- GRU
- RNN Encoder-Decoder
- Attention
- パルス符号変調器
- BPTT
- スペクトル包絡
- A-D変換
- 高速フーリエ変換
- フォルマント
- メル周波数ケプストラム係数
- 音韻
- フォルマント周波数
- 音素
- 隠れマルコフモデル
- 音声認識エンジン
- メル尺度
- WaveNet
- N-gram
- ワンホットベクトル
- Bag-of-Words(BoW)
- TF-IDF
- 単語埋め込み
- 分散表現
- 局所表現
- word2vec
- CBOW
- スキップグラム
- CTC
- fastText
- ELMo
- Source-Target Attention
- Seq2Seq
- Self-Attention
- Encoder-Decoder Attention
- 位置エンコーディング
- GPT
- GPT-2
- GPT-3
- Vision Transformer
- BERT
- GLUE
- 構文解析
- 形態要素解析
- 言語モデル
- Transformer
- データの扱い方
- 自然言語処理における Pre-trained Models
- 深層強化学習の基本的な手法と発展
- 深層強化学習とゲーム AI
- 実システム制御への応用
深層強化学習分野
- DQN
- ダブルDQN
- Rainbow
- デュエリングネットワーク
- ノイジーネットワーク
- モンテカルロ木探索
- アルファ碁
- アルファゼロ
- アルファ碁ゼロ
- OpenAI Five
- マルチエージェント強化学習
- 連続値制御
- 報酬成形
- アルファスター
- 状態表現学習
- オフライン強化学習
- sim2real
- ドメインランダマイゼーション
- 残差強化学習
モデルの解釈性とその対応
モデルの軽量化
