GPT模型

Transformer是GPT和BERT的前身。 Google和OpenAI在自然語言處理技術上的優化，都是基於這個模型。 BERT和GPT是近年來自然語言處理領域中非常重要的模型，兩者之間的差別在於BERT是雙向預訓練語言模型+fine-tuning（微調），而GPT是自回歸預訓練語言模型+Prompting（指示/提示）。預訓練語言模型和自我監督下預訓練語言模型，然後針對特定的下游任務對其進行微調。 GPT 使用了單向 Transformer 解碼器，而 Burt 使用了雙向 Transformer 編碼器。 BERT和GPT兩者都是採用「預訓練+微調」的範式，並且下游任務依然是分類、匹配、序列標註等經典的NLP任務形式，此範式奠定了自然語言處理技術基礎。