ChatGPT的底層技術叫大型語言模型(LLM:largelanguagemodel),這種模型骨子裏試圖掌握文字接龍般預測下一個字的能力:給定一段前文,預測下一個字或建立下一個字所形成的機率分布。譬如說,如果前文是「中國大陸最長的河流是什麼?」,它最有可能的下一個字是「長」;如果前文是「中國大陸最長的河流是什麼?長」,則它最有可能的下一個字是「江」。訓練LLM所需的語料無需標註,所以很容易取得。假設前文的長度是一百字,一篇5000字文章可作成約4950組訓練語料:第一組以1-100字為輸入,第101字為輸出;第一組以2-101字為輸入,第102字為輸出,以此類推。