人工智能技術特點-大規(guī)模人工智能模型

技術發(fā)展方面，隨著謂詞推理、專家系統(tǒng)、知識樹和向量機學習等傳 統(tǒng)技術的發(fā)展日趨放緩，促使以聯(lián)結主義和概率統(tǒng)計等理論為基礎的深度 學習加速發(fā)展，邁入了以人工神經(jīng)網(wǎng)絡為基礎、以大模型為典型應用的新 發(fā)展階段。

在模型方面，大規(guī)模人工智能模型逐步成為業(yè)界主流。以生成式人 工智能為例，具備數(shù)百億參數(shù)的模型已非罕見，并隨著模型規(guī)模增長產生 了接近人類的“高級”能力，使人們相信通用人工智能或將到來。 Stable Diffusion 、Midjourney等視覺生成模型具有類似人類的視覺創(chuàng)作能力， ChatGPT等文本生成模型具有高度近似人類的語言推理和規(guī)劃等能力。有 研究認為，這些能力是隨著模型參數(shù)達到數(shù)百億級別后逐漸產生的，雖其技術原理尚未明晰，但進一步推動了模型越來越大的技術趨勢。

在訓練方面，有人類參與的指令微調技術是近年來人工智能的另一 大技術特點。指令微調主要有三種實現(xiàn)形式，以預訓練語言模型為例：一 是引入人工撰寫的大量對話數(shù)據(jù)對模型進行微調訓練；二是人工對微調后 模型面向同一提示詞生成的多個備選答案進行價值排序，訓練價值評分模 型；三是在價值評分模型的獎勵信號下，微調模型進行強化學習訓練，不 斷改進模型的表現(xiàn)。通過該部分技術，可將在海量語料庫上訓練的模型與 復雜的人類價值觀實現(xiàn)對齊，期望人工智能可以生成正確、有用、無害的 內容。