在人工智能(AI)的領域中,當我們提到“XXB”(例如6B、34B)這樣的術語時,它通常指的是模型的參數量,其中“B”代表“Billion”,即“十億”。因此,6B表示模型有6十億(即6億)個參數,而34B表示模型有34十億(即34億)個參數。
Transformer:transformer 模型是一種神經網絡架構,可以將一種類型的輸入轉換為另一種類型的輸出。它可以用于生成文本、圖像和機器人指令,并且可以對不同數據模式之間的關系進行建模。該模型利用注意力的 AI 概念來強調相關詞的權重,可以處理更長的序列,并且可以更有效地擴展。Transformer 架構由協同工作的編碼器和解碼器組成,注意力機制讓轉換器根據其他單詞或標記的估計重要性對單詞的含義進行編碼。
LLM(大語言模型):大型語言模型(LLM)是基于大量數據進行預訓練的超大型深度學習模型。底層轉換器是一組神經網絡,這些神經網絡由具有自注意力功能的編碼器和解碼器組成。編碼器和解碼器從一系列文本中提取含義,并理解其中的單詞和短語之間的關系。
AIGC(人工智能生成內容):AIGC(Artificial Intelligence Generated Content / AI-Generated Content)中文譯為人工智能生成內容,一般認為是相對于PCG(專業生成內容)、UCG(用戶生成內容)而提出的概念。AIGC狹義概念是利用AI自動生成內容的生產方式。廣義的AIGC可以看作是像人類一樣具備生成創造能力的AI技術,即生成式AI,它可以基于訓練數據和生成算法模型,自主生成創造新的文本、圖像、音樂、視頻、3D交互內容等各種形式的內容和數據,以及包括開啟科學新發現、創造新的價值和意義等。
Fine-tuning (微調):微調(Fine-tuning)是一種常用的機器學習方法,主要用于對已經預訓練過的模型進行調整,使其適應新的任務。這些預訓練模型通常是在大規模的數據集(例如整個互聯網的文本)上進行訓練,從而學習到數據的基本模式。隨后,這些模型可以通過在較小且特定的數據集上進行進一步訓練,即微調,來適應特定的任務。
Token:根據事先定義好的編碼算法生成,一個token可以是一個單詞,也可以是字符塊。
Agent:人工智能代理,使用語言模型來選擇要采取的一系列操作,Agent適用于具有記憶和對話功能的更復雜場景。解鎖 LLM 的能力限制。特殊性在于它可以使用各種外部工具來完成我們給定的操作。
Prompt :提示 , 提示是提供給 AI 系統以指導其響應或輸出的一段文本。例如,當您向 AI 聊天機器人提問或給它一個要寫的主題時,這就是提示。
Natural Language Processing (NLP) —— 自然語言處理: 教計算機理解和使用人類語言