發簡信
IP屬地：加州
-
理解AI智能體的四大能力
一：感知能力 階段1、單純的大模型是依靠海量的文本數據訓練出啦的，基礎的感知方式就是接收用戶輸入的文本 階段2、間接多模態感知：利用OCR這種中...
-
知識蒸餾 Distilling the knowledge1 、什么是知識？ 通常認為，知識是模型學習到的參數（比如卷積的權重） 2 、什么是蒸餾？ 將知識從大模型（教師模型）轉移到更適合部署的小模型（...
-
模型壓縮 4 大方法概述模型壓縮的主要目標是將一個龐大而復雜的預訓練模型轉化為一個精簡的小模型,使其在保持較高性能的前提下,顯著減少模型的存儲空間和計算量。一方面考慮將...
-
敏捷軟件開發--原則
1. 單一職責原則（Single Responsibility Principle, SRP） 每個類應該只有一個職責，且該職責應該完全封裝在類...
-
人人都能懂的Transformer架構Transformer架構用做樣本數據的訓練以及訓練預輸出文字的預測，在訓練的時候輸入一些樣本的數據，然后把這些數據第一步轉換成對應的數字(In...
-
Transformer架構簡單分析下Transformer架構，即大語言模型底層基于什么樣的架構訓練出來的 在進行訓練之前，首選需要進行3個步驟 1、把文字數字化 2、把...
-
大模型訓練關鍵兩步大模型的核心原理是基于深度學習，通過多層神經網絡進行數據建模和特征提取。目前大部分的大模型采用的是Transformer架構，它采用了自注意力機...
-
Fine-tuning
上一篇介紹了RAG(檢索增強生成)，這篇文章介紹LLM進行特定領域的知識或專有數據需要進行特定的另一種方式Fine-tuning Fine-tu...
-
RAG（檢索增強生成）上一篇文章介紹了LLM，LLM的知識僅限于其所訓練的數據。想讓LLM了解特定領域的知識或專有數據需要進行特定的處理，目前有三種方式： 1、RAG...