一：感知能力 階段1、單純的大模型是依靠海量的文本數(shù)據(jù)訓(xùn)練出啦的，基礎(chǔ)的感知方式就是接收用戶輸入的文本 階段2、間接多模態(tài)感知：利用OCR這種中間工具，把圖片、PDF等轉(zhuǎn)化為...
發(fā)簡(jiǎn)信
IP屬地：加州
-
理解AI智能體的四大能力
-
知識(shí)蒸餾 Distilling the knowledge1 、什么是知識(shí)？ 通常認(rèn)為，知識(shí)是模型學(xué)習(xí)到的參數(shù)（比如卷積的權(quán)重） 2 、什么是蒸餾？ 將知識(shí)從大模型（教師模型）轉(zhuǎn)移到更適合部署的小模型（學(xué)生模型） Distillin...
-
模型壓縮 4 大方法概述模型壓縮的主要目標(biāo)是將一個(gè)龐大而復(fù)雜的預(yù)訓(xùn)練模型轉(zhuǎn)化為一個(gè)精簡(jiǎn)的小模型,使其在保持較高性能的前提下,顯著減少模型的存儲(chǔ)空間和計(jì)算量。一方面考慮將模型的存儲(chǔ)空間從 GB 甚至是...
-
敏捷軟件開(kāi)發(fā)--原則
1. 單一職責(zé)原則（Single Responsibility Principle, SRP） 每個(gè)類(lèi)應(yīng)該只有一個(gè)職責(zé)，且該職責(zé)應(yīng)該完全封裝在類(lèi)中。 解釋?zhuān)?一個(gè)類(lèi)應(yīng)該只有一...
-
人人都能懂的Transformer架構(gòu)Transformer架構(gòu)用做樣本數(shù)據(jù)的訓(xùn)練以及訓(xùn)練預(yù)輸出文字的預(yù)測(cè)，在訓(xùn)練的時(shí)候輸入一些樣本的數(shù)據(jù)，然后把這些數(shù)據(jù)第一步轉(zhuǎn)換成對(duì)應(yīng)的數(shù)字(Input Embedding)，...
-
Transformer架構(gòu)簡(jiǎn)單分析下Transformer架構(gòu)，即大語(yǔ)言模型底層基于什么樣的架構(gòu)訓(xùn)練出來(lái)的 在進(jìn)行訓(xùn)練之前，首選需要進(jìn)行3個(gè)步驟 1、把文字?jǐn)?shù)字化 2、把數(shù)字向量化 Word Embe...
-
大模型訓(xùn)練關(guān)鍵兩步大模型的核心原理是基于深度學(xué)習(xí)，通過(guò)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)建模和特征提取。目前大部分的大模型采用的是Transformer架構(gòu)，它采用了自注意力機(jī)制，能夠處理長(zhǎng)距離依賴關(guān)系，從...
-
Fine-tuning
上一篇介紹了RAG(檢索增強(qiáng)生成)，這篇文章介紹LLM進(jìn)行特定領(lǐng)域的知識(shí)或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的另一種方式Fine-tuning Fine-tuning，簡(jiǎn)單來(lái)說(shuō)就是在預(yù)先訓(xùn)...
-
RAG（檢索增強(qiáng)生成）上一篇文章介紹了LLM，LLM的知識(shí)僅限于其所訓(xùn)練的數(shù)據(jù)。想讓LLM了解特定領(lǐng)域的知識(shí)或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的處理，目前有三種方式： 1、RAG 2、使用私有數(shù)據(jù)對(duì)LLM進(jìn)行...
-
-
二叉樹(shù)路徑總和
///路徑總和I 路徑總和leetcode鏈接[https://leetcode.cn/problems/path-sum/] /* 1.確定遞歸函數(shù)的參數(shù)和返回類(lèi)型 參數(shù)：...
-
二叉樹(shù)的所有路徑
257. 二叉樹(shù)的所有路徑[https://leetcode.cn/problems/binary-tree-paths/] 給你一個(gè)二叉樹(shù)的根節(jié)點(diǎn)root，按任意順序，返回...
-
對(duì)稱(chēng)二叉樹(shù)
判斷二叉樹(shù)是否對(duì)稱(chēng)，比較的可不是左右節(jié)點(diǎn)； 判斷二叉樹(shù)是否對(duì)稱(chēng)，比較的是根節(jié)點(diǎn)的左子樹(shù)和右子樹(shù)是不是相互反轉(zhuǎn)的； 如何比較呢？ 要比較的是兩顆子樹(shù)的里側(cè)和外側(cè)的元素是否相等；...
-
二叉樹(shù)層序遍歷
Leedcode 102[https://leetcode.cn/problems/binary-tree-level-order-traversal/description...
-
二叉樹(shù)前中后序遍歷
import java.util.*; /** * 二叉樹(shù)定義 * */ class TreeNode{ int val; TreeNode left; TreeNo...
-
逆波蘭表達(dá)式
/* 力扣題號(hào)：150逆波蘭表達(dá)式求值 逆波蘭表達(dá)式即后綴表達(dá)式 【題目描述】： 給出逆波蘭表達(dá)式，求得對(duì)應(yīng)的值 【示例一】 輸入：["5","2","-","4","*"]...
-
Podfile,Podfile.lock一、Podfile.lock 文件的作用 Podfile.lock 用于記錄最后一次更新Pods時(shí)，記錄所有的第三方框架的版本號(hào)。 Podfile.lock 文件主要包括： ...
-
內(nèi)存對(duì)齊
在跨平臺(tái)的編程語(yǔ)言中存在內(nèi)存對(duì)齊，Java、Python都是一樣的 為什么會(huì)有內(nèi)存對(duì)齊： 1、平臺(tái)原因：不是所有的硬件平臺(tái)都能訪問(wèn)任意內(nèi)存地址上的數(shù)據(jù)，某些平臺(tái)只能在一些地址...