序
本文主要研究一下langchain4j的核心RAG APIs
核心RAG APIs
langchain4j提供了一套豐富的API來構建自定義的RAG（檢索增強生成）pipelines，從簡單的到高級的都有涵蓋。
Document
Document類表示整個文檔，例如單個 PDF 文件或網頁。目前，Document 只能表示文本信息，但未來的更新將使其能夠支持圖像和表格。
Metadata
每個文檔都有Metadata，例如其名稱、來源、最后更新日期、所有者或其他相關信息。Metadata以鍵值對的形式存儲，其中鍵為字符串類型，值可以是以下類型之一：字符串、整數、長整數、浮點數、雙精度浮點數。Metadata具有以下用途：
- 當將文檔內容包含在對LLM（大型語言模型）的提示中時，也可以包含元數據條目，為LLM提供額外的信息以考慮。例如，提供文檔名稱和來源可以幫助提高LLM對內容的理解。
- 在搜索相關內容以包含在提示中時，可以通過元數據條目進行過濾。例如，可以將語義搜索縮小到僅屬于特定所有者的文檔。
- 當文檔的來源更新時（例如，特定頁面的文檔），可以通過其元數據條目（例如，"id"、"來源"等）輕松定位相應的文檔，并在EmbeddingStore中同步更新它以保持同步。
DocumentLoader
langchain4j提供了FileSystemDocumentLoader、ClassPathDocumentLoader、UrlDocumentLoader、AmazonS3DocumentLoader(langchain4j-document-loader-amazon-s3)、AzureBlobStorageDocumentLoader(langchain4j-document-loader-azure-storage-blob)、GitHubDocumentLoader(langchain4j-document-loader-github)、GoogleCloudStorageDocumentLoader(langchain4j-document-loader-google-cloud-storage)、SeleniumDocumentLoader(langchain4j-document-loader-selenium)、TencentCosDocumentLoader(langchain4j-document-loader-tencent-cos)
DocumentParser
文檔有諸如PDF, DOC, TXT等類型，需要對應的DocumentParser去解析，langchain4j提供了TextDocumentParser、ApachePdfBoxDocumentParser(langchain4j-document-parser-apache-pdfbox)、ApachePoiDocumentParser(langchain4j-document-parser-apache-poi，可以解析MS Office文件，諸如DOC, DOCX, PPT, PPTX, XLS, XLSX)、ApacheTikaDocumentParser(langchain4j-document-parser-apache-tika，可以自動檢測和解析大部分文件格式)
DocumentTransformer
DocumentTransformer實現可以執行多種文檔轉換任務：
清理（Cleaning）：
清理涉及從文檔文本中移除不必要的噪音，這可以節省token并減少干擾。過濾（Filtering）：
過濾可以完全排除特定文檔，從而避免這些文檔參與搜索。豐富（Enriching）：
可以向文檔中添加附加信息，以增強搜索結果。總結（Summarizing）：
文檔可以被總結，其簡短摘要可以存儲在元數據中，并稍后包含在每個TextSegment 中，以改善搜索結果。
也可以添加、修改或刪除元數據條目。目前唯一提供的開箱即用實現是HtmlToTextDocumentTransformer，它位于langchain4j-document-transformer-jsoup模塊中，可以從原始HTML中提取所需文本內容和元數據條目
TextSegment
一旦文檔加載完成，接下來就是將它們分割（分塊）成更小的片段（部分）。LangChain4j 的領域模型中包含一個TextSegment 類，該類表示文檔的一個片段。正如其名稱所示，TextSegment 只能表示文本信息。
DocumentSplitter
langchain4j提供了多個開箱即用的DocumentSplitter實現，比如DocumentByParagraphSplitter、DocumentByLineSplitter、DocumentBySentenceSplitter、DocumentByWordSplitter、DocumentByCharacterSplitter、DocumentByRegexSplitter以及遞歸的DocumentSplitters.recursive(...)。它們可以通過如下方式配合在一起工作：
- 實例化一個DocumentSplitter，并指定所需的TextSegments大小，以及可選的字符或token重疊量。
- 調用DocumentSplitter的split(Document) 或 splitAll(List<Document>) 方法
- DocumentSplitter將給定的文檔分割成更小的單元，這些單元的性質取決于具體的DocumentSplitter實現。例如，DocumentByParagraphSplitter將文檔按段落（由兩個或更多連續換行符定義）分割，而DocumentBySentenceSplitter 使用OpenNLP庫的句子檢測器將文檔按句子分割，等等。
- DocumentSplitter 將這些較小的單元（段落、句子、單詞等）組合成TextSegments，嘗試在單個TextSegment中包含盡可能多的單元，而不超過步驟1中設置的限制。如果某些單元仍然太大，無法適應TextSegment，它會調用子分割器。這是另一個DocumentSplitter，能夠將不適應的單元分割成更細粒度的單元。所有元數據條目都會從文檔復制到每個TextSegment。每個TextSegment會添加一個唯一的元數據條目 "index"。第一個TextSegment將包含index=0，第二個 index=1，依此類推。
TextSegmentTransformer
TextSegmentTransformer跟DocumentTransformer有點類似，但是他轉換的是TextSegment。與DocumentTransformer一樣，沒有一種萬能的解決方案，因此建議實現自己的TextSegmentTransformer。有一種在提高檢索效果方面非常有效的方案是：在每個TextSegment中包含文檔標題或簡短摘要。
Embedding
Embedding封裝了一個數值向量，該向量表示已嵌入內容(通常是文本，比如TextSegment)的語義意義.
EmbeddingModel
EmbeddingModel表示一種特殊類型的模型，用于將文本轉換為嵌入（Embedding）。目前支持的嵌入模型可以在這里找到Embedding Models
EmbeddingStore
EmbeddingStore表示一個用于存儲嵌入（Embeddings）的存儲系統，也被稱為向量數據庫。它允許存儲嵌入并高效地搜索相似的（在嵌入空間中靠近的）嵌入。目前支持的嵌入存儲可以在這里找到Comparison table of all supported Embedding Stores。EmbeddingStore可以單獨存儲嵌入，也可以與相應的 TextSegment一起存儲：
- 它可以通過ID只存儲嵌入。原始嵌入數據可以存儲在其他地方，并通過ID進行關聯。
- 它可以同時存儲嵌入和已嵌入的原始數據（通常是 TextSegment）。
EmbeddingSearchRequest代表一個向EmbeddingStore的搜索請求，它有maxResults可選參數，返回的最大結果數量，默認值為3；minScore最小分數可選參數，范圍從0到1（含0和1）。只有分數大于等于minScore 的嵌入才會被返回，默認值為0；Filter參數，在搜索過程中應用于元數據的過濾器，只有其元數據與過濾器匹配的TextSegments才會被返回，不過并不是所有的EmbeddingStore都支持元數據過濾，也有的雖然支持但是不支持Filter的所有操作，比如ContainsString操作目前僅僅是Milvus, PgVector和Qdrant這三種向量數據庫支持。
EmbeddingSearchResult代表在EmbeddingStore中搜索的結果，它包含一個EmbeddingMatch列表；EmbeddingMatch表示一個匹配的嵌入（Embedding），以及其相關性分數、ID和原始嵌入數據（通常是 TextSegment）。
EmbeddingStoreIngestor
EmbeddingStoreIngestor負責將文檔（Documents）攝取到嵌入存儲（EmbeddingStore）中。在最簡單的配置中，EmbeddingStoreIngestor使用指定的嵌入模型（EmbeddingModel）對提供的文檔進行嵌入，并將它們及其嵌入存儲在指定的嵌入存儲中。示例代碼：
EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
.embeddingModel(embeddingModel)
.embeddingStore(embeddingStore)
.build();
ingestor.ingest(document1);
ingestor.ingest(document2, document3);
IngestionResult ingestionResult = ingestor.ingest(List.of(document4, document5, document6));
- 所有ingest() 方法在EmbeddingStoreIngestor中返回一個IngestionResult對象。IngestionResult包含有用的信息，包括TokenUsage，它顯示了用于嵌入的令牌數量。
- EmbeddingStoreIngestor可選地可以使用指定的DocumentTransformer轉換文檔，這在希望在嵌入之前清理、豐富或格式化文檔時非常有用。
- EmbeddingStoreIngestor可選地可以使用指定的DocumentSplitter將文檔拆分為文本段（TextSegments）。這在文檔較大時非常有用，您可以將它們拆分為更小的文本段，以提高相似性搜索的質量，并減少發送到LLM的提示的大小和成本。
- EmbeddingStoreIngestor可選地可以使用指定的TextSegmentTransformer轉換文本段。這在希望在嵌入之前清理、豐富或格式化文本段時非常有用。
示例如下
EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
// adding userId metadata entry to each Document to be able to filter by it later
.documentTransformer(document -> {
document.metadata().put("userId", "12345");
return document;
})
// splitting each Document into TextSegments of 1000 tokens each, with a 200-token overlap
.documentSplitter(DocumentSplitters.recursive(1000, 200, new OpenAiTokenizer()))
// adding a name of the Document to each TextSegment to improve the quality of search
.textSegmentTransformer(textSegment -> TextSegment.from(
textSegment.metadata("file_name") + "\n" + textSegment.text(),
textSegment.metadata()
))
.embeddingModel(embeddingModel)
.embeddingStore(embeddingStore)
.build();
小結
langchain4j提供了一套豐富的API來構建自定義的RAG（檢索增強生成）pipelines，包括DocumentLoader、DocumentParser、DocumentTransformer、DocumentSplitter、TextSegmentTransformer、EmbeddingStoreIngestor。
