介紹

Milvus是當下流行的一個向量數據庫，在大模型領域有著廣泛和深入的應用。本文以本地部署為例，簡單介紹Milvus相關的依賴和使用。注意本地部署僅適合于功能驗證和測試，生產要多考慮高可用和性能。

部署腳本

為了方便使用，采用docker-compose組合的形勢，如下是用于部署的腳本。部署腳本包括四個部分。

• ETCD 用于元數據管理和集群協調，進行數據同步，集群狀態下提供高可用HA能力。
• MinIO數據存儲，支持S3協議的存儲，作為Milvus的底層數據存儲引擎。
• Attu ， 一個Milvus的圖形UI管理界面。
• 單機Milvus， 向量數據庫本身。

version: '3.5'

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.4.1
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"

  attu:
    container_name: milvus-attu
    image: zilliz/attu:v2.4.1
    # environment:
    #   MILVUS_URL: standalone:19530
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/attu:/var/
    depends_on:
      - standalone
    ports:
      - "18000:3000"

networks:
  default:
    name: milvus

啟動過程

使用命令docker-compose up 啟動， 如果需要后臺運行使用docker-compose up -d

實際效果

1. Attu

   
   
   attu

2. MinIO 存儲

   
   
   MinIO UI

相關應用

應用可以參考后續的Milvus結合大模型RAG以及Milvus圖片搜索。