【Ollama】AI大模型本地部署

Ollama

Ollama轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型（LLM）。提供了一个简单的API来创建、运行和管理模型，以及一个预构建模型库，可以轻松用于各种应用程序。

明显优势：易于使用、轻量级、可扩展、预构建模块库

人群价值：研究人员、开发人员、爱好者

应用场景：文本生成、翻译、问答、代码生成

项目优点：易用性、性能、功能、社区

容器

文件

• docker-compose.ollama.yml

  version: '3.5'
  services:
    ollama:
      #restart: always
      container_name: ai-ollama-serve
      image: ollama/ollama
      ports:
        - 8000:8000
      environment:
        - OLLAMA_HOST=0.0.0.0:8000
        - OLLAMA_MODELS=/data/models
      #volumes:
      #  - ./ollama_serve/models:/data/models  # 先注释
      # 命令启动 serve
      command: serve
    ollama-webui:
      #restart: always
      container_name: ai-ollama-webui
      image: ghcr.io/open-webui/open-webui:main
      ports:
        - 3000:8080
      environment:
        - OLLAMA_BASE_URL=http://【地址】:8000
      #volumes:
        #- ./ollama-webui/backend/data:/app/backend/data # 先注释
  ##################### 使用ollama部署大模型 #####################
  # docker-compose -f docker-compose.ollama.yml up -d
  # OLLAMA_HOST       The host:port to bind to (default "127.0.0.1:11434")
  # OLLAMA_ORIGINS    A comma separated list of allowed origins.
  # OLLAMA_MODELS     The path to the models directory (default is "~/.ollama/models")
   
  # llama2 | qwen:0.5b-chat  | llava  | llama2-chinese
  # https://github.com/open-webui/open-webui#troubleshooting
  # 拷贝到本地存
  # docker cp ai-ollama-serve:/data/models/ ./ollama_serve/models/
  # docker cp ai-ollama-webui:/app/backend/data/ ./ollama-webui/backend/ 
  

  运行docker-compose -f docker-compose.ollama.yml up -d

  验证

  服务端

  

  • 运行

    ollama run qwen:0.5b-chat
    

    

    网页端

    

    

    使用

    

    快捷

    https://ollama.com

    https://ollama.com/library/qwen

    https://github.com/open-webui/open-webui