Skip to content

[Feature] Ollama 接入:支持本地大模型推理 #71

Description

@LC044

背景与目标

当前 LLM 连接配置中 Ollama、Google、Amazon 三个选项为 disabled 状态。Ollama 是自托管场景下最主流的本地大模型运行方案,与 TrailSnap 的自托管定位高度契合。用户无需 API Key 即可在本地运行 Qwen、Llama、MiniCPM 等模型。

功能范围

  • 设置页启用 Ollama 连接类型
  • 支持 Ollama 的 /api/chat/api/generate 接口
  • 自动发现 Ollama 运行中的模型列表
  • 与现有 Agent、视觉评估、旁白生成等功能打通
  • 配置 Ollama 服务地址(默认 http://localhost:11434

技术方案

  • llm.py 路由新增 Ollama 适配器,复用 OpenAI-compatible 格式(Ollama 已支持 /v1/chat/completions
  • config_manager.pyLLMConnection 已有 providerapi_base 字段,无需修改模型
  • 前端 BasicSettings.vue 启用 Ollama 下拉选项,增加连接测试

优先级

— 自托管用户强需求,技术改动量小(Ollama 兼容 OpenAI API 格式)

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions