用 Vision Proxy 为纯文本 DeepSeek 模型转译图片附件

在 DeepSeek Harness(DSH)中安装 Vision Proxy,配置本地 Ollama 或 OpenAI 兼容 VLM,把图片转成文字并检查外发边界。

社区整理已复核原始来源
DSH
0.1.1-rc.2
系统
Windows / macOS / Linux
风险
high
对应插件dsh-vision-proxy

先查看功能、兼容性、权限和同类选择,再按本文操作。

查看插件详情 →

为纯文本 DeepSeek 模型增加图片附件转译:先用本地 Ollama 或用户配置的 OpenAI 兼容视觉模型把图片转为文字,再交给原 DeepSeek Adapter 回答。

如果你的目标是用本地 Ollama 或兼容视觉模型把图片转成文字交给 DeepSeek,本教程会说明如何在 DeepSeek Harness(DSH)中准备、安装、配置、验证和回退 dsh-vision-proxy。本文锁定作者仓库提交 d246d8511822;已复核固定提交的原始资料,未进行运行实测。

对应插件:查看 dsh-vision-proxy 的功能、权限与兼容性说明。先确认它适合你的工作流,再执行安装。

先确认是否适合你

  • 分类:图片识别与视觉
  • 风险等级:high
  • 核验证据:source_reviewed
  • 兼容性边界:插件版本 0.3.1、MIT,要求 Node.js >=22.19、DSH >=0.1.0-rc.6,运行时直接面向 LLM 与 Attachments 接口;本站完成固定提交静态审阅,未在当前 0.1.1-rc.2、真实 DashScope/Ollama、多图大文件、Sharp 可选依赖或各类 OpenAI 兼容端点下运行
  • 主要权限关注:读取当前模型请求中已附加的图片字节,按内容哈希做进程内缓存,可选使用 Sharp 缩放;默认探测本机 Ollama,否则只在配置有效 VLM Key 后向第三方端点发送图片,不修改工作区文件

如果你准备在重要工作区使用,先阅读插件详情页的权限和数据流说明;“源码已审阅”或“资料已整理”都不等于安全认证。

安装前准备

  1. 安装 Node.js 22.19、Node.js 24 或项目当前声明支持的更高版本,并确认 pnpm 可用。
  2. 使用独立的 web Profile 和可丢弃测试工作区,不直接连接生产目录。
  3. 备份当前 Profile 配置,并记录安装前的 --dump-config 输出。
  4. 核对固定来源中的外部服务、账号、运行时和平台限制。
  5. 需要凭据时只准备测试凭据;本页识别到的候选变量包括 VISION_API_KEYDASHSCOPE_API_KEY

安装 dsh-vision-proxy

52DSH 使用目录中记录的精确安装目标,避免直接跟随可能变化的默认分支:

npx --yes @deepseek-ai/dsh@0.1.1-rc.2 plugin --profile web add github:Flyvhidbwo/dsh-vision-proxy#d246d8511822

GitHub 源码插件如果被 pnpm 拦截构建脚本,先检查终端提示的具体包和脚本。只在 web Profile 中放行确实需要的构建项,不要全局放行未知依赖。

作者文档还出现了以下命令。它们用于核对功能或开发流程,不应替换上面的锁定安装命令,也不要一次全部执行:

  • dsh plugin --profile web add dsh-vision-proxy
  • dsh-vision-proxy: true
  • dsh plugin --profile web add dsh-vision-proxy # 批准后重跑
  • dsh --profile web --dump-config | grep -A3 dsh-vision-proxy # 应恰好一个条目(注意:会明文打印配置,含 key)

插件专属配置

作者资料把该插件描述为零配置或可直接启动;这里的“零配置”不等于零权限,仍需检查 Profile、工作目录和外部数据流。

**本类插件的最小权限设置:**使用不含个人信息的测试图片;如需外部视觉模型,只设置测试凭据并确认图片会发送到哪个服务。

README 中识别到的变量名

以下只列变量名,不代表每个变量都必需;是否使用以及取值格式以对应固定来源为准。

  • VISION_API_KEY
  • DASHSCOPE_API_KEY

作者配置片段(README.md)

来源:固定提交中的 README.md外部链接,在新标签页打开。复制前先替换占位符并删除不需要的权限。

# 写在 profile 的 pnpm-workspace.yaml 里
allowBuilds:
  dsh-vision-proxy: true
  sharp: true

作者配置片段(README.md)

来源:固定提交中的 README.md外部链接,在新标签页打开。复制前先替换占位符并删除不需要的权限。

# $DSH_HOME/profiles/web/cordis.patch.yml —— 用户层覆盖示例
- id: dsh-vision-proxy
  name: 'dsh-vision-proxy'
  config:
    baseURL: https://dashscope.aliyuncs.com/compatible-mode/v1
    apiKey: 'sk-…'          # 或留空读环境变量(Windows 下直写这里最可靠)
    model: qwen3.7-flash
    maxTokens: 4096
    timeoutMs: 120000       # 匿名端点无论如何都会被强制 20s 上限
    maxImagePixels: 4000000
    marker: '[图片转译]'
    autoLocalOllama: true
    fallbackModels: []      # 可自行添加 {model, baseURL, apiKey?, anonymous?, timeoutMs?}

配置验证与成功结果

  1. 确认 Bundle 已加载

    npx --yes @deepseek-ai/dsh@0.1.1-rc.2 --profile web --dump-config
    

    期望结果:组合配置中出现 dsh-vision-proxy 或仓库声明的 Bundle 名称。

  2. 启动 Web Profile

    npx --yes @deepseek-ai/dsh@0.1.1-rc.2 web
    

    期望结果:DSH Web 正常启动,浏览器控制台和终端没有持续重复的插件加载错误。

  3. 执行插件专属最小任务

    上传一张含有清晰文字和简单布局的测试图,要求返回文字、区域和主要对象。

    期望结果:结果能够对应图片中的可见内容,并明确失败、超时或模型不可用状态。

第一次使用

  • 粘贴一张测试截图,让插件识别标题、按钮和一行文字,不要上传敏感截图。
  • 只验证一个核心能力,保存输入、输出和日志;确认无异常后再扩大权限或数据范围。

数据、权限与凭据

**数据流:**当前会话图片附件 → 可选本地缩放与 SHA-256 缓存 → 本地 Ollama 或用户配置的 VLM endpoint → OCR/版面文字 → 替换原图片块后交给 DeepSeek 文本模型;第三方端点会收到完整图片内容。

**权限关注:**读取当前模型请求中已附加的图片字节,按内容哈希做进程内缓存,可选使用 Sharp 缩放;默认探测本机 Ollama,否则只在配置有效 VLM Key 后向第三方端点发送图片,不修改工作区文件

**数据存储:**作者资料没有形成统一存储结论。测试时检查 web Profile、工作区、用户目录以及所连接的外部服务,并记录新增文件或远端数据。

真实 Token、API Key、Cookie 和账号 ID 不应写进 Git 仓库、网页截图或公开 Issue。测试结束后撤销临时凭据。

卸载、回退与清理

  1. 停止正在运行的 DSH Web。

  2. 从同一个 Profile 移除插件:

    npx --yes @deepseek-ai/dsh@0.1.1-rc.2 plugin --profile web remove dsh-vision-proxy
    
  3. 再次运行 --dump-config,确认对应 Bundle 已消失。

  4. 检查测试工作区、插件声明的数据目录和外部服务,手动删除测试数据并撤销测试凭据。卸载依赖不会自动删除这些数据。

常见问题

安装成功但页面或命令没有出现

先运行 --dump-config 确认 Bundle 已进入 web Profile,再重启 DSH Web 并硬刷新浏览器。不要通过反复扩大权限来解决加载问题。

插件运行后没有得到预期结果

把问题缩小到本页的最小验证任务,检查作者文档要求的变量、外部服务和平台限制。保存终端错误原文,并核对当前安装目标是否仍对应本页固定提交。

作者提供了独立故障文档,可从下方“固定来源证据”进入;本页没有把整份 README 复制过来。

固定来源证据

以下资料是本文配置结论的依据:

继续查看:返回 dsh-vision-proxy 插件详情页,重新核对兼容性、权限、同类插件和来源状态。

来源与维护信息

本文根据以下原始资料整理。版本变化后,请以官方资料和页面标注的验证日期为准。