Reading System

收录整理

一人公司系列教程:用 AI 工具链从零搭建个人技术基建

很多人在问:能不能把 AI 能力完全跑在自己机器上,不依赖云服务?OPC 这个开源项目给出了一个完整答案,手把手教你用飞牛 OS + CUDA + Harbor 搭一套本地 AI 工作站。

2026 年 4 月 7 日3 分钟OpenClaw

正文

很多个人开发者和 AI 爱好者都在思考一个问题:能不能把 AI 能力完全跑在自己的服务器上,不依赖云服务,不担心数据隐私,同时还能拥有一套高效的工具链?

OPC(一人公司系列教程) 就是回答这个问题的一个开源教程项目。


这个项目做了什么

OPC 是 B 站 UP 主 小天fotos(GitHub @xiaotianfotos)发起的一个系列教程项目,核心理念是:用 AI 工具链从零构建个人技术基建,打造"一人公司"式的超级智能中枢。

简单来说:手把手教你在自己的机器上搭一套完整的本地 AI 环境,让 AI 能力真正掌握在自己手里。

目前项目已在 GitHub 开源(Apache 2.0 协议),持续更新中。


教程内容详解

第01期:看懂 AI 模型版图

视频课程,目标是帮助读者建立对 AI 模型生态的完整认知。

内容覆盖:

  • 当前主流 AI 模型的整体版图和分类
  • 各类型模型的适用场景和选型思路
  • 如何根据需求选择合适的模型
  • 搭建个人超级智能中枢的整体规划

这期是认知基础,为后续的部署实践铺路。


第02期:在飞牛 OS 上部署 AI 基础设施

这是目前最核心的实战章节,在 飞牛 OS(fnOS) 上搭建完整的本地 AI 环境。飞牛 OS 是一款基于 Debian 12 的私有云 NAS 系统,适合个人开发者搭建自己的服务端环境。

环境准备

  • 创建 Python 3.12 虚拟环境(使用 uv 工具)
  • 解决 home 目录权限问题
  • 验证 Python 环境可用

安装 NVIDIA 驱动 + CUDA 12.9

  • 检查是否已有驱动
  • 安装编译工具和内核头文件
  • 下载安装 CUDA 12.9 本地包(约 4.4GB)
  • 安装 NVIDIA 闭源驱动(或开源的 nvidia-open)
  • 配置 CUDA 环境变量(写入 .bashrc)

配置 Docker + GPU 穿透

  • 在飞牛 OS 管理界面配置 Docker 存储目录
  • 安装 NVIDIA Container Toolkit
  • 重启系统验证 Docker GPU 支持

安装核心 AI 工具

Claude Code — 本地 AI 代码助手

  • 通过官方安装脚本一键安装
  • 跳过 onboarding 配置
  • 可在终端里直接用自然语言操控 AI 帮你写代码

Harbor — 模型管理工具

  • 一键安装 Harbor
  • 通过它管理 Ollama / llamacpp 模型的下载和启动
  • 支持 GPU 挂载,省去手动配置容器的麻烦

验证环境

依次检查所有组件是否正常工作:

  • nvidia-smi(NVIDIA 驱动)
  • nvcc --version(CUDA)
  • docker run --gpus all(Docker GPU 支持)
  • claude --version(Claude Code)
  • harbor --version(Harbor)
  • python --version(Python 虚拟环境)

运行本地大模型

通过 Harbor 一键拉起模型服务:

# Gemma-4-E4B(推荐配置)
harbor config set llamacpp.model.specifier "--model-url https://modelscope.cn/models/unsloth/gemma-4-E4B-it-GGUF/resolve/master/gemma-4-E4B-it-Q4_K_M.gguf" && harbor up llamacpp

# Qwen3-8B
harbor config set llamacpp.model.specifier "--model-url https://modelscope.cn/models/Qwen/Qwen3-8B-GGUF/resolve/master/qwen3-8b-q4_k_m.gguf" && harbor up llamacpp

用 curl 验证推理服务是否正常运行:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"gemma-4-E4B-it-Q4_K_M","messages":[{"role":"user","content":"你好"}]}'

最终能得到什么

完成整个教程后,你将拥有:

  1. 完整的本地 AI 开发环境 — 跑在自己硬件上,不依赖任何云服务
  2. 本地运行开源大模型 — Qwen3-8B、Gemma-4 等主流开源模型,带 GPU 加速
  3. Claude Code — 终端里的 AI 代码助手,用自然语言驱动 AI 帮你写代码、自动化任务
  4. Harbor 模型管理平台 — 随时启停不同模型,一键切换
  5. 数据隐私完全自主 — 所有数据留在本地,没有隐私泄露风险

适合谁

  • 想在自有服务器/NAS 上部署 AI 能力的个人开发者
  • 对本地 AI 模型部署感兴趣的技术爱好者
  • 希望摆脱云服务依赖、掌控自己 AI 数据流的独立开发者
  • 正在搭建"一人公司"技术基建的学习者

小结

OPC 这个项目的定位很清晰:不是教你调用云端 API,而是手把手教你把 AI 能力部署在自己的基础设施上。它选择飞牛 OS 作为部署目标,选择 CUDA + Docker + Harbor 作为技术栈,选择 Claude Code 作为 AI 辅助开发工具,整套链路串起来就是一个可以在家运行、不依赖任何外部服务的个人 AI 工作站。

项目地址:https://github.com/xiaotianfotos/OPC