用 VS Code + Colab 自己部署破限模型
最近很多人搞了土区的 Google AI Ultra 20x，刚好我也弄了一个账号。平时经常干坏事，需要用到模型破限，现在有了最大96 G 显存的羊毛，可以自己部署一个无审查的模型，干啥都行，速度还很快，我部署 G4 之后用这个可以跑出 73 tok/s，基本飞快了。 然后通过 magpie 自己接入之前的对话，美滋滋啊，不用破限了，10 积分/小时，送了 2500 积分，能用 250 小时。
全部代码在仓库 crhywun/colab-llm 里。先把仓库克隆到本地：
这套方案是怎么跑通的
思路就是：模型从 Hugging Face 下载一次，存进 Google Drive；每次启动时把模型复制到 Colab 机器，由 llama-server 加载；cloudflared 从 Colab 内部主动连到 Cloudflare，所以即使 Colab 没有公网 IP，外面也能访问到。
仓库里每个文件对应的每一个步骤：
准备工作
后两项是可选的，没有也能跑通，只是地址每次会变。
本教程以 JonathanColetti/Qwen3.8-27B-Uncensored-GGUF 的 Q8_0 版本（29GB）为例。换成其他 GGUF 模型，步骤也一样。
第一步：在 VS Code 里连上 Colab
代码都在 Colab 的云端机器上运行，VS Code 只负责编辑和显示输出，你的电脑不占显存，也不占网速。
- 在 VS Code 里安装 Google Colab 扩展，打开仓库里的 notebook。
- 点右上角的 Select Kernel，选 Colab，用 Google 账号登录。
- 选运行时类型：只下载模型时选 CPU，不消耗 GPU 额度；跑模型时选 GPU，选哪张卡看第三步。
- 第一次运行时会弹出 Google Drive 授权，按提示完成。
如果在 VS Code 里挂载 Drive 失败，把 notebook 上传到网页版 Colab（colab.research.google.com）运行，效果一样。
第二步：把模型下载到 Google Drive
运行 notebooks/01*download*to_drive.ipynb，用 CPU 运行，节约一点计算点数，而且这个机器下载速度非常快。模型只需下载一次，可以存在 Drive 里反复使用。
GGUF 仓库一般会放很多个量化版本，只下你要用的那一个文件，改 notebook 里的 FILE 即可。本例仓库的选项：
文件名里带 noMTP、draft 的是给特殊用法准备的，mmproj 开头的是识图用的视觉模块，只做文字对话都不用下。
为什么先下到「本地」再复制？这里的本地是 Colab 云端机器的硬盘 /content，不是你的电脑。挂载的 Drive 是网络盘，直接往里面并行写几十 GB 的大文件容易卡住或中断。下载断了也不用慌，重新运行同一个 cell，会接着下。
第三步：选 GPU
27B 的 Q8_0 模型选 G4 或 A100，哪个每小时消耗的计算单元少就选哪个。显存要放得下模型权重，还要留几 GB 给上下文。
速度是按显存带宽粗算的，没有实测。开启 MTP 投机解码后，模型作者实测还能再快约 1.2 倍。
估算显存有个经验公式：参数量（B）× 每参数字节数 + 上下文占用 + 2–4 GB；Q8 约 1 字节，Q4 约 0.55 字节。
第四步：启动 llama-server
用 GPU 运行时打开 notebooks/02_serve.ipynb，依次运行第 1–4 步：
- 复制模型：从 Drive 复制到 Colab 机器硬盘，29GB 约几分钟。从本机硬盘加载比直接读 Drive 快得多。
- 准备 llama.cpp：第一次编译约 5–10 分钟，编好后按显卡架构存进 Drive，下次用同型号显卡直接复用。要用较新的版本，旧版本会忽略模型自带的 MTP 加速模块。
- 启动服务：只监听机器内部的 8000 端口，必须带 API key 才能访问。上下文长度按显存自动设置（70GB 以上 32K，否则 16K 并量化 KV cache）。
- 测试：在 Colab 里发一句对话，显示生成速度。我这里用的是 G4 96G 显存，速度非常快，70 tok/s。
启动失败时，看日志最后几行，最常见的原因是显存不够。
第五步：用 Cloudflare 隧道把服务暴露到公网
Colab 机器没有公网 IP，外面连不进去。cloudflared 从 Colab 主动连到 Cloudflare，把你的域名转发到 llama-server。
在 Mac 上配置一次（需要托管在 Cloudflare 的域名）：
脚本会安装 cloudflared、打开浏览器让你授权域名、创建隧道并绑定子域名，然后生成两个文件：
- Drive 里的
models/secrets.json：隧道 token 和固定 API key，Colab 启动时读取。 - 仓库里的
.env：本地客户端用的地址和 key。
如果你的 Mac 上登录了多个 Google Drive 账号，脚本会让你用第二个参数指定 Colab 那个账号的models目录。没装 Drive 桌面版，就传一个本地目录，再手动把secrets.json上传到 Drive 的models/文件夹。
每次在 Colab 上：运行 02_serve.ipynb 的第 5 步，它会读取 secrets.json，连上隧道，并从公网访问一次做自检，看到「公网自检: 200」就说明通了。
没有域名也能跑：跳过上面的脚本，第 5 步会自动改用临时的 https://xxx.trycloudflare.com 地址，并打印要填进 .env 的内容。不用注册账号，但每次启动地址和 key 都会变。
Colab 上跑隧道的始终是 cloudflared，所以直接用 cloudflared 更省事。
第六步：在本地调用
直接接入 magpie 开始调用 ，美滋滋啊 速度 70 tok/s 左右，而且这个是无审查版本的，干啥都行。我让他逆向，直接直白告诉他，还有写带颜色的小说都不带犹豫的。
用完关掉机器
关掉 VS Code 或 notebook 不等于释放机器，GPU 可能还会一直运行到空闲超时，期间一直扣计算单元。用完运行 02_serve.ipynb 最后一个 cell 里的：
机器会立刻被回收，Drive 里的模型、程序和密钥不受影响。也可以在网页版 Colab 的「运行时 → 管理会话」里终止，顺便检查有没有忘记关的机器。
下次再用：选 GPU 运行时，运行 02_serve.ipynb 的第 1–5 步。固定域名下客户端不用改。
常见问题
下面这些坑都是搭建过程中实际碰到过的，仓库代码里已经处理好了。
据说还有更加高级的玩法，就是可以内存+显存 Colab的机器可以达到 200 多 G ，是不是可以自己部署一个 Deepseek flash 1017 玩玩。