TabbyML自托管 AI 编程助手

Tabby 是自托管的 AI 编程助手，也是 GitHub Copilot 的开源、本地替代方案。

特点

• 自托管，不需要 DBMS 或云服务
• 用于可视化和配置模型和 MLOps 的 Web UI
• OpenAPI 接口，易于与现有的基础设施整合
• 消费者级别的 GPU 支持

演示

Docker

最简单的方法是使用 Docker 镜像：

# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data

docker run \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  tabbyml/tabby