HuggingFace

Coding

Hugging Face (HF) 的地位相当于“AI 界的 GitHub”。它是目前全球最大的预训练模型、数据集和演示应用（Spaces）的托管平台

1. Hugging Face 的三大板块

模块 功能描述 研究应用
Models 托管预训练模型的权重、配置文件和代码。 下载 Llama 3 或 OpenVLA 权重。
Datasets 托管标准化的数据集（支持流式加载）。 获取机器人动作数据集（如 AMASS）或发布你自己的数据集。
Spaces 托管交互式 Web 演示（基于 Gradio 或 Streamlit）。 快速展示你的机器人动作生成效果，无需他人配置环境。
  • 流式加载 (Streaming Loading)：流式加载是指按需获取数据，而不是先下载完整的文件再读取，就像在线看视频。你点击播放，播放器只向服务器请求当前几秒钟的数据
    • 使用： datasets 库中的 streaming=True
  • Gradio 与 Streamlit，这两者都是 Python 库，旨在让算法工程师不需要掌握前端技术（HTML/CSS/JS），就能快速搭建一个可交互的 Web 界面
  • Gradio
    • 定位：模型演示 (Model-first)
    • 特点：极其强调“输入 -> 模型 -> 输出”的逻辑。它预设了大量的组件（如：上传图像、录入音频、显示 3D 模型）
    • 优势：在 Hugging Face 上生态极好，几行代码就能搞定
  • Streamlit
    • 定位：数据应用 (App-first)
    • 特点：更像是在写一个可以交互的仪表盘（Dashboard）。它的逻辑更接近网页，你可以自由安排侧边栏、表格、图表和文本的位置
    • 优势：灵活性更高，适合做复杂的数据分析工具

2. 核心库：Transformers

虽然 HF 是个网站，但用的最多的是它的 Python 库。transformers 库实现了 AI 模型调用的高度标准化

A. 统一的 API 逻辑

无论模型架构多复杂，加载逻辑通常只有两行：

1
2
3
4
5
from transformers import AutoModel, AutoTokenizer

# 只要知道模型 ID (User/Repo)，库会自动下载并缓存
model = AutoModel.from_pretrained("openvla/openvla-7b")
tokenizer = AutoTokenizer.from_pretrained("openvla/openvla-7b")

B. 关键组件：Tokenizer & Processor

  • Tokenizer: 将文本转为数字（Token ID），用于纯文本模型
  • Processor: Processor 会同时处理图像和文本，将其转化为模型能理解的张量（Tensors）

3. 命令行工具：huggingface-cli

  • 登录: 处理受限模型（如 Llama 3 需要申请权限）时必用
1
huggingface-cli login
  • 下载模型: 指定下载目录
1
huggingface-cli download openvla/openvla-7b --local-dir ./models/openvla

4. 存储管理：Cache（缓存）机制

  • Hugging Face 默认会将所有下载的内容存在：~/.cache/huggingface/hub
    • 注意：在 WSL 2 中，这个路径通常在 C 盘。如果你的 C 盘空间不足，必须修改环境变量
  • 操作：在你的 .bashrc 或 .zshrc 中添加：export HF_HOME="/mnt/d/huggingface_cache"