本地 LLM 研究环境指南

环境:Mac mini M4 + 16GB,uv 管理 Python 包,VSCode 开发 外接盘:/Volumes/CyberDisk,大文件/模型/开发目录统一放这里 1. 环境激活 venv 路径:~/model-research source ~/model-research/bin/activate VSCode 中:按 Cmd+Shift+P → Python: Select Interpreter → 选 ~/model-research/bin/python 2. 工具链速查 包 用途 什么时候用 torch 张量运算 + MPS GPU 加速 所有操作的基础 transformers 加载 HuggingFace 模型,查看权重 入门第一步,理解模型结构 nnsight Hook 进 Transformer 前向传播,读/改激活值 Abliteration、激活干预 mlx-lm Apple M 系列最快推理框架 快速验证、跑 benchmark jupyter 交互式实验 一步一步看张量变化 bitsandbytes 4-bit/8-bit 量化加载 省显存,16GB 跑大模型必备 safetensors 安全加载权重文件 transformers 默认用它 accelerate 多设备自动分配 device_map=“auto” 时用到 3....

April 26, 2026 · 2 min · 406 words · sirius1y