返回技能目录
人工审校其他

技能研究档案

fine-tuning-expert

来源声明

Use when fine-tuning LLMs, training custom models, or adapting foundation models for specific tasks. Invoke for configuring LoRA/QLoRA adapters, preparing JSONL training datasets, setting hyperparameters for fine-tuning runs, adapter training, transfer learning, finetuning with Hugging Face PEFT, OpenAI fine-tuning, instruction tuning, RLHF, DPO, or quantizing and deploying fine-tuned models. Trigger terms include: LoRA, QLoRA, PEFT, finetuning, fine-tuning, adapter tuning, LLM training, model training, custom model.

保留作者的英文原始描述。它表达设计意图,不代表已验证的实际效果。

Use when fine-tuning LLMs, training custom models, or adapting foundation models for specific tasks. Invoke for configuring LoRA/QLoRA adapters, preparing JSONL training datasets, setting hyperparameters for fine-tuning runs, adapter training, transfer learning, finetuning with Hugging Face PEFT, OpenAI fine-tuning, instruction tuning, RLHF, DPO, or quantizing and deploying fine-tuned models. Trigger terms include: LoRA, QLoRA, PEFT, finetuning, fine-tuning, adapter tuning, LLM training, model training, custom model.

references

研究摘要

人工审校

Skill Atlas editorial review · editorial-preview-1.0.0

面向使用 LoRA 与 QLoRA 微调大模型的机器学习 Skill,涵盖数据集校验、超参数、与基础模型对比评估,以及部署前的适配器合并。

审阅范围

对所收集的 SKILL.md 及辅助文本/代码进行确定性静态分析。机器辅助候选和发现等待人工编辑复核;不评估动态行为或效果。

可观察能力

  • 在训练开始前校验并格式化 JSONL 训练数据。
  • 选择 PEFT 方法:多数任务用 LoRA,显存受限时用 QLoRA。
  • 配置 Hugging Face PEFT 与 TRL 训练,使用学习率预热并监控验证损失。
  • 在保留集上并对比基础模型评估,然后合并适配器并量化以便部署。

限制与范围

  • 需要 GPU 资源与模型访问权限;示例使用的 Llama 模型 ID 可能需要获批访问。
  • 它引用了 validate_dataset.py 脚本,但 Skill 文件本身并未提供。
  • 此处未验证任何训练运行或结果质量。

适用读者

  • 将开源模型适配到特定任务的机器学习工程师
  • 使用 QLoRA 应对显存受限的团队

技能包含哪些内容

文件清单来自记录提交中的采集源码。路径与大小属于结构观察,不代表质量评价。

个文件
6
Markdown 文件
6
个脚本
0
个引用
5
大小
84 KB
结构复杂度
低

文件清单

路径类型字节
skills/fine-tuning-expert/references/dataset-preparation.md引用16.1 KB
skills/fine-tuning-expert/references/deployment-optimization.md引用16.7 KB
skills/fine-tuning-expert/references/evaluation-metrics.md引用17.6 KB
skills/fine-tuning-expert/references/hyperparameter-tuning.md引用16.2 KB
skills/fine-tuning-expert/references/lora-peft.md引用10.8 KB
skills/fine-tuning-expert/SKILL.md指令6.6 KB

SKILL.md 前置元数据

{
  "name": "fine-tuning-expert",
  "description": "Use when fine-tuning LLMs, training custom models, or adapting foundation models for specific tasks. Invoke for configuring LoRA/QLoRA adapters, preparing JSONL training datasets, setting hyperparameters for fine-tuning runs, adapter training, transfer learning, finetuning with Hugging Face PEFT, OpenAI fine-tuning, instruction tuning, RLHF, DPO, or quantizing and deploying fine-tuned models. Trigger terms include: LoRA, QLoRA, PEFT, finetuning, fine-tuning, adapter tuning, LLM training, model training, custom model.",
  "license": "MIT",
  "metadata": {
    "author": "https://github.com/Jeffallan",
    "company": "https://synergetic.solutions",
    "version": "1.1.0",
    "domain": "data-ml",
    "triggers": "fine-tuning, fine tuning, finetuning, LoRA, QLoRA, PEFT, adapter tuning, transfer learning, model training, custom model, LLM training, instruction tuning, RLHF, model optimization, quantization",
    "role": "expert",
    "scope": "implementation",
    "output-format": "code",
    "related-skills": "devops-engineer"
  }
}

对运行顺序的一种解读

此工作流根据源码材料重建表面顺序。除非明确记录受控评估,否则它属于暂定解读,而非真实运行轨迹。

  1. 01
    输入

    准备数据集

    在训练开始前校验并格式化数据,并执行质量检查。

  2. 02
    操作

    选择方法并训练

    根据显存选择 LoRA 或 QLoRA,然后配置超参数并监控损失曲线。

  3. 03
    判断

    检查验证损失

    验证损失必须下降;持平或上升意味着过拟合。

  4. 04
    输出

    评估并部署

    与基础模型对比评估,然后合并适配器权重、量化,并在上线前测量吞吐。

潜在风险面

静态发现用于提示安装前需要检查的位置,不能证明一项技能安全、恶意或有效。

建议重点关注

收集的文本中有 76 项确定性词法发现需要复核。发现可能仅位于文档中,不证明已执行或可被利用;仅含二进制的文件未扫描。

网络访问已观察到
文件写入已观察到
凭据使用已观察到
提示

文本描述或实现了文件修改

64 次命中

此行包含可能的文件写入或重定向操作。应检查目标路径和覆盖行为;静态审查没有写入任何文件。 该规则在收集文本中命中 64 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

高

文本描述或实现了文件删除

此行包含删除语法,也可能只是文档示例。应检查确切目标、递归范围和保护措施。分析器没有执行该命令。 该规则在收集文本中命中 1 处;此处列出 1 个代表位置。命中文本可能只是文档,分析器没有执行它。

中

文本提及网络访问

6 次命中

此源文件行包含 URL 或网络客户端。应检查目标地址、发送的数据和信任边界;静态文本无法证明实际发生了网络活动。 该规则在收集文本中命中 6 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

高

文本引用凭据或密钥材料

此行疑似凭据字面值,或读取敏感环境变量。请勿暴露其内容;应核实它是占位符、所需密钥,还是误提交的敏感材料。 该规则在收集文本中命中 1 处;此处列出 1 个代表位置。命中文本可能只是文档,分析器没有执行它。

查看全部安全发现 (76 项发现)
高

文本引用动态命令执行

4 次命中

此行出现 shell、动态求值或进程执行原语。应检查参数和输入控制;源代码中出现这些语法并不证明命令已运行。 该规则在收集文本中命中 4 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

编辑安全提示

使用前检查数据集来源与许可,并在 GPU 环境或敏感数据上运行脚本之前先审阅这些脚本。

上下文可能消耗在哪里

发现、激活与资源层具有不同含义。只有使用指定官方方法并记录模型的运行时,才显示精确数值。

精确 token 计数不可用

在管线使用明确模型执行官方精确计数之前,包括文件清单在内的所有 token 值均为 null。

未使用要求的官方方法记录 token 测量。本档案不会用字符数、文件大小或估计值替代。

受控评估

没有受控评估

该技能仅具备以上标明的证据。不声称任何任务成功率、token 效率、延迟或质量优势。

尚未测试

在源码可见的情况下使用

安装命令
git clone https://github.com/Jeffallan/claude-skills.git cd claude-skills # 将该 Skill 目录复制到以下任一位置: # ~/.claude/skills/fine-tuning-expert # .claude/skills/fine-tuning-expert
  1. 打开固定版本源码:https://github.com/Jeffallan/claude-skills/blob/67c1961b180dc92cf08983344627109e983e8f51/skills/fine-tuning-expert/SKILL.md。
  2. 审阅许可证、前置条件和所有捆绑的参考文件。
  3. 将该 Skill 目录复制到个人或项目级 Claude Code skills 目录。
  4. 重启或刷新 Claude Code,使该 Skill 可被发现。
验证安装

让 Claude Code 起草 LoRA 配置与数据集校验方案,确认其在部署前包含评估步骤。

前置条件

  • 需要 GPU 资源与模型访问权限;示例使用的 Llama 模型 ID 可能需要获批访问。
  • 它引用了 validate_dataset.py 脚本,但 Skill 文件本身并未提供。
  • 此处未验证任何训练运行或结果质量。

示例提示词

代表性任务

Use the fine-tuning-expert skill to plan a QLoRA fine-tune of a 7B model on my instruction JSONL file: validate the dataset, propose LoraConfig and TrainingArguments, and define evaluation against the base model.

使用前检查

Read the fine-tuning-expert skill at https://github.com/Jeffallan/claude-skills/blob/67c1961b180dc92cf08983344627109e983e8f51/skills/fine-tuning-expert/SKILL.md. Explain its workflow, required tools, permissions and the main risks before I decide whether to install it.

附上限制条件的判断

优势

  • 在数据质量与损失曲线等各阶段设置检查点。
  • 禁止未经保留集评估与延迟基准测试就部署。

注意事项

  • 示例超参数只是起点,需针对具体任务调优。
  • 训练与部署步骤可能消耗大量算力与时间。
研究结论

一份结构清晰的参数高效微调流程,但数据、算力与判断仍需由使用者提供。

从结构上保持可追溯

档案是对公开工件的限时阅读,而非背书。请通过来源链接检查确切的上游材料。

Jeffallanclaude-skillsskills/fine-tuning-expert
来源类型
社区
提交
67c1961b180dc92cf08983344627109e983e8f51
采集时间
2026年11月20日
最近核查
2026年11月20日
上游许可证
MIT
仓库星标
12,464
内容依据

仅对提供的文件进行确定性词法解析、YAML frontmatter 校验、文件清单、来源描述的工作流程提取和启发式暂定分类。由机器生成;无 LLM、执行、动态测试或人工编辑批准。