文本描述或实现了文件修改
46 次命中此行包含可能的文件写入或重定向操作。应检查目标路径和覆盖行为;静态审查没有写入任何文件。 该规则在收集文本中命中 46 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。
技能研究档案
Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.
Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.
Skill Atlas editorial review · editorial-preview-1.0.0
指导 Apache Spark 开发:DataFrame 流水线、分区、join、数据倾斜、缓存和结构化流,并通过 Spark UI 校验。
对所收集的 SKILL.md 及辅助文本/代码进行确定性静态分析。机器辅助候选和发现等待人工编辑复核;不评估动态行为或效果。
文件清单来自记录提交中的采集源码。路径与大小属于结构观察,不代表质量评价。
skills/spark-engineer/references/partitioning-caching.md引用14.5 KBskills/spark-engineer/references/performance-tuning.md引用15.5 KBskills/spark-engineer/references/rdd-operations.md引用16 KBskills/spark-engineer/references/spark-sql-dataframes.md引用13.5 KBskills/spark-engineer/references/streaming-patterns.md引用20 KBskills/spark-engineer/SKILL.md指令6.6 KB{
"name": "spark-engineer",
"description": "Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.",
"license": "MIT",
"metadata": {
"author": "https://github.com/Jeffallan",
"company": "https://synergetic.solutions",
"version": "1.1.0",
"domain": "data-ml",
"triggers": "Apache Spark, PySpark, Spark SQL, distributed computing, big data, DataFrame API, RDD, Spark Streaming, structured streaming, data partitioning, Spark performance, cluster computing, data processing pipeline",
"role": "expert",
"scope": "implementation",
"output-format": "code",
"related-skills": "python-pro, sql-pro, devops-engineer"
}
}此工作流根据源码材料重建表面顺序。除非明确记录受控评估,否则它属于暂定解读,而非真实运行轨迹。
了解数据量、转换逻辑、延迟要求和集群资源。
编写带优化转换、合理缓存和错误处理的 Spark 代码。
检查 Spark UI 的 spill;若发现 spill 或倾斜,则回到优化步骤。
提供代码、配置建议、分区策略和监控建议。
静态发现用于提示安装前需要检查的位置,不能证明一项技能安全、恶意或有效。
收集的文本中有 50 项确定性词法发现需要复核。发现可能仅位于文档中,不证明已执行或可被利用;仅含二进制的文件未扫描。
此行包含可能的文件写入或重定向操作。应检查目标路径和覆盖行为;静态审查没有写入任何文件。 该规则在收集文本中命中 46 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。
此源文件行包含 URL 或网络客户端。应检查目标地址、发送的数据和信任边界;静态文本无法证明实际发生了网络活动。 该规则在收集文本中命中 4 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。
检查生成作业中的存储路径和覆盖模式,示例以 mode("overwrite") 写入存储桶。
发现、激活与资源层具有不同含义。只有使用指定官方方法并记录模型的运行时,才显示精确数值。
在管线使用明确模型执行官方精确计数之前,包括文件清单在内的所有 token 值均为 null。
未使用要求的官方方法记录 token 测量。本档案不会用字符数、文件大小或估计值替代。
该技能仅具备以上标明的证据。不声称任何任务成功率、token 效率、延迟或质量优势。
git clone https://github.com/Jeffallan/claude-skills.git
cd claude-skills
# 将该 Skill 目录复制到以下任一位置:
# ~/.claude/skills/spark-engineer
# .claude/skills/spark-engineer确认目标位置能够发现 spark-engineer 的 SKILL.md,然后让 Claude Code 在一个小型测试任务中使用它。
Use the spark-engineer skill to optimize this PySpark job that joins a 2 TB events table with a small product dimension and groups by user_id. Check for skew, set an explicit schema and recommend shuffle partitions.
Read the spark-engineer skill files at https://github.com/Jeffallan/claude-skills/blob/67c1961b180dc92cf08983344627109e983e8f51/skills/spark-engineer/SKILL.md. Explain its workflow, required tools, permissions and the main risks before I decide whether to install it.
研究结论一份实用的 Spark 调优指南,其中数字只是起点,需结合自身负载度量。
档案是对公开工件的限时阅读,而非背书。请通过来源链接检查确切的上游材料。
67c1961b180dc92cf08983344627109e983e8f51仅对提供的文件进行确定性词法解析、YAML frontmatter 校验、文件清单、来源描述的工作流程提取和启发式暂定分类。由机器生成;无 LLM、执行、动态测试或人工编辑批准。