技能标签
专业技能
精通Hadoop生态组件（HDFS、YARN、MapReduce）与Spark流批一体架构设计，擅长Flink实时计算框架应用。掌握Hive数据仓库开发、Zeppelin可视化分析工具，具备Nifi数据集成平台实施经验。擅长资源优化策略制定，精通MapReduce任务调优、Spark作业性能调优及分布式计算架构升级。熟悉数据质量校验体系构建，具备复杂ETL流程设计与实现能力。
工作履历（脱敏处理）
长期从事大数据平台开发与优化工作，主导Hadoop平台向Spark架构迁移，完成百+Spark作业性能调优，实现资源利用率提升20%。设计实时计算架构，基于Flink构建秒级响应实时报表系统。搭建数据集成平台，通过Nifi实现近实时数据抽取，保障HDFS数据时效性。开发数据质量校验工具链，构建覆盖数据清洗、转换、验证的标准化流程。持续优化分布式计算架构，推动Spark版本从1.6升级至2.3，提升系统稳定性与扩展性。
项目经验（脱敏处理）
主导大数据平台ETL架构升级，完成百+Spark作业开发与性能优化，通过调整Mapper数量及代码逻辑优化，降低集群资源消耗20%。设计实时计算架构，基于Flink实现秒级响应的实时报表系统，支持百万级数据吞吐。搭建数据集成平台，采用Nifi实现近实时数据抽取，确保HDFS数据时效性满足Spark/Hadoop任务需求。开发数据质量校验工具链，构建覆盖数据清洗、转换、验证的标准化流程，提升数据准确性达98%。设计分布式计算架构优化方案，推动Spark版本升级至2.3，提升系统稳定性与扩展性，支撑日均千万级数据处理需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
4年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接