技能标签
专业技能
精通Java/Python/Scala多语言开发，擅长Linux系统管理及Shell脚本开发。深入掌握Hadoop生态体系（HDFS/YARN/Zookeeper/Oozie/Flume），具备MapReduce/Spark全栈开发能力（含Core/SQL/Streaming）。熟悉MySQL/HBase/Hive/Redis等数据存储系统，具备SQL性能调优经验。精通Kafka分布式消息队列原理及流式计算场景应用，具备高并发系统架构设计能力。
工作履历（脱敏处理）
主导某移动应用用户行为分析平台建设，设计数仓分层架构（ODS/DWD/DWS/ADS），通过Hive分区优化和物化视图技术提升报表查询效率30%。开发基于MapReduce的ETL清洗流程，实现日均10亿条日志的实时处理。构建分布式爬虫框架，采用Kafka+Spark Streaming实现新闻资讯的高并发采集与存储，支撑百万级用户访问量。持续优化Hive查询性能，通过分区裁剪和索引技术降低查询响应时间40%。
项目经验（脱敏处理）
项目一：用户行为分析平台建设
技术栈：Hadoop生态（HDFS/MapReduce/Hive/Oozie）、Kafka、Redis
成果：构建日均处理10亿+条数据的数仓体系，实现ADS层查询加速50%。设计数据清洗工作流，通过Hive分区策略优化降低计算资源消耗30%。开发脏数据检测模块，建立实时预警机制提升数据质量。
项目二：新闻资讯分布式爬虫系统
技术栈：Python/Spark/Flume/HBase/Kafka
成果：搭建支持千节点扩展的分布式爬虫框架，实现每秒10万+新闻条目采集。设计Kafka消息队列缓冲机制，保障系统高可用性。通过Spark Streaming实时处理爬取数据，构建新闻内容存储与检索系统。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接