技能标签
专业技能
精通Python requests/urllib网络请求库，掌握XPath/CSS选择器及正则表达式数据解析技术。熟练应用Scrapy框架构建分布式爬虫系统，具备反爬策略破解能力（包含UA指纹识别、Cookie劫持防御、IP封禁绕过、动态渲染反爬等）。精通Splash+ Selenium页面渲染技术，掌握Docker容器化部署方案。熟悉网络抓包分析工具（Fiddler/MITmDump），具备移动端App数据采集能力。熟练进行请求头加密解密、参数签名逆向分析及数据脱敏处理。
工作履历（脱敏处理）
专注于政务数据采集系统开发，主导建设省级政务平台数据采集体系。设计分布式爬虫架构，实现多区域机构信息自动采集与结构化存储。开发反爬策略破解方案，攻克动态渲染页面反爬技术，采用Splash+Selenium实现页面渲染。构建异常数据监控系统，实现采集日志自动归档与异常数据统计分析。优化数据清洗流程，建立标准化数据导入规范，提升数据采集效率30%以上。
项目经验（脱敏处理）
某大型政务平台数据采集项目：1. 设计省级政务数据采集系统，实现多层级机构信息自动解析与存储；2. 构建CCGP招中标数据采集平台，开发反爬策略破解方案，突破动态渲染页面反爬机制；3. 实现分布式爬虫架构，采用Scrapy-Redis实现任务分发与结果聚合；4. 开发数据质量监控系统，建立异常数据自动识别与日志分析机制；5. 设计数据清洗流程，建立标准化数据导入规范，提升数据采集效率30%；6. 实现多区域数据采集拆分，采用分表存储策略应对数据量增长，优化系统扩展性。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接