技能标签
专业技能
精通Scrapy框架,具备大规模数据采集与清洗能力;熟练使用Selenium、Appium进行自动化爬虫开发;熟悉Mitmproxy接口监控及数据抓包分析;掌握JavaScript加密算法(如AES、RSA)及反爬虫策略(如动态Token生成、IP代理池构建);具备Python自动化脚本开发经验,熟悉Linux环境部署与定时任务配置;熟悉Django框架基础开发,掌握RESTful API设计规范;具备数据库优化经验,熟悉MySQL索引设计与查询优化
工作履历(脱敏处理)
主导电商平台数据采集系统开发,采用Scrapy框架实现日均百万级数据抓取,通过XPath与正则表达式进行数据清洗与入库;设计自动化测试框架,使用Appium实现抖音APP博主店铺数据采集,结合Fiddler分析HTTPS加密流量,构建动态Token生成机制;参与微博数据监控平台开发,使用Mitmproxy进行接口流量分析,优化爬取效率至95%以上;开发Linux定时任务脚本,实现数据采集流程自动化,降低人工干预成本60%。
项目经验(脱敏处理)
电商平台数据采集项目:基于Scrapy框架构建分布式爬虫系统,处理百万级数据清洗与入库,采用Redis队列实现任务分发,通过负载均衡提升爬取效率30%;抖音APP数据采集项目:利用Appium实现APP自动化操作,结合Fiddler分析HTTPS加密流量,开发动态Token生成算法破解反爬虫机制,成功采集博主店铺数据;微博数据监控系统:使用Mitmproxy进行接口流量分析,设计加密数据解密方案,构建实时数据监控平台,实现接口稳定性提升至99.9%
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接