IT人力外包人才简历库

精通Python数据清洗与分析，熟练运用pandas进行数据预处理、清洗及统计分析；具备PyQt5界面开发经验，可独立完成GUI设计与交互逻辑实现；熟悉MongoDB、MySQL及Redis数据库的架构设计与性能优化；掌握VBA开发技术，能够编写自动化脚本实现Excel/Word文档批量处理；熟悉网络爬虫技术栈，具备分布式采集系统开发能力

主导多个数据处理项目开发，包括工信部备案信息爬虫系统、企业信息采集平台及反诈数据处理系统。设计数据清洗规则引擎，通过ETL流程实现数据去重、格式标准化及异常值检测。开发基于PyQt5的可视化界面系统，实现数据展示、截图保存及自动化报表生成。构建分布式爬虫架构，采用Scrapy框架实现日均百万级数据采集。优化数据库索引与查询语句，提升数据处理效率30%以上。开发VBA自动化脚本，实现Excel/Word文档批量处理，提升办公效率50%。

1. 工信部备案信息爬虫系统：基于Scrapy框架开发分布式爬虫，实现对备案数据库的自动化采集与结构化处理，日均处理数据量达10万条。设计数据清洗规则引擎，通过ETL流程实现数据去重、格式标准化及异常值检测。

2. 企业信息采集平台：构建多线程爬虫架构，实现企业基础信息的批量采集与存储，采用MongoDB进行非结构化数据管理，MySQL进行结构化数据存储，Redis实现数据缓存优化。

3. 反诈数据处理系统：开发数据清洗与研判平台，实现从原始数据到结果推送的全流程自动化处理，设计可视化界面展示数据分布及异常特征，通过PyQt5实现数据截图保存功能。

4. 办公自动化工具开发：使用VBA编写宏程序，实现Excel/Word文档的批量数据处理、格式标准化及自动化报表生成，提升日常办公效率。