IT人力外包人才简历库

返回列表

数据工程师(爬虫与可视化方向)

驻场外包人员
工作年限:3年 意向城市:杭州 浏览:5次 发布时间:近期

技能标签

Python开发 爬虫技术 数据处理 数据可视化 SQL优化 数据中台 Scrapy框架 Pandas ECharts Streamlit 影刀工具 Linux运维 API开发 数据清洗 ETL流程

专业技能

精通Python编程语言,熟练掌握requests、selenium、xpath等爬虫技术,具备Scrapy框架开发经验。熟悉Pandas数据处理及ECharts数据可视化,具备SQL数据库优化能力。持有影刀高级认证,能够独立搭建数据中台系统。熟悉前后端分离架构,具备RESTful API开发经验。掌握Linux系统运维及日志分析技术。

工作履历(脱敏处理)

主导数据采集系统建设,基于Scrapy框架构建分布式爬虫系统,实现多源数据自动化采集。设计数据清洗流程,通过Pandas完成数据去重、格式标准化及异常值处理。搭建可视化平台,采用Streamlit+ECharts实现多维度数据看板,支持权限分级管理及跨域访问。优化SQL查询性能,将数据处理效率提升40%。主导数据中台架构设计,实现数据资产统一管理,支撑业务分析需求。持续维护影刀自动化工具链,提升数据处理流程的自动化水平。

项目经验(脱敏处理)

数据采集与可视化平台建设项目:基于Scrapy框架构建分布式爬虫系统,日均处理数据量达500万条,采用Pandas进行数据清洗和ETL处理,确保数据质量。搭建可视化平台,通过Streamlit+ECharts实现多维度数据看板,支持权限分级管理及跨域访问。设计数据中台架构,整合多源数据资产,实现数据标准化管理。解决高并发数据采集场景下的性能瓶颈,通过异步处理和分布式存储技术提升系统吞吐量。优化数据可视化交互体验,支持动态筛选和钻取分析,提升业务决策效率。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

3年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接