IT人力外包人才简历库

返回列表

数据工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:5次 发布时间:近期

技能标签

Python 异步编程 数据库管理 网络设计 软件工程 操作系统 爬虫技术 SQL优化 数据解析 系统维护 反爬虫策略 Linux运维 需求分析 测试验证 Web开发

专业技能

精通Python编程语言,具备分布式爬虫开发能力;熟练掌握异步编程框架(asyncio/aiohttp)及网络请求优化技术;精通MySQL数据库设计与优化,熟悉SQL语言及数据库事务管理;熟悉Linux系统运维及网络协议配置;掌握软件开发生命周期管理,具备需求分析、系统设计、测试验证等全流程开发能力;熟悉Web开发技术栈(HTML/CSS/JS)及前端工具链;具备基础的系统安全防护与反爬虫策略实施能力;熟悉办公自动化工具(Word/Excel)及公文写作规范。

工作履历(脱敏处理)

专注于数据采集与系统构建领域,主导基因突变数据库建设项目。采用异步编程框架实现高并发数据爬取,设计超时重试机制保障数据完整性,通过Cookie管理策略应对反爬虫防护。完成MySQL数据库架构设计与性能优化,实现百万级数据存储与高效查询。掌握软件开发生命周期各阶段流程,包括需求分析、系统设计、测试验证等。具备Linux系统部署与网络配置能力,能够独立完成服务器环境搭建。熟悉Web开发技术栈,可完成前端页面构建及数据可视化展示。熟练使用办公自动化工具,能够高效完成技术文档编写与项目管理。

项目经验(脱敏处理)

项目时间:2011-10至2015-12

项目名称:基因突变数据库构建系统

项目描述:开发基于MySQL的基因突变数据库,实现HGMD网站数据的自动化采集与存储。项目需处理高通量测序数据中的SNP筛选需求,通过异步爬虫技术构建高并发数据采集系统,最终实现基因突变信息的结构化存储与查询。

技术挑战:1. 国际网站访问延迟导致数据采集不稳定,2. 反爬虫机制影响数据完整性,3. 大规模数据存储与查询性能优化。

解决方案:1. 采用asyncio+aiohttp框架实现异步并发请求,2. 设计超时重试机制保障数据完整性,3. 通过Cookie管理策略应对反爬虫防护,4. 使用XPath解析页面数据并存储至MySQL数据库,5. 优化数据库索引结构提升查询效率。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接