ETL

ETL开发人员工作描述模板

今天的提取-转换-加载(ETL)开发人员必须利用来自多个领域的知识和专业知识. ETL开发接近于数据库设计和编程的交叉点,但需要在这两个领域中都具备非常通用的技能. 世界各地的数据都在快速增长, 所有与之一起成长的公司都需要专家来维护它.

分享

今天的提取-转换-加载(ETL)开发人员必须利用来自多个领域的知识和专业知识. ETL开发接近于数据库设计和编程的交叉点,但需要在这两个领域中都具备非常通用的技能. 世界各地的数据都在快速增长, 所有与之一起成长的公司都需要专家来维护它.

在数据库端, 候选人可能需要了解数据建模原理,以便为处理后的数据准备最终结构, 了解转换和性能调优算法, 熟悉保存数据(如rdbms)的多种解决方案, NoSQL数据库, 和其他 大数据 解决方案.

至于编程, ETL developers may need basic shell or Unix scripting skills for managing file/folder structures; they may equally need to know the basic principles of object-oriented programming in various widespread languages like C#, Python, Java, 或者能够从应用程序和web服务中获取和处理数据.

尽管根据所使用的技术栈,ETL开发人员的位置可能会有很大的不同, 有一些常见的技能是绝对需要的, 比如高级SQL知识. ETL开发人员处理的数据必须符合公司的标准,并应满足最终用户的需求.

ETL开发人员-职位描述和广告模板

复制此模板,并将其修改为自己的模板:

公司介绍

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. 提及办公时间, 远程工作的可能性, 以及所有你认为能让你的公司有趣的东西. }}

工作描述

我们目前正在寻找ETL开发人员来设计和实现ETL流程. 您将构建ETL管道,将来自异构源的数据摄取到我们的系统中. 你应该有出色的业务和沟通能力, 并能够与企业所有者合作,了解他们的数据需求,并利用您的ETL知识和经验帮助他们做出与数据相关的决策.

这个职位也可能要求你快速学习新的工具和技术, 您应该具有深入的数据库知识以及基本的编程和脚本技能. 您将帮助构建高效和稳定的数据管道,这些管道可以在将来轻松维护. 您应该具有大型数据集的设计、创建、管理和业务使用方面的专业知识.

责任

  • 设计, 实现, 并通过抽取不断扩展数据管道, 转换, 加载活动
  • 收集需求和业务流程知识,以便以符合最终用户需求的方式转换数据
  • 维护和改进现有的流程
  • 确保数据架构是可伸缩和可维护的
  • 与业务部门一起设计和交付正确、高质量的数据
  • 调查数据以识别ETL管道中的潜在问题, 通知最终用户并提出适当的解决方案
  • 准备文档以供进一步参考
  • {{在这里添加任何其他相关职责. }}

技能

  • SQL知识(查询性能调优、索引维护等).)以及对数据库结构的理解
  • 了解数据建模原理
  • 组织能力:时间管理和计划
  • 至少了解一种ETL工具(SSIS, Informatica, Talend等).) {{对于有时间限制的合同, specify the exact tool required; in longer-term positions, 否则,强有力的候选人可以在细节上得到指导。
  • 了解各种SQL/NoSQL数据存储机制和大数据技术
  • 高度关注细节
  • 对复杂数据结构和解决问题充满热情
  • 能够快速掌握新的数据工具和概念
  • {{确保提及任何其他框架, 库, 或者其他与您的项目相关的技术. }}
  • {{列出您可能需要的任何教育水平或证书. }}
参见:Toptal不断增长的社区驱动列表 基本的ETL面试问题

Toptal Engineers最近的ETL文章

找到合适的ETL面试问题

阅读社区驱动的ETL面试问题列表.
阅读它们,评论它们,甚至贡献你自己的.

阅读问题

现在就聘请一名顶级ETL开发人员

Toptal是一个面向顶级ETL开发人员的市场, 工程师, 程序员, 程序员, 架构师, 和顾问. 顶级公司和初创公司选择Toptal ETL自由职业者来完成他们的关键任务软件项目.

查看他们的个人资料

西班牙Chakraborty

自由ETL开发人员
瑞典Toptal成员2020年8月4日

Anish是一位经验丰富的软件工程师,对后端系统有着非常深入的了解, 数据库, 数据仓库, 工程数据, 构建数据驱动的产品和服务. 尽管他自学了SQL, Scala, 和Python, Anish以前赢得过国际SQL编码竞赛.

显示更多

亚历克斯先生

自由ETL开发人员
德国Toptal成员2021年4月15日

Alexander是一名拥有超过十年软件工程经验的全栈开发人员. 他专注于具有可扩展后端的高性能数据驱动应用程序,并具有微服务和无服务器架构方面的专业知识, 数据库体系结构, DevOps, 云架构, 数据工程. Alexander精通JavaScript, 打印稿, 反应, 节点.. js、SQL和NoSQL. 他拥有强大的项目管理技能,获得Scrum认证,并拥有MBA学位.

显示更多

保罗Lysak

自由ETL开发人员
乌克兰Toptal成员2015年2月18日

Paul是一位经验丰富的软件开发人员,拥有超过十年的经验,专注于Scala, 玩, Akka, 和Apache火花. 他发展得很安全, 可维护的软件,对意外的错误是健壮的,对监视和诊断是透明的. 他有效地利用了计算资源, 开发不会阻塞线程的响应式应用程序.

显示更多

在Toptal网络中发现更多ETL开发人员

开始招聘

Toptal连接 排名前3% 世界各地的自由职业人才.

加入Toptal社区.