Hadoop

Hadoop开发人员职位描述模板

Hadoop已经成为大型数据系统的基石. Indeed, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, operate, 并解决大型Hadoop集群的故障.

Share

Hadoop已经成为大型数据系统的基石. Indeed, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, operate, 并解决大型Hadoop集群的故障.

Hadoop是一个大型软件栈. On one hand, 它处理底层硬件资源, and on the other, 它提供了构建软件的高级API. 因此,Hadoop开发人员不仅要开发软件,还要操作软件.

Furthermore, 对算法及其运行时特性的良好掌握对于高效地为Hadoop开发至关重要.

Hadoop开发人员-职位描述和广告模板

复制此模板,并将其修改为自己的模板:

Company Introduction

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. 提及办公时间, 远程工作的可能性, 以及所有你认为能让你的公司有趣的东西. }}

Job Description

我们正在寻找一名Hadoop开发人员来帮助我们构建大规模的数据存储和处理软件以及基础设施. 现有工具的知识是必不可少的,使用Hadoop API编写软件的能力也是必不可少的.

Responsibilities

  • 编写与HDFS和MapReduce交互的软件.
  • 评估需求和评估现有的解决方案.
  • 构建、操作、监控和排除Hadoop基础设施故障.
  • 开发工具和库, 维护其他工程师访问数据和编写MapReduce程序的流程.
  • 开发文档和剧本来操作Hadoop基础设施.
  • 评估和使用AWS / Google Cloud / Azure上的托管解决方案. {{如果您想使用托管解决方案}}
  • 编写可伸缩和可维护的etl. {{如果您需要运行ETLs}}
  • 了解Hadoop的安全机制,实现Hadoop安全. {{如果您需要组织内的细粒度安全性}}
  • 编写软件将数据摄取到Hadoop中.

Skills

  • 您了解JVM运行时、Java语言,理想情况下还了解另一种基于JVM的编程语言. {{如果对现有代码有影响,请提及Java版本}}
  • 你知道计算机科学的基础知识,尤其是算法的复杂性.
  • 你知道分布式系统中的权衡.
  • 您精通产生可维护软件的软件工程原理,并且可以在实践中使用它们.
  • 您已经使用了Hadoop发行版.
  • 您已经使用过一个或多个计算框架,例如Spark.
  • 熟悉HBase、Kafka、ZooKeeper或其他Apache软件. {{根据需要添加或删除Apache软件}}
  • 您了解Linux及其操作、网络和安全性.
  • 您知道如何有效地移动大型数据.
See also:Toptal不断增长的社区驱动列表 Hadoop面试必备问题

Toptal Engineers最近的Hadoop文章

找到合适的Hadoop面试问题

阅读社区驱动的Hadoop面试问题列表.
阅读它们,评论它们,甚至贡献你自己的.

Read the Questions

现在就雇佣一名顶级Hadoop开发人员

Toptal是一个面向顶级Hadoop开发人员的市场, engineers, programmers, coders, architects, and consultants. 顶级公司和初创公司可以雇佣专职(全职), hourly, 或者兼职Hadoop自由职业者,为他们的关键任务软件项目工作.

See Their Profiles

Adrian Dominiczak

自由Hadoop开发人员
PolandToptal Member Since July 21, 2020

Adrian是一名拥有近十年专业经验的高级大数据工程师. 艾德里安的职业生涯是从三星R&他在Santander和Lingaro从事过一系列项目,从银行和制药行业的机器学习和大数据工程到大数据和云架构. Adrian的专业领域主要是Hadoop和Spark.

Show More

Selahattin Gungormus

自由Hadoop开发人员
TurkeyToptal Member Since May 4, 2021

Selahattin是一名数据工程师,拥有多年使用开源技术构建可扩展数据集成解决方案的实践经验. 他擅长使用Hadoop等分布式处理平台开发数据应用程序, Spark, and Kafka. Selahattin在AWS和Azure等云架构类型方面也有实践经验, 以及使用Python和JavaScript框架开发微服务

Show More

Dmitry Kozlov

自由Hadoop开发人员
CanadaToptal Member Since February 24, 2021

Dmitry是一名高级大数据架构师,在数据仓库方面拥有16年以上的经验, BI, ETL, analytics, and the cloud. 他领导的团队在金融行业交付了24个项目, insurance, telecommunications, government, education, mining, manufacturing, and retail. 德米特里在快节奏的环境中茁壮成长, 表现出有效领导的能力, manage, and support teams, 并以BI的身份为多个项目提供咨询, data warehouse, and big data expert.

Show More

Shady Shkirat

自由Hadoop开发人员
SpainToptal Member Since August 17, 2021

Shady是一位经验丰富的软件开发人员,专门从事全栈开发, responsive, highly scalable, and real-time Node.js、React和React Native应用程序. Over the years, 他改进了现有应用程序的性能,实现了可伸缩和可重用的代码. 具有扎实的c++背景, Java, and Python, Shady对商业发展充满热情, startup spirit, 远程工作,无论是合作还是独自工作都同样舒适.

Show More

金成俊(安德鲁)

自由Hadoop开发人员
AustraliaToptal Member Since June 18, 2020

作为一名拥有20多年经验的高效技术领导者, Andrew专门研究数据:集成, conversion, engineering, analytics, visualization, science, ETL, 大数据架构, analytics platforms, 云架构. 他拥有构建数据平台的一系列技能, analytic consulting, trend monitoring, data modeling, data governance, 还有机器学习.

Show More

Abhimanyu Veer Aditya

自由Hadoop开发人员
United StatesToptal Member Since May 7, 2019

Abhimanyu是一名机器学习专家,拥有15年为商业和科学应用创建预测解决方案的经验. 他是一个跨职能的技术领导者, 有组建团队和与c级高管共事的经验. Abhimanyu在计算机科学和软件工程方面有着成熟的技术背景,在高性能计算方面拥有专业知识, big data, algorithms, databases, 分布式系统.

Show More

Innocent Musanzikwa

自由Hadoop开发人员
CanadaToptal Member Since August 10, 2021

Inno是一位经验丰富的数据工程师和开发人员,在过去的十年里,他在非洲和北美的顶级零售数据分析公司iri工作,并在过去的几年里担任自由顾问. 作为SQL和ETL开发人员, 他使用行业标准技术(如Kimball和DataVaults)创建了高质量的数据仓库. As a data engineer, Inno使用几种最新的尖端技术,在本地和云上构建了高度健壮和可扩展的数据管道.

Show More

Mustafa Kubilay Yalniz

自由Hadoop开发人员
TurkeyToptal Member Since April 3, 2019

Mustafa在Linux平台上部署系统和软件方面拥有20多年的经验. 作为系统和软件工程师,他拥有丰富的脚本/编码经验. 他在DevOps、SaaSOps和Linux系统工程方面拥有扎实的技能.

Show More

易卜拉欣·穆罕默德·艾哈迈德博士.D.

自由Hadoop开发人员
AustraliaToptal Member Since April 22, 2019

Ibrahim是一位资深数据科学家和软件开发人员,对深度学习充满热情,在统计和时间序列方面拥有丰富的经验. 易卜拉欣有兴趣帮助企业充分利用他们的数据,并采取数据驱动的行动.

Show More

Pablo Lalloni

自由Hadoop开发人员
ArgentinaToptal Member Since December 17, 2012

Pablo是一名架构师和开发人员,在广泛的技术和技术方面拥有丰富的经验,并且具有强大的理解和有效解决问题的能力,同时牢记大局. 他始终如一地取得了很高的质量,并成功地领导了几个小团队的项目.

Show More

Rakesh Patel

自由Hadoop开发人员
United KingdomToptal Member Since June 24, 2020

Rakesh有超过二十年的数据分析经验, design, 以及在投资银行中交付以数据为中心的解决方案的开发经验, insurance, and media sectors. 他对数据仓库有全面的了解, 事务系统, 以及高通量处理, 他是云计算领域的专家, Hadoop, 以及大数据处理.

Show More

现在注册以查看更多资料.

Start Hiring

Toptal Connects the Top 3% 世界各地的自由职业人才.

加入Toptal社区.