【岗位职责】 1、负责数据仓库和大数据处理模块的架构设计和开发； 2、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作； 3、基于Spark框架的数据仓库的设计，开发，维护； 4、根据需求使用SparkStreaming和SparkSQL进行数据处理、查询、统计等工作。 【任职要求】 1、3-5年以上该领域产品研究和开发的工作经验；必须参与过企业产品项目的研发； 2、熟悉Spark相关技术，至少有1年的Spark开发经验； 3、熟悉Scala语言，对Scala原理、底层技术有深入研究者优先； 4、熟悉SparkStreaming和SparkSQL； 5、有优良的TroubleShooting能力； 6、有过海量数据系统开发经验者优先； 7、在开源社群活跃并有积极贡献者优先。 8、对新技术钻研有强烈兴趣，有良好的学习能力和强烈的进取心,有创新精神,有良好的团队沟通和管理能力