IT（PM・SE） - BI・DWHエンジニア

■ポジション概要
LINEヤフーのサービス開発のための、大規模データ向け分散システム（Hadoop、Apache Kafka、Apache Flink、Trino、Druidなど）として提供するデータプラットフォームの開発を担当

■業務詳細
LINEヤフーでは、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。

私たちのData Platformは、代表的なものとして以下のような技術スタックを活用しています：

・分散処理フレームワーク: Hadoop
・分散メッセージングシステム: Kafka
・分散ストリーム処理システム: Flink
・分散SQLエンジン: Trino
・分散データストア: Druid

これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。

■休日：完全週休二日制, 土, 日, 祝日, GW, 夏季休暇, 年末年始

■必須要件
・分散システムを利用したデータ基盤の構築、運用の経験(1年以上)
・Python・Java・Goいずれかのプログラミング業務経験(1年以上)
・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験

■歓迎要件
・100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験
・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
・KubernetesのClusterやエコシステムの設計、構築、運用経験
・Web Applicationの開発・運用の経験
・CI/CDなどによるシステム自動化の経験
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・オープンソースへの貢献

■求める人物像
・正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
・複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
・結果にこだわり最後までやり抜く力がある方