モダンデータスタックアーキテクト

それでは改めまして、データエンジニアリングの最先端を担うSaaSのエバンジェリストになりませんか、モダンデータスタックアーキテクトのご紹介ということで、クラスメソッドのさがらがお話しさせていただきます。

目次はまず私の自己紹介から始めて、その後、今回ご紹介するモダンデータスタックアーキテクトについて話をしていきます。

まず自己紹介させてください。クラスメソッドのモダンデータスタックチームでテックリードをしております、さがらと言います。私は2020年9月の入社なので、大体4年半くらい経ちました。主な業務としましては、モダンデータスタックという、最近そのデータ分析基盤を構築するのに、いろんなSaaSやオープンソースがあるんですけど、そういった最新の製品を組み合わせて構築する基盤、そういった概念をモダンデータスタックと呼びます。それに該当する製品の技術支援やプリセールスを担当しております。あとそれに関連する技術情報を定期的に収集してブログで発信なども行っております。トピックとしましては、Snowflakeのデータスーパーヒーローという、コミュニティに貢献している人に与えられる称号みたいなものがあるんですけど、それに2022年から選ばれて4年連続選出いただいたという実績があります。

次に私の経歴です。まず私は大学で情報工学を専攻しておりました。大学卒業が2016年の3月くらいですね。私は大学の時プログラミングを仕事にしたいと全く思っていなかったので、入社した時はメーカーの部品調達部門を配属希望しました。そこで約4年の研修制度に取り組み、1年から1年半ごとに国内外のいろんな工場を転勤していました。この4年の中で、大学の時は全く興味がなかったITですが、授業で学んだSQLが実際の業務の中で役立つということに面白さを感じました。それを持ってこの4年の研修制度が終わった後に本配属というのがあったんですけど、その時にその部品調達部門のIT企画運用部門へ配属を志願しました。無事にそこに配属されて、TableauやHadoopを用いたデータ分析基盤の企画開発運用というところを行っておりました。これを行う中でクラウドの技術をもっと身につけたいと考えて、2020年の9月にクラスメソッドに入社をしております。1番最初は、今Google CloudのBIツールでLookerというものがあるんですけど、そのLookerの一介のコンサルタントみたいな形で入社しました。なんですけど、そのクラスメソッド、興味のあることは何でもやらせてくれる会社なので、Snowflakeとかdbtとかいろいろと手を出していったら、モダンデータスタックチームのテックリードになっていたっていう、そんなキャリアになってます。

で、改めてこのモダンデータスタックアーキテクトって、どういった仕事なのかについてご紹介します。一言で言うと、モダンデータスタックに該当する製品に関して、この3つの業務を行う職種になります。モダンデータスタックと言っても本当にいろんな製品があるんですけど、その中でクラスメソッドはこの1番下の図のような製品群を取り扱っております。特にこのモダンデータスタックアーキテクトが取り扱う製品としては、この左側の3つですね。データをSalesforceやHubSpotといったいろんなデータソースから収集することができるFivetran、今結構有名になってきてますけど、そのデータを貯める先として使えるデータウェアハウスのSnowflake、Snowflakeの中でデータを加工するためのdbtという形で、このFivetran、Snowflake、dbtというところが主な取り扱い製品になっております。

その中で、どういったことを行ってるかというところなんですけど、まずプリセールスですね。これは比率としては、1を1とした時の、大体0.2から0.3くらいの時間を割いてます。これは、Fivetran、Snowflake、dbtに興味を持っていたお客様への製品紹介や質疑応答、見積もり作成を行うというところですね。プリセールス、その販売前の業務なので、プリセールスと呼ばれるものになります。

で、次がプロフェッショナルサービス。これプロフェッショナルサービスって言うと、ちょっと分かりづらいんですけど、よくある技術支援とか技術コンサルティングとか、そういったプロフェッショナルが支援する技術支援だよ、みたいな感じで認識してもらえば大丈夫です。これが1ヶ月の中で比率が0.5くらいですね。これは実際に製品を導入いただいたお客様に対して、製品のトレーニングやコンサルティングを行うというところになっています。

で、最後3つ目が、エバンジェリスト活動ですね。これが比率としては0.2から0.3くらいになってます。これは、FivetranやSnowflake、dbtに関する情報はもちろんなんですけど、それ以外の別の製品でもいいですし、それ以外のデータ基盤にかかる汎用的な技術に関しての情報発信とか、そういったところも行っております。次のスライドから、この3つの業務についてより詳しくお話をしていきます。

まず1つ目、プリセールスですね。これは一般的なプリセールスの流れとお問い合わせの内容を説明します。まず流れとしましては、ミーティングの前ですね。これはお客様から問い合わせをいただくというところから始まるんですけど、その時に弊社への要望がいろいろあります。それを確認して、お客さんはこういうところを知りたいんだなというところを確認して、ミーティングまでに準備します。で、ミーティング当日になりましたら、私たちとは別に営業担当のセールスの方がいますので、その営業担当のセールスの方と2人でミーティングに参加して、お客様がどういったところに課題や問題があるのかというところのヒアリング、あとは興味を持っていただいた製品のデモンストレーションと、そのデモンストレーションを行った製品の技術的な質疑応答の対応、見積もりに必要な情報のヒアリングなどを実施しております。実際に、お客様が興味を持っていただいたら、そのミーティングが終わった後に製品の見積もりや導入支援の提案書を作成するということを行ってます。

で、どういった問い合わせが多いのかというところ、代表的なもの3つここに載せています。まず1番シンプルな1番上ですね、「Snowflakeが気になるのでお話を聞かせてください」みたいな、もう特定の製品に絞って相談が来るパターンです。これが1番あるパターンかなと思います。で、2つ目が、「新しくデータ分析基盤を構築しようと考えています」というところですね。これは本当、どういった製品で組もうと考えてるかとか、そのデータ分析基盤のことあんまり分かってないんですけど、最近DXとかの流行りもあって、データドリブンにやっていきたいからちょっと助けてくれみたいな、結構そういうふわっとした話もあったりします。あと3つ目は、すでにデータ分析基盤を運用してるけど、ちょっと処理速度が遅いとか、そういったいろんな問題があるので、御社で扱ってる何かいい製品ないですか、みたいなそういったご相談もあったりします。これがプリセールスですね。

次がプロフェッショナルサービスです。これは1つ、dbt Cloudの導入支援を例にご説明します。既存のデータ基盤からSnowflake、dbt Cloudに移行するというところのご支援をしておりました。こちらでやったこととしましては、お客様の既存のデータ基盤がTreasure DataとTableauという構成だったんですけど、そこから基盤部分、Treasure DataをSnowflakeとdbt Cloudに移行するというところのご支援でした。なので、まずそのdbtに慣れていただくために、ハンズオンから知識を学んでいただくための座学トレーニングというところを、関係者の方向けに複数回実施しました。その後、dbtとSnowflake、一緒に入れるというところがあるので、そのdbtに合わせたSnowflakeのデータベースやロール設計、権限周りですね、そこのコンサルティングというところも実施しております。その後に、既存のTreasure Dataで書いてるSQLを、Snowflakeとdbtに移管した時にどう動くか、どう書けるかというところを移行する、これは手を動かしてはいないんですけど、お客様に対しての支援、サポートみたいな感じでコンサルティングを行ったっていうのもあります。あとは、Snowflakeとdbtって、最近よく聞く組み合わせだと思うんですけど、そこの開発時に有用な機能ですね。最近だとデータのCI/CDの考え方とかあるんですけど、そういったところだったり、あとはdbtのサードパーティーのパッケージとか、そういったところのナレッジトランスファーとかを行っております。で、こちらお客様にも弊社のブログで、私、さがらに手伝っていただけましたみたいなところを、ブログに書いていただいたっていうすごい嬉しい話もありました。こちらこの青字のところで調べていただくと記事が出てくると思います。

で、3つ目、エバンジェリスト活動ですね。これは私の例なんですけど、ブログに関しては入社から4年半で451本書いております。なので、大体年100本くらいのペースかなと思います。あとは、よくブログの代表例としましては、この画像みたいな感じで、個人的に気になったモダンデータスタック情報をまとめる、というブログを2週間に1回くらいのペースで書いております。これが結構多くの方に見ていただいてるのか、いつも「ブログありがとうございます」みたいな風に言われることが増えた理由の1つのブログかなと思ってます。

あと、登壇系ですね。これも最近いろんなイベントに登壇しておりまして、去年の年末12月には、troccoを開発しているプライムナンバー社主催の年次イベントで、2024年のモダンデータスタックの分野を振り返るというところで、分野別のアップデート情報まとめに関して話をしてきました。あとは今年の2月にファインディ社主催で、最近このデータレイクハウスとかApache Icebergとか聞くと思うんですけども、そこに関する登壇ですね。Snowflakeと組み合わせて何ができるかというところを話してきたっていうのもあります。なのでこんな感じで、ブログとか外部登壇を行っている他に、社外の方とかミーティングとかイベントで挨拶すると、「あ、さがらさんですか」っていう風に言われることが本当に増えたなと感じております。これが実際のモダンデータスタックアーキテクトの、私の業務の例です。

で、このモダンデータスタックアーキテクトの面白さ、やりがいっていうところなんですけども、まずはSnowflake、dbt Cloud、Fivetranの第一人者になれます。本当そうですね、お客様に対して1人のプロフェッショナルと向き合うので、そこの難しさもちろんあるんですけども、そこも本当、自分が1担当として頑張るので、各サービスの知識は自ずと身につきます。あとはその技術を習得する中で、ブログや登壇とかを通して情報を発信することで、あの、さがらさんみたいな風に自然と認知もされていきます。

で、あと2つ目ですね。自分の興味のあるサービスがあれば、気軽に試してブログにするのは大歓迎というところがあります。実際、私も451本書いてるうちの、100本とは言えないですけど、50本くらいは、全然取り扱ってないサービスのブログとかがあると思います。実際そんな感じで、いろんなところに興味を持ってブログにしてから取り扱いを開始するっていうケースが非常に多いです。これは、取り扱いがないからと言って触って意味がないってことは全くなくて、いろんなサービスを触ってみることで、既存のサービス、それこそFivetran、Snowflake、dbtとかそういったところの違いも理解ができます。そうすると、私たちの業務であるプロフェッショナルサービス、コンサルティングですね、そこに対する深みと説得力が出てくると思います。

あと、これはちょっとおまけみたいなところですけど、自分が初めて日本でブログを書いたサービスとか機能が日本で広まっていく様を見ると、「あいつはわしが育てた」みたいな感じを得られるので、とても気分が良くなります。あと、1番下、もうこれは本当ありがたい話ですけど、実際にご支援を行ってお客様に感謝されたり、追加のご支援の要望をいただけると、やっていてよかったなと感じるところはあります。

で、次がチーム体制のところですね。これは、今このモダンデータスタックのソリューションに関わる方は5名います。1人が、ビジネス開発という形で、この方は各製品の担当者とやり取りとかイベント企画とか、ビジネスに関わることを何でもする方です。あとは、一緒に同席する用の方ですね。この方が2名います。また、私含めてMDS、モダンデータスタックのアーキテクトが2名います。雰囲気としましては、5人の小人数のチームですけど、それぞれが自分の役割をしっかり認識して、お互い尊重し合ってる感じはあるかなと思います。年齢も大体20代から30代くらいの近い層なので、話しやすい雰囲気にはなってます。個人的にはなんか働きづらいと思ったことは本当1度もないので、個人的にはとても働きやすく、やっていけてると思ってます。

で、これが私の最後のスライドなんですけど、どういった方に合うポジションかっていうところのお話です。3つあげてるんですけど、1つ目は、新しいデータ基盤関係の技術を触るのが好きな方っていうところがあると思います。例えばですけど、昨日もdbtがいきなりMCPサーバーをリリースしてくるような感じで、本当新機能が毎週出てくるすごい領域です。なのでその新しい技術にテンションが上がる方には、とてもぴったりのロールかなと思います。

で、2つ目が、人と技術のことを話すのが好きな方っていうところですね。これも実際多くの社外の方、実際にお客様が多いんですけど、その方に対して技術に関する対話とか質疑応答を行うプロフェッショナル職種になります。なのでその技術関係の会話、議論が好きな方であるほど合っているかなと思います。

で、3つ目が、データ分析基盤に関わる真のプロフェッショナルとなりたい方ですね。特にSnowflake、dbt Cloud、Fivetranに関しては、国内トップレベルの知識が得られるかなと思います。なので、気になった方、全然個別のカジュアル面談も対応可能ですので、お気軽にご相談いただけると嬉しいです。以上で私の発表を終わります。ご清聴ありがとうございました。