複雑に構成されたビッグデータ基盤をSnowflakeに移行。
迅速な分析への対応とコスト削減を実現

お客様は、製品のログデータを活用して製品の利用状況や機器の状態の分析から新しいサービス展開に繋げておられます。
そこで扱われるデータは膨大で、対応できる基盤として複数のパブリッククラウドを組み合わせて運用されていました。
当社は、分析環境も含めたビッグデータ基盤の構築から機能拡張や運用保守をトータルでサポートを実施しております。

機能毎に最適なサービスを採用した統合前の基盤では大規模での運用が出来ていたものの、複雑なシステム構成となっており、機能拡張や新しい製品の分析への対応には柔軟に対応出来てない等の課題もありました。

そこで、次世代型『ビッグ』データプラットフォームと呼ばれ注目を浴びていたSnowflake®の評価を実施する事となりました。

Snowflake導入に際してのPoCによる評価から導入方針検討から設計・構築、又関連するソトウェア改修、運用保守まで当社が担当しました。
Snowflakeの特性を生かした下記構成への移行を実施する事で、迅速な分析への対応や拡張性に優れた分析基盤を提供出来ただけでなく、必要な時に必要なリソースだけを消費する効率の良いシステム（Snowflakeの特長の一つ）を構築する事が出来たため、クラウド費用も大きく低減する事が出来ました。

お客様はビッグデータ基盤をSnowflakeに移行した事で、目的である迅速な分析や、柔軟な拡張性によるビジネス変化への対応が可能となりました。また、コスト面ではクラウド費用の削減、運用保守に関わる工数の削減が実現できました。

例）新しい機器のデータの分析を始める場合
■既存の方法
・他のデータとの整合性や分析したい内容を考慮したデータ設計(構造化設計も含む)。
・DWHで利用に際して、構造化して取込を実施（まだその段階で分析者は分析を始めません）。
・変換ツールやブログラムを作成して前処理を実施。
→　BIツールで動くデータとして利用が可能（分析実施）

上記のような流れのため、分析を始めるまでにも非常に時間がかかっていました。
更に前処理で思った様な分析結果が得られなかった場合には、またデータを待つ必要があります。

■Snowflake統合後
・いきなり生データをSnowflakeに取り込む（細かい仕様の決定は先送り）。
→　分析者は、Snowflake上で生データを見ながら前処理を含めた分析業務を実施。

Snowflakeはマイクロパーティションによる自動プルーニング、ごく短時間でのスケールアップ、スケールアウト、SQL/Javasriptにより自作できる関数・ストアド等の機能により柔軟性とパワーがあります。
そのため構造化されていないインプットデータのままでも、中間データを作成することなく一気に目的の形までに加工・集計可能となります。
仕様変更があった場合も、比較的容易にデータの再作成が可能ですので、細かい仕様の決定を先送りした運用が可能となります。

当社は、Snowflakeの特性を生かして設計構築しただけでなく、特性を生かした運用に変える事で、迅速な分析に対応できる様になったと評価を頂いております。
引き続き、分析環境を含めたビッグデータ基盤においてトータルサポートを提供してまいります。