Factoryは日本語に訳すと「工場」という意味になります。Azureには原材料となるデータを加工して製品を生産する工場のような働きをするサービスがあります。それが「Azure Data Factory」です。データを収集し、すぐに使用できる情報に変換してくれるAzure Data Factoryは、今後ニーズが増えることが予想されるサービスです。ここでは、サービスの概要や作成方法を紹介するので、基本を確認していきましょう。

SE

Azure Data Factoryは聞いたことがありませんでした。どのようなサービスなのでしょうか？

PM

Azure Data Factoryを語る上で、まずキーワードとなる単語が、「ETL」と「ELT」です。このふたつの単語をベースにどのようなサービスなのかを解説していきます。

Azure Data Factoryとは

データを統合させる場合には、とても大事なプロセスがあります。それが、Extract（抽出）、Transform（変換・加工）、Load（格納）の3つです。頭文字をとって「ETL」と呼ばれています。

かつてはE→T→Lの順に処理を行うことが一般的でしたが、現在は、E→L→Tの順に処理を行うことが主流になりつつあります。頭文字をとって「ELT」と呼ばれるこの手法では、データベースに格納後にデータの変換or加工を行うため、容量が必要となります。

しかし、Azureのようなクラウドサービスでは、スケーリングを柔軟かつ手軽に行うことが可能です。ビッグデータの運用には最適な機能といえるでしょう。

Azure Data Factoryでは、ETLはもちろんのこと、ELTの処理も視覚的な操作で実現可能です。データの格納、移動、準備、変換、処理を数回のマウスクリックで行える点は、エンジニアやエンドユーザーにとっても使い勝手が良いシステムだといえます。

また、コードの生成とメンテナンスはマネージドApache Sparkによって行われます。オンプレミスとクラウドによるハイブリッドなデータ統合や、ビルドとデプロイを自動化するパイプラインを使うこともできるのが特徴として挙げられます。

Azure Data Factoryの料金

Azureサービスをすでに利用しているのであれば、初期費用はかかりません。Azureはサブスクリプションサービスであるため、システムが稼働した時間だけ課金されます。

データパイプラインと統合した場合とSQL Serverと統合した場合では、料金プランが異なります。また、データパイプラインと統合する場合、Data Factoryのバージョン（V1・V2）によっても料金プランは異なるため、事前に確認しておきましょう。

例えば、V2バージョンでデータパイプラインと統合する場合、「パイプラインのオーケストレーションと実行」、「データフローの実行とデバッグ」、「Data Factory の操作数」によって料金が変動します。
詳細は料金ページをご確認ください。

Azure Data Factoryの作成方法

1. Azure portalにサインインし、[リソースの作成]→[統合]→[Data Factory]を選択します。

2. Data Factoryの作成を行います。[基本]の項目を入力していきます。

3. [Git configuration]の項目は後で設定することも可能です。

4. [作成]をクリックすることでData Factoryが作成されます。

5. デプロイ完了後、Data factoriesから作成したリソースを確認することができます。

SE

Azure Data Factoryを上手に使いこなせば、ビッグデータも効率的に処理できますね！Azureをもっと勉強して、経営に活かせるアドバイスができるエンジニアを目指します！

PM

Azureエンジニアはこれからニーズ増えそうですから、目指す価値はありますね。Azure Data Factoryは本当に有効活用できれば、企業経営にとって強みになります。

企業経営管理に活用できるAzure Data Factory

企業には会計管理、勤怠管理、販売管理、顧客管理、物流システム、在庫管理など部門ごとに様々なデータが存在しています。こういった内部情報は、正しい経営判断を行うのであれば俯瞰して読み解く必要があります。そのためにはデータの統合が必要不可欠です。AzureにはAzure Data Factoryといったデータ統合機能が搭載されています。Azure に特化したエンジニアを目指して、企業ITのコンサルティングに活かしてみるのも良いのではないでしょうか。

>>>Azureの案件を探すならFEnet .NET Navi