こんにちは。

今回はAzure Databricksについて紹介いたします。

Azure DatabricksはMicrosoft社が提供しているデータ分析プラットフォームです。

Databricksの高度なデータ分析環境をAzureのクラウドに最適化しており、好みの言語とツールを活用してデータにアクセスし、
新たな分析情報を共有可能です。

オープンソースのフレームワークであるApache Sparkの分散処理をベースとしており、ビックデータを分析するのに役立ちます。

以下にAzure Databricksの機能について以下に記載いたします。

・データ処理機能
Azure Databricksでは構造化データ・非構造化データを含め、様々なデータを使いやすい形式で保存することができます。
Apache SparkベースであるAzure Databricksでは分散処理により高速にデータの加工が可能です。

・データ分析機能
SQLクエリの実行や対話型のワークスペースにより、ローコードにてデータの解析が可能です。ダッシュボード機能を利用すれば可視化も容易に行えます。
タイムトラベル機能により、過去時点データにさかのぼることができるため、データの破損などにも対応しやすいといえます。

・機械学習
AzureとApache Sparkの基盤により、機械学習に必要な大量データを高速に処理することができます。
機械学習モデルのライフサイクル管理や学習実施ごとのパラメーター管理なども可能です。

・管理機能
データガバナンスの実現に有効なデータカタログ機能「Unity Catalog」や他システムとのデータのやり取りに有効な「Delta Sharing」、機械学習における
特徴量管理を実現する「Feature Store」など、様々な管理機能を利用することもできます。

Azure Databricksは大量のデータを高速に処理し、リアルタイムでの分析や意思決定を実現するために使用されています。

以上となります。

出典

https://azure.microsoft.com/ja-jp/products/databricks/

https://cloud.nissho-ele.co.jp/blog/what_is_azuredatabricks/#Azure_Databricks-3

https://iahenaho.com/azuredatabricksqa/

https://www.skyarch.net/column/azure-databricks/