冷静に取り残されると、企業はセマンティック レイヤーに戻る

過去 10 年間で、データ レイク、クラウド コンピューティング、データ メッシュなど、より優れたデータ管理を実現する新しいエンタープライズ テクノロジが登場しました。 しかし、セマンティック レイヤーの重要性は途中で忘れ去られてしまいました。 企業は、記述的分析チームとテクノロジーがまだ 2 つの別々の場所にあるため、データとデータ サイエンス チームの間にまだギャップがあると考えています。 記述的分析と ML ベースの分析はまったく別物ですが、企業にとってどちらも同じように不可欠です。

セマンティック層の必要性

セマンティック レイヤーは、データ アーキテクチャの基盤となるプラットフォームの 1 つであり、ユーザーが簡単な言語で自分でデータにアクセスできるようにします。 その価値は、言語と視点が一貫していることだけにあるわけではありません。 その後、顧客はビジネス指標を決定して自分で定義し、再利用し続けることができます。 セマンティック レイヤーにより、組織内の重要な指標をワークストリーム全体で同じにすることができ、データ サイエンティストがチーム間の調整に費やす時間を削減できます。

企業における複数のデータ ソースとユース ケースソース: getdbt.com

組織にセマンティック レイヤーが適切に配置されている場合、生データがどこに保存されているか、またはさまざまなチームがデータ出力を使用するためにどのツールを使用しているかは問題ではありません。 すべてのチームは、セマンティック レイヤーから自分自身をフィードするだけで済み、データ サイエンティストが見つけた新しい情報をレイヤーにフィードするだけで、将来の意思決定もそれらに基づくことができます。 これにより、通常は特定のプラットフォームやツールに縛られていたデータ サイエンスが解放され、作業をやり直すコストがなくなります。 ただし、何百もの散在するレポートではなく、定義用の 1 つのセマンティック レイヤーを維持する方がはるかに簡単です。

セマンティック レイヤーの概念は 90 年代初頭にまでさかのぼりますが、現在、業界で復活しています。 1991 年、SAP はセマンティック レイヤーを導入しました。 しかし、私たちが知っている「最新の」セマンティック レイヤーが戻ってきたのは 2021 年になってからです。 MetriQL、Airbnb の Miernva、MetricFlow、Cube.js などのツールは、セマンティック レイヤーを提供しました。

セマンティックレイヤーが放棄されたのはなぜですか?

これらすべての利点にもかかわらず、集中化されたセマンティック レイヤーは扱いにくいため、企業は意図的にセマンティック レイヤーから離れていました。 セマンティック レイヤーの構築と維持には時間がかかりました。 さらに、レイヤーはデータベースおよび発生する変更と継続的に同期する必要があります。

セマンティック レイヤーのデータは通常、複数のバックエンド システムまたは運用データ ストア (ODS) にも存在するため、システムまたはツールごとに 1 つのセマンティック レイヤーを保持する必要があるため、組織は複数のセマンティック レイヤーを同時に管理する必要がありました。

しかし、企業内のロジックはいたるところに分散しており、データが分散され、複製され、さまざまなデータの組み合わせが形成されていました。 企業は間違いなくデータを必要としていましたが、データから逃れることもできませんでした。 組織には複雑な個人モデルがあり、データ管理は大きな課題になりつつありました。

セマンティック レイヤーと Tableau を備えたセルフサービス BI ツール、出典: AtScale

新しい BI ツールの台頭

俊敏性を維持する目的で、企業は、Tableau や Qlik などのビジネス インテリジェンス (BI) で登場した、一見派手な新しいツールを使用し始めました。 その後、重くて集中化されたセマンティック レイヤーは完全に廃止されました。 これらのローコード ノーコード BI ツールがプロセスを簡素化し、データを民主化するという考えでした。 IT 企業は、より洗練されたクライアントを満足させるように、ゆっくりと迫られていました。 しかし、これらの製品が登場すればするほど、より多くの企業がそれらを適応させ、より混乱を招くようになりました.

複数のチームに複数の BI ツールがあり、単一のセマンティック レイヤーはありませんでした。ある人は Tableau を使用し、ある人は Power BI を使用し、別の誰かは Excel を使用し、単一のデータ ポイントはありませんでした。

ソース: getdbt.com

新しいユニバーサル セマンティック レイヤー

これらのデータ ディスカバリー ツールは、設計された目的には優れていたものの、コア BI には必ずしも適していないことに気付いたのはかなり後になってからのことです。 これが必要とするのは、新しく改良されたユニバーサル セマンティック レイヤーです。

のようなクラウド ビジネス グーグルスノーフレーク ユニコーンでさえ dbtラボ 現在、ユニバーサルセマンティックレイヤーの不可欠性について声を上げています。 dbt Labs の新しいセマンティック レイヤーの背後にある中心的なアイデアは、ユーザーがユニバーサル メトリックを 1 回定義するだけで、どこでも使用できるようにすることです。

ディスカバリーは BI の正当な機能であるため、データ ディスカバリー ツールを破棄できると言っているわけではありませんが、データ ディスカバリーとセマンティック レイヤーのツールは互換性がありません。

セマンティック レイヤーについて覚えておくべき重要なことは、それが「オール オア ナッシング」の原則に従っているということです。 セマンティック レイヤーは、真に普遍的であり、そうでない場合はターゲットを完全に見逃している場合にのみ役立ちます。 これは、データ サイエンティスト、ビジネス アナリスト、開発者など、幅広いユース ケースと役割をサポートする必要があることを意味します。 ユニバーサル セマンティック レイヤーは、SQL、MDX、DAX、Python REST、JDBC、ODBC などのさまざまなクエリ ツールとも連携する必要があります。

理想的なセマンティック レイヤーは、メトリクスや KPI などの論理要素をデータベース内の物理エンティティにマッピングするセマンティック モデリング、スケーラブルな多次元計算エンジン、速度と分析ガバナンスに作用するパフォーマンスの最適化などのコア機能によって定義されます。

これらの要件のいずれかが欠けている場合、セマンティック レイヤーは本質的に使用できなくなります。

Leave a Comment

Your email address will not be published. Required fields are marked *