Snowpark for Python が一般公開されました

(Trismegistさん/Shutterstock)

Snowflake と Anaconda は最近、Snowflake のデータ クラウド内に Anaconda のデータおよび機械学習パッケージを埋め込むソリューションである、Snowpark for Python の一般提供を発表しました。

以前は 6 月からパブリック プレビューで利用可能でしたが、この新しいネイティブ統合は、Snowflake 内でデータ パイプラインと機械学習ワークフローを直接構築したいと考えているデータ サイエンティスト、データ エンジニア、開発者、アナリストの Python コミュニティを対象としています。

Snowflake によると、Python はデータの世界で人気が SQL に追いついています。Snowpark for Python の背後にある主な動機は、SQL と Python が連携することの価値を促進することであり、別々の言語で複雑なインフラストラクチャを管理する必要はありませんでした。

ソース: スノーフレーク

これらの企業は、Snowpark for Python の機能を次のようにリストしています。

  • データをコピーまたは移動する必要なく、安全な Python ベースのワークフローを実行します。
  • NumPy、scikit-learn、SciPy、pandas、TensorFlow などの最も人気のあるオープンソースの Python パッケージに、手動でインストールすることなく Snowflake でアクセスできます。
  • Anaconda の依存関係管理と安全に構築されたパッケージを使用して、Snowflake の安全な処理エンジン内で実行される Python ベースのワークフローを高速化します。
  • Snowflake 内の安全なサンドボックスで実行される Anaconda がキュレートした Python ライブラリを使用して、本番データ パイプラインとデータ サイエンス ワークフローを構築します。

「今年の 6 月に Python 用の Snowpark で Anaconda のパブリック プレビューを発表して以来、データ サイエンティストは、お気に入りのプログラミング言語をデータベース内で直接使用できるようになったことで、ゲームチェンジャーになったと語っています。アナコンダの創始者。 「Snowflake ユーザーは、組織のガバナンスのニーズを満たしながら、最先端の機械学習ツールを使用して生産性を高めることができます。 本番環境では、ビジネスが機械学習モデルを「見て」、ビジネス環境に展開することがより簡単になります。」

複数の言語でコーディングすると、サイロ化されたデータが原因でセキュリティ リスクが高まる可能性があります。コンピューティング環境での依存関係です」と Anaconda はリリースで述べています。

Snowflake 内の Python のネイティブ統合のための Snowpark。 出典:アナコンダ

Snowflake の製品管理ディレクターである Torsten Grabs 氏は、次のように述べています。 「Anaconda のリポジトリとパッケージ マネージャーを Snowflake エンジンに組み込むことで、データ サイエンティストとエンジニアは、データをコピーまたは移動する必要なく、最も人気のあるオープン ソース パッケージを使用できます。」

Snowflake は、Snowpark for Python の GA はほんの始まりに過ぎないと述べています。 同社は、Snowflake および Anaconda のアイデア ボードからのコミュニティ フィードバックに基づいて、積極的に機能を拡張しています。 同社は、Snowflake チャネルで利用可能な 2,000 以上のパッケージの既存のリポジトリにパッケージを追加し続けます。 パブリック プレビュー以降、追加されたサンプル パッケージには、Prophet、PyNomaly、Datasketch、h3-py、Gensim、email_validator、PyPDF2、tzdata などがあります。 将来、Snowflake は Python 3.9 以降のサポートを追加し、ユーザー定義の集計関数を提供し、より詳細なパッケージ アクセス コントロールの機能を付与する予定です。

Snowflake は、Snowpark に最適化された倉庫のパブリック プレビューも発表しました。 同社は、新しいウェアハウス オプションの各ノードが、標準のウェアハウスと比較して 16 倍のメモリと 10 倍のキャッシュを提供すると主張しています。 Snowflake によると、これにより Snowflake 内で大規模なデータセットの ML トレーニングが可能になり、統計分析、特徴量エンジニアリング変換、モデル トレーニング、推論などのメモリ集約型操作が可能になります。

関連商品:

セキュリティ上の懸念がオープンソース データ サイエンスの引き戻しを引き起こしている、と Anaconda が警告

Snowflake が Summit でネイティブ アプリ、UniStore などの Python サポートを発表

Anaconda が新しいコーディング ノートブックとトレーニング ポータルを発表

Leave a Comment

Your email address will not be published. Required fields are marked *