自然言語処理

Google の Code-as-Policy により、ロボットは独自のコードを記述できます

Google のロボティクス チームの研究者は、大規模言語モデル (LLM) を使用してユーザー指定の目標を達成するロボット制御コードを生成するロボット制御方法である Code-as-Policies (CaP) をオープンソース化しました。 CaP は、HumanEval コード生成ベンチマークで以前の方法よりも優れたコード生成に階層的なプロンプト手法を使用します。 この手法と実験は、arXiv で公開された論文に記載されています。 CaP は、LLM を使用してロボットを制御する以前の試みとは異なります。 大まかな手順のシーケンスを生成する代わりに、または ポリシー ロボットによって呼び出されるように、CaP はこれらのポリシーの Python コードを直接生成します。 Google チームは、新しい階層プロンプト方式など、コード生成を改善する一連のプロンプト手法を開発しました。 この手法は、HumanEval ベンチマークで 39.8% pass@1 という新しい最先端のスコアを達成しました。 Google チームによると: ポリシーとしてのコードは、動作を変更し、それに応じて機能を拡張できるロボットへの一歩です。 これは可能ですが、合成されたプログラム (ランタイムごとに手動でチェックしない限り) が物理ハードウェアで意図しない動作を引き起こす可能性があるため、柔軟性によって潜在的なリスクも生じます。 システムがアクセスできる制御プリミティブをバインドする組み込みの安全性チェックでこれらのリスクを軽減できますが、既知のプリミティブの新しい組み合わせが同等に安全であることを確認するには、さらに多くの作業が必要です。 これらのリスクを最小限に抑えながら、より汎用的なロボットへの潜在的なプラスの影響を最大化する方法について、幅広い議論を歓迎します。 LLM は、多くの主題に関する一般的な知識を示し、幅広い自然言語処理 (NLP) タスクを解決できることが示されています。 ただし、論理的には正しいものの、ロボットの制御には役立たない応答を生成することもあります。 たとえば、「飲み物をこぼしてしまったのですが、手伝ってもらえますか?」という質問に対して、 LLM は「掃除機を使ってみてください」と答えるかもしれません。 今年初め、InfoQ は、大規模言語モデル (LLM) を使用して一連のロボット アクションを計画する Google の SayCan メソッドについて取り上げました。 LLM …

Google の Code-as-Policy により、ロボットは独自のコードを記述できます Read More »

Google の Code-as-Policy により、ロボットは独自のコードを記述できます

Google のロボティクス チームの研究者は、大規模言語モデル (LLM) を使用してユーザー指定の目標を達成するロボット制御コードを生成するロボット制御方法である Code-as-Policies (CaP) をオープンソース化しました。 CaP は、HumanEval コード生成ベンチマークで以前の方法よりも優れたコード生成に階層的なプロンプト手法を使用します。 この手法と実験は、arXiv で公開された論文に記載されています。 CaP は、LLM を使用してロボットを制御する以前の試みとは異なります。 大まかな手順のシーケンスを生成する代わりに、または ポリシー ロボットによって呼び出されるように、CaP はこれらのポリシーの Python コードを直接生成します。 Google チームは、新しい階層プロンプト方式など、コード生成を改善する一連のプロンプト手法を開発しました。 この手法は、HumanEval ベンチマークで 39.8% pass@1 という新しい最先端のスコアを達成しました。 Google チームによると: ポリシーとしてのコードは、動作を変更し、それに応じて機能を拡張できるロボットへの一歩です。 これは可能ですが、合成されたプログラム (ランタイムごとに手動でチェックしない限り) が物理ハードウェアで意図しない動作を引き起こす可能性があるため、柔軟性によって潜在的なリスクも生じます。 システムがアクセスできる制御プリミティブをバインドする組み込みの安全性チェックでこれらのリスクを軽減できますが、既知のプリミティブの新しい組み合わせが同等に安全であることを確認するには、さらに多くの作業が必要です。 これらのリスクを最小限に抑えながら、より汎用的なロボットへの潜在的なプラスの影響を最大化する方法について、幅広い議論を歓迎します。 LLM は、多くの主題に関する一般的な知識を示し、幅広い自然言語処理 (NLP) タスクを解決できることが示されています。 ただし、論理的には正しいものの、ロボットの制御には役立たない応答を生成することもあります。 たとえば、「飲み物をこぼしてしまったのですが、手伝ってもらえますか?」という質問に対して、 LLM は「掃除機を使ってみてください」と答えるかもしれません。 今年初め、InfoQ は、大規模言語モデル (LLM) を使用して一連のロボット アクションを計画する Google の SayCan メソッドについて取り上げました。 LLM …

Google の Code-as-Policy により、ロボットは独自のコードを記述できます Read More »

メカニカルエンジニアからデータサイエンティストへ

イドリス・カーン は、データ サイエンスと AI の専門知識を適用することにより、企業の多くの現実世界のビジネス上の問題を解決してきました。 彼はヘルスケア分野の AI に特に関心を持っています。 さらに、彼はこの分野で多くの研究論文を発表しています。 INDIAai は Idis にインタビューし、AI に関する彼の見解を聞きました。 機械エンジニアが AI に興味を持ったきっかけは? それはどのように始まったのですか? 私は工学部時代、オペレーションズ リサーチ、数学、統計学などの科目に強い関心を持っていましたが、基本的にはすべての理論的概念を学びました。 私は喜んで、これらのテーマのリアルタイムのユースケースを探し始めました. その後、Chota Rajan という犯罪者が顔認識によって逮捕された方法や、Google マップが数学と概念を使用して最適化された経路を提供する方法について知り、興味を持っています。 これらの使用例は魅力的で、私はこの分野に強い関心を持ちました。 当時、私はこれらすべてをデータ分析としてしか知りませんでした。 これらのトピックを学んだ後、私はこの分野についてさらに学び、最終的にはデータ サイエンスと人工知能についてさらに掘り下げました。 移行中に最初に直面した課題は何ですか? IT の存在がほとんどないホームタウンから来て、どこに行くべきか、何をする必要があるかを教えてくれるシニアが必要でした。 メンターを見つけるのは大変でした。 現在、オンラインで入手できる多くの情報と知識があります。 しかし、何を消費する必要があるかは大きな問題でした。 データ サイエンスは海です。すべてを知る必要はありません。人間的には、私の知る限り、すべてを学ぶことはほぼ不可能です。 もう 1 つの重要な課題は、プログラミング言語の学習です。 IT 以外のバックグラウンドを持っているため、論理構築を学ぶのではなく、言語を学ぶことに重点を置いています。 ロジックを構築する方法がわかれば、言語は障壁にはなりません。 アクセンチュアでのデータ サイエンティストとしての役割は何ですか? アクセンチュアの社内プロジェクトとして、アクセンチュア データ マーケットプレイス(データの売買ができる場所)のレコメンデーション システムを構築しています。 ポリシーによると、公開できないクライアント側の作業がさらに進行中です。 AI 研究、特に説明可能な AI であなたのインスピレーションを得たのは誰ですか? AI …

メカニカルエンジニアからデータサイエンティストへ Read More »

科学知識のための大規模な言語モデル

Meta AI と Papers with Code は最近、1200 億のパラメーターを持つ科学言語モデルである Galactica をリリースしました。このモデルは、学術文献の検索と要約、数学の問題の解決、科学コードの作成を行うことができます。 Galactica のアーキテクチャは、入力と出力の間のグローバルな依存関係を引き出すアテンション メカニズムであるトランスフォーマーに基づいています。 ただし、このモデルは、いくつかの変更を加えたデコードのみのセットアップです。 元のトランスフォーマーと比較したいくつかの変更には、活性化関数としての GeLU の使用、位置埋め込みの学習、バイト ペア エンコーディング メソッドを使用したボキャブラリ、およびデンス カーネルまたはレイヤー ノルムのバイアス パラメーターがないことが含まれます。 研究者は、さまざまなモダリティ (自然言語、数式、分子配列など) を使用したトークン化プロセスを使用してモデルをトレーニングしました。 彼らは、数学演算の文字を識別したり、さまざまな種類のシーケンスの開始/終了をマークしたりするなど、特別なトークン化を使用しました。 データセットのソース資料には、4,800 万の論文、教科書、参考資料、化合物、タンパク質、およびその他の科学的知識のソースが含まれていました。 彼らは、段階的な推論のセクションを特定するための特別なトークンを実装しました。これにより、Galactica は内部ワーキング メモリを適用するようになりました。 昨年、何十億ものパラメーターを備えた複数の大規模言語モデル (LLM) がリリースされましたが、それ自体は科学分野に特化したものではありません。 Galactica の論文でベンチマークされたモデルには、OPT、BLOOM、GPT-3、チンチラ、PaLM などがあります。 Galactic は推論で優れたパフォーマンスを発揮し、数学的 MMLU データセットでは Chinchilla を 41.3% から 35.7% 上回っており、数学では PaLM-540B を 20.4% 対 8.8% のスコアで上回っています。 一般的なコーパスでトレーニングされていないにもかかわらず、Galactica …

科学知識のための大規模な言語モデル Read More »

データ サイエンティストに最適な 8 つの IDE

IDE を使用すると、プログラマは複数のツールや情報に 1 か所でアクセスできます。 その結果、IDE は、その使いやすさと、構文の強調表示、ツール統合、キーボード ショートカット、解析などの機能により、データ サイエンティストにとって最適なコーディング ツールです。 ここでは、データ サイエンティスト向けのトップ IDE について説明します。 Jupyter ノートブック Jupyter Notebook は、Jupyter ドキュメントを作成するためのオープンソース IDE であり、作成してライブ コードで共有できます。 また、Web 経由でアクセスできるインタラクティブな計算環境でもあります。 Jupyter ノートブックは、Python、Julia、Scala、R など、さまざまなデータ サイエンス言語をサポートできます。 原子 Atom は、ML と DS の専門家向けの堅牢な IDE であり、Python 以外のいくつかの言語をサポートしています。 IDE の機能には、プラットフォーム間での編集のサポート、組み込みのパッケージ マネージャー、インテリジェントなオートコンプリート、ファイル システム ブラウザー、および多数のタブが含まれます。 さらに、Atom のインターフェイスとエクスペリエンスは、プラグイン、言語、ライブラリ、ツールが定期的に更新されているため、高度にカスタマイズできます。 スパイダー Spyder は、2009 年に Pierre Raybaut によって設立および開発されたオープンソース IDE です。 NumPy、SymPy、SciPy、pandas、IPython など、多くの …

データ サイエンティストに最適な 8 つの IDE Read More »

データサイエンスのキャリアのためにプログラミング言語を学ぶ

サティシュ・グプタ 現在、Cognizant で AI および分析のディレクターを務めています。 彼は、同社の製薬、ライフ サイエンス、およびヘルスケア クライアントのすべての R&D、発見、および分析に対してグローバルな支援を提供しています。 デリーの TCS でライフ サイエンス分野のコンサルタントとして、Bayer Crop Sciences アカウントの臨床および作物科学アプリケーションをサポートしました。 さらに、腫瘍学で使用される NGS パネルが CAP/CLIA/NABL 監査機関のコンプライアンス要件を満たすことを検証するチーム メンバーでもありました。 INDIAai は、Satish Gupta にインタビューして、AI に関する彼の見解を聞きました。 生物科学の学位を取得した人がデータ サイエンスに採用されているのを見るのは素晴らしいことです。 それはどのように始まったのですか? 科学は、研究から活用された新しい方法と技術の実装を通じてアップグレードし続ける進化的な主題です。 バイオインフォマティクスは、生命科学の学生がアルゴリズム、データベース、統計、プログラミングに触れられる科目の 1 つです。 新しいトピックを学びたいという願望と、バイオインフォマティクスを現在の科学研究に応用する必要性から、私たちの多くは徐々にデータ サイエンスへと駆り立てられています。 バイオインフォマティクスコースを提供し、科学および製薬部門の需要を満たす優れた大学や研究所が数多くあります。 第 3 世代および第 4 世代のテクノロジーを科学研究に適用することで、膨大な量のデータがバケツに注ぎ込まれ、より多くのことを学び、意味のある解釈を行うよう促されました。 データとライフ サイエンスの時代と呼ばれ、ヘルスケアと製薬部門はそれを非常にうまく活用しています。 AIのキャリアを求める動機は誰ですか? 原動力は何でしたか? それは段階的な動きだったと言えます。「バイオインフォマティクス」は修士課程の流行語であり、私たちに影響を与えました。 バイオテクノロジーの修士号を取得した後、業界でのキャリアを始めることに興味がありましたが、多くの理由で満足できませんでした。 業界への参入を模索することで、バイオインフォマティクスに対する今後の需要を認識しました。 ニューデリーにある JNU のバイオインフォマティクス コースでは、データベース、統計、プログラミングに触れる機会が多くなりました。これが、後に研究機関での仕事を継続し、さまざまな役割で業界でのキャリアを追求する動機となりました。 現代的なデータの見方では、リソースに対する膨大な需要があります。 これらの専門知識のブレンドがうまく適合するのは、「Explainable …

データサイエンスのキャリアのためにプログラミング言語を学ぶ Read More »