Meta が Galactica の「Science」モデルをローンチ後に突然撤回

Meta は 11 月 15 日に Galactica と呼ばれる新しい言語モデルを発表しましたが、激しい批判を受けて、わずか 3 日後に一般に使用するよう促したというデモを撤回しました。

Galactica は、3 億 6000 万件を超えるコンテキスト内引用と、さまざまなソースからの 5000 万件を超える固有の参照を含む大規模なコーパスでトレーニングされました。 科学記事、教科書、百科事典の 4,800 万件の例を使用して、Galactica は引用を提案し、関連論文の発見を支援することになっていました。

私が理解しているサイトで提供されている例を見たところ、Galactica はプログラミング コードを平易な英語で説明したり、単純なコード ブロックを Python、JavaScript、C++ などのプログラミング言語間で翻訳したりできることがわかりました。

では、なぜ取り下げられたのでしょうか。

大きな言語モデルの問題

Galactica は、他のすべての大規模言語モデル (LLM) を悩ませているのと同じ問題に苦しんでいたことが判明しました。それは、生成しているものの背後にある科学を理解していませんでした。

これは、真実と虚偽を区別できず、誤った主張につながることを意味していました。 で報告されているように、 MITテクノロジーレビュー、偽のウィキ記事を生成するなど、実際の著者に起因することがある偽の論文で構成されていました.

の 1 つの引用 MITテクノロジーレビュー 状況をまとめたレポートは、ワシントン大学の准教授である Chirag Shah からのものでした。

シャーは次のように述べています。 これらのことを実証することになると、それらはとても幻想的で、魔法的で、知的に見えます. しかし、人々は、原則として、そのようなことは私たちが誇大宣伝する方法ではうまくいかないということをまだ理解していないようです。」

一部の科学者も強く反対しています。 統合モデリング言語を共同開発したソフトウェア エンジニアの Grady Booch 氏は、Twitter に次のように書いています。 楽しい。 危険。 そして私見は非倫理的です。」

その中心にあるのは、ギャラクティカのコンテンツが微妙な方法で誤解を招く可能性があるにもかかわらず、適切な科学用語を使用して権威ある声で書かれていることです. 高度に専門化された分野の非真実は、そのニッチに精通していない科学者によってさえ発見されないかもしれないという危険は現実のものです. さらに、ギャラクティカによって作成された偽の論文は、他の専門家によって引用され、虚偽が定着する可能性があります。

はっきり言って、ギャラクティカは多くの点でブレークスルーです。 Meta が発行したホワイト ペーパーによると、LaTeX 方程式を使用した最新の GPT-3 よりも優れており、数学的 MMLU では DeepMind の GPT-3 ライバルである Chinchilla、数学では Google の 5,400 億パラメーターの PaLM モデルよりも優れています。 Galactica は BigScience のオープンソースの BLOOM モデルと OPT-175B を BIG-bench で上回っています。

その背後にあるチームは、大規模な言語モデルは、従来の検索エンジンでは不可能な方法で科学的知識を保存、結合、および推論できるという点で、検索エンジンよりも優れていると考えています。 これにより、可能性が生まれると彼らは言います。

「これらの結果は、科学の新しいインターフェースとしての言語モデルの可能性を示していると信じています」と著者は、ギャラクティカと一緒に発表された論文に書いています。 論文「Galactica: A large language model for science」はこちらで読むことができます (pdf).

Paul Mah は DSAITrends の編集者です。 元システム管理者、プログラマー、および IT 講師である彼は、コードと散文の両方を書くことを楽しんでいます。 あなたは彼に連絡することができます [email protected].

画像クレジット: iStockphoto/billyfoto

.

Leave a Comment

Your email address will not be published. Required fields are marked *