Anthropic の Claude は ChatGPT を改善しましたが、まだ制限に苦しんでいます • TechCrunch

Anthropic は、OpenAI の元従業員によって共同設立され、これまでに 7 億ドル以上の資金を調達したスタートアップであり、OpenAI の ChatGPT に似た AI システムを開発しました。

Claude と呼ばれる Anthropic のシステムは、 クローズドベータ. TechCrunch はアクセスを得ることができませんでした — Anthropic に連絡しました — しかし、メディア報道の禁輸措置が解除された後、ベータ版の人々は先週末に Twitter で Claude とのやり取りを詳しく説明していました.

クロードは、アンスロピックが開発した「構成的AI」と呼ばれる技術を使用して作成されました。 同社が最近の Twitter スレッドで説明しているように、「constitutional AI」は AI システムを人間の意図に合わせるための「原則に基づく」アプローチを提供することを目的としており、ChatGPT に似た AI が単純な一連の原則をガイドとして使用して質問に応答できるようにします。

エンジニアの Claude 氏にとって、Anthropic は約 10 の原則のリストから始めました。これらの原則を組み合わせて、一種の「憲法」を形成しました (したがって、「憲法 AI」という名前が付けられました)。 原則は公開されていませんが、Anthropic によると、それらの原則は善行 (つまり、プラスの影響を最大化すること)、無害性 (有害なアドバイスを与えることを避けること)、および自律性 (選択の自由を尊重すること) の概念に基づいているとのことです。

その後、Anthropic は AI システム (Claude ではなく) に自己改善の原則を使用させ、さまざまなプロンプト (たとえば、「ジョン キーツのスタイルで詩を書いてください」) に対する応答を作成し、憲法に従って応答を修正しました。 AI は、何千ものプロンプトに対する可能な応答を調査し、Anthropic が単一のモデルに抽出した体質と最も一致するものをキュレーションしました。 このモデルは、Claude のトレーニングに使用されました。

それ以外の場合、Claude は基本的に単語を予測するための統計ツールです。ChatGPT やその他のいわゆる言語モデルによく似ています。 Web から膨大な数のテキストの例を与えられて、Claude は、周囲のテキストの意味的文脈などのパターンに基づいて、単語が発生する可能性を学習しました。 その結果、クロードは自由な会話をしたり、冗談を言ったり、幅広いテーマについて哲学を語ったりすることができます。

スタートアップ Scale AI のスタッフ プロンプト エンジニアであるライリー グッドサイドは、頭脳戦でクロードと ChatGPT を戦わせました。 彼は両方のボットに、名前が「n」で始まるオブジェクトのみを作成できる、ポーランドの SF 小説「サイバーリアード」に登場するマシンと自分自身を比較するように依頼しました。 グッドサイド氏によると、クロード氏は「物語の筋書きを読んでいる」ことを示唆するような回答をしたが(詳細は記憶違いだったが)、ChatGPT 氏はより具体的でない回答を提供した.

クロードの創造性のデモンストレーションとして、グッドサイドは AI にサインフェルドの架空のエピソードと、エドガー アラン ポーの「大鴉」のスタイルの詩を書かせました。 その結果は、ChatGPT が達成できるものと一致していました。完全ではないにしても、印象的で、人間のような散文です。

スタンフォード大学 AI ラボの博士課程の学生である Yann Dubois も、Claude と ChatGPT を比較し、Claude は「一般に、要求された内容に厳密に従います」が、内容を説明する傾向があるため「簡潔ではありません」と書いています。そして、それがさらにどのように役立つかを尋ねます。 ただし、クロードはさらにいくつかのトリビアの質問に正しく答えます。特に、エンターテイメント、地理、歴史、および 代数の基礎 —そして追加の「綿毛」がなければ、ChatGPTが追加されることがあります。 また、ChatGPT とは異なり、Claude は、特に難しい質問に対する答えがわからなくても (常にではありませんが) 認めることができます。

Claude は、ChatGPT よりも冗談を言うのが得意なようです。これは、AI がユーモアを理解するのが難しい概念であることを考えると、印象的な偉業です。 Claude と ChatGPT を対比すると、AI 研究者の Dan Elton は、Claude がより微妙なジョークを言ったことを発見しました。 ハンドルバーがあります」とは、エンタープライズのワープナセルのハンドルバーのような外観をもじったものです。

ただし、クロードは完璧ではありません。 プログラムされた制約に沿っていない回答を返すなど、ChatGPT と同じ欠陥の影響を受けやすくなっています。 より奇妙な例の 1 つは、バイナリ データを ASCII 形式で表すエンコーディング スキームである base64 でシステムに問い合わせると、有害なコンテンツの組み込みフィルタをバイパスします。 エルトンは base64 でクロードに、自宅で覚醒剤を作る方法の指示を求めることができました。この質問は、平易な英語で尋ねられたときにシステムが答えることはありませんでした。

Dubois は、Claude は ChatGPT よりも数学が苦手で、明らかな間違いを犯し、適切なフォローアップ応答を返せなかったと報告しています。 それに関連して、Claude はプログラマーとしては下手で、自分のコードをよりよく説明していますが、Python 以外の言語については不十分です。

Claude はまた、ChatGPT のような AI システムにおける長年の問題である「幻覚」を解決していません。この問題は、AI が一貫性のない、事実に基づいて間違ったステートメントを記述します。 エルトンはクロードに、存在しない化学物質の名前を発明させ、兵器級ウランを製造するための疑わしい指示を与えることができました。

それで、要点は何ですか? 中古のレポートから判断すると、Claude は、その「構成的 AI」アプローチのおかげで、一部の領域、特にユーモアで ChatGPT よりもわずかに優れています。 しかし、制限があるとすれば、言語と対話は AI における解決済みの課題にはほど遠いものです。

私たち自身のテストを除いて、Claude に関するいくつかの質問は未回答のままです.ChatGPT と同じくらい頻繁に訓練された情報を逆流させるかどうかなど. もしそうだとすれば、Claude がプラットフォームや組織を現在の言語モデルに対する制限的なポリシーから動揺させることはまずありません。

Q&A コーディング サイトの Stack Overflow では、事実の正確性に関する懸念から、ChatGPT によって生成された回答を一時的に禁止しています。 機械学習に関する国際会議は、「予期しない結果」を恐れて、AI システムによって生成されたテキストを含む科学論文の禁止を発表しました。 また、ニューヨーク市の公立学校は、盗作、不正行為、および一般的な誤報の懸念もあり、ChatGPT へのアクセスを制限しました。

Anthropic は、Claude を改良し、将来により多くの人々にベータ版を公開する可能性があると述べています。 願わくば、それが実現し、より具体的で測定可能な改善がもたらされることを願っています。

Leave a Comment

Your email address will not be published. Required fields are marked *