OpenAI の ChatGPT チャットボットはソフトウェアのバグを非常にうまく修正できますが、他の方法や AI モデルに対する主な利点は、回答の正確性を向上させることができる人間と対話する独自の機能です。
ヨハネス グーテンベルク大学マインツとユニバーシティ カレッジ ロンドンの研究者は、OpenAI の ChatGPT を、「標準的な自動プログラム修復技術」と、プログラム修復のための 2 つのディープラーニング アプローチと比較しました。カナダのウォータールー大学の研究者による CoCoNut。 Codex は OpenAI の GPT-3 ベースのモデルで、GitHub の Copilot ペアプログラミング自動コード補完サービスを支えています。
また: ChatGPT の使用を開始する方法
「ChatGPT のバグ修正パフォーマンスは、一般的な深層学習アプローチ CoCoNut および Codex に匹敵し、標準的なプログラム修復アプローチで報告された結果よりも著しく優れていることがわかりました」と研究者は、New Scientist によって最初に発見された新しい arXiv 論文に書いています。
コーディングの問題を解決するために ChatGPT を使用できることは新しいことではありませんが、研究者は、人間と対話するためのその独自の機能により、他のアプローチやモデルよりも有利になる可能性があることを強調しています。
研究者は、QuixBugs バグ修正ベンチマークを使用して ChatGPT のパフォーマンスをテストしました。 自動プログラム修復 (APR) システムは、2018 年より前に開発されたため、不利な立場にあるようです。
ChatGPT は、Meta の AI チーフ Yann LeCunn が今週強調したトランスフォーマー アーキテクチャに基づいており、これは Google によって開発されました。 Codex、Microsoft Research の CodeBERT、およびその前身である Google の BERT はすべて、Google の変換方式に基づいています。
OpenAI は、デバッグ コードの例で ChatGPT の対話機能を強調し、明確化を求めたり、人からより良い答えにたどり着くためのヒントを受け取ったりすることができます。 人間のフィードバックからの強化学習 (RLHF) を使用して、ChatGPT (GPT-3 および GPT 3.5) の背後にある大規模な言語モデルをトレーニングしました。
ChatGPT のディスカッション機能は、より正確な回答に到達するのに役立ちますが、その提案の質は不明のままである、と研究者は指摘しています。 そのため、彼らは ChatGPT のバグ修正パフォーマンスを評価したいと考えていました。
研究者は、QuixBugs 40 の Python のみの問題に対して ChatGPT をテストし、提案された解決策が正しいかどうかを手動で確認しました。 チャットボットを MBA のような試験にかけた後、Wharton 教授が発見したように、ChatGPT の回答の信頼性にはある程度のランダム性があるため、彼らはクエリを 4 回繰り返しました。
また： 開発者の役割は根本的に変化しており、これらの数字はどのように変化しているかを示しています
ChatGPT は 40 の Python バグのうち 19 を解決し、CoCoNut (19) と Codex (21) で解決しました。 しかし、標準的な APR 手法では 7 つの問題しか解決できませんでした。
研究者は、フォローアップ インタラクションによる ChatGPT の成功率が 77.5% に達したことを発見しました。
ただし、労力と生産性に関する開発者への影響はあいまいです。 スタック オーバーフローは最近、ChatGPT で生成された回答を禁止しました。これらの回答は低品質ですが、もっともらしく聞こえたからです。 ウォートン大学の教授は、ChatGPT は MBA の学生にとって優れたパートナーになる可能性があることを発見しました。それは、洗練された、しかししばしば間違った答えを出す「賢いコンサルタント」の役割を果たし、批判的思考を育むことができるからです。
「これは、ChatGPT がその手段を提供することで、人間の入力が自動化された APR システムに大いに役立つことを示しています」と研究者は書いています。
「その優れたパフォーマンスにもかかわらず、ChatGPT の回答を検証するために必要な精神的コストが、ChatGPT がもたらす利点を上回るかどうかという疑問が生じます。」