プロンプトエンジニアリング

ChatGPTコードインタープリターの探索:その機能の深い掘り下げ

Aayush Mittal
Unite.AI を Google の優先ソースに追加
要点OpenAIのCode Interpreterは、ChatGPTをコードを実行し多様なファイル形式を処理できる計算ツールへと変えます。
もっと見る
  • OpenAIのCode Interpreterは、ChatGPTをコードを実行し多様なファイル形式を処理できる計算ツールへと変えます。
  • システムの機能的正確性は、従来のテキストマッチング指標ではなく、ユニットテストを用いたpass@kによって測定されます。
  • Code Interpreterは、ユーザーの安全性のために300以上のライブラリと一時ファイルストレージを備えた安全なサンドボックス環境で動作します。

OpenAIによる自然言語処理(NLP)の進歩は、大規模言語モデル(LLM)の発展と結び付いています。GitHub CopilotやBingなど、多くの人が利用する製品にもこうした能力が組み込まれています。情報のパターンを学習し組み合わせることで、モデルはコードや文章の生成に力を発揮します。本記事は、2023年の原文で紹介された機能と実験に基づいています。

ChatGPTのコードインタープリターとは

コードインタープリターは、ChatGPTとの対話にコードの作成や実行を組み合わせる機能です。開発者がコードを理解したり、バグを調べたり、新しいコードを作ったりする助けになります。さまざまなプログラミング言語について説明できることと、実行環境でその言語を直接実行できることは区別する必要があります。以下の実験ではPythonの実行環境を使っています。

コーディング向けGPTの学習:Codexのアプローチ

原文はGitHub CopilotとChatGPTのコードインタープリターを紹介する中で、OpenAIのCodexモデルの研究を取り上げています。以下の数値はCodex研究の評価結果です。
CodexはPythonコードの生成に特化して学習させたGPT言語モデルです。GitHubの公開コードを使って学習し、Copilotにも活用されました。docstringからプログラムを生成する機能的正しさの評価では、GPT-3とGPT-Jを上回りました。
複数の候補を生成すると成功率が上がる点も注目されます。1問につき最大100個の候補を生成した場合、70.2%の問題で成功する解答が得られました。この結果から、すべての候補を完全に評価する代わりに、ヒューリスティックな順位付けで正しい候補を選ぶ可能性も考えられます。
評価ではdocstringだけを与えて独立したPython関数を生成させ、ユニットテストで正しさを測りました。言語理解、アルゴリズム、基本的な数学を含む164問の独自問題に対し、120億パラメーターのCodexは1回の試行で28.8%を解きました。

Traning Data for Codex Model - chatgpt code interpreter

Codexモデルの学習データ:https://arxiv.org/abs/2107.03374


私は過去5年間、機械学習とディープラーニングの魅力的な世界に没頭してきました。情熱と専門知識を活かし、AI/MLに特に重点を置きながら、50を超える多様なソフトウェアエンジニアリングプロジェクトに貢献してきました。尽きない好奇心から自然言語処理にも関心を持つようになり、この分野をさらに探究したいと考えています。