復旦大学のXiao Yanghua教授：ChatGPTコードインタープリタは画期的な成果だ

出典: ザ・ペーパー

シャオ・ウェン記者

ChatGPT コード インタープリタのベータ版がリリースされると、ユーザーはプログラマーでなくても、自然言語を使用して ChatGPT に指示を出し、複雑なプログラミング タスクを完了できるようになります。これは、言語ギャップの解消と業界の再構築という 2 つの大きな影響を与える可能性があります。

将来の大規模モデルの迅速な反復には 2 つの傾向があります。1 つは、ChatGPT がより大規模でより多様なデータから確実に学習し、同時にプライベート ドメインでより専門的なデータを組み合わせてより広範な学習を実行することです。 2つ目は、データ分析の度合いが高まり、ある程度深い学習になると考えられます。

画像の出典: Unbounded AI ツールによって生成

ChatGPT コード インタープリタのベータ バージョンは、すべての ChatGPT Plus ユーザーに正式に公開されており、人間の自然言語を命令として使用して、大規模なモデルを駆動して数学的演算、データ分析、専門的なチャート描画を完了し、ビデオの生成や株式市場の分析も行うことができます。

「OpenAIのChatGPT機能が再びアップグレードされました。ツールからアシスタントへのアップグレードが完了し、今回は通常のアシスタントからプロのアシスタントにアップグレードされました。」 7月12日、復旦大学教授Xiao Yanghua氏は述べた。およびデータ サイエンス Pengpai Technology の上海主要研究所のディレクター (OpenAI の最近の大ヒット リリースである ChatGPT コード インタープリター (コード インタープリター) について話しています)。

7 月 9 日 (北京時間), ChatGPT コード インタプリタのベータ版がすべての ChatGPT Plus ユーザーに正式に公開されました. これは人間の自然言語を命令として使用して, 大規模なモデルを駆動して数学的演算, データ分析, プロのチャート描画などを完了させることができます.ビデオを作成し、株式市場を分析します。

つまり、ユーザーがプログラマーでなくても、ChatGPT に自然言語で指示を与えて、複雑なプログラミング タスクを完了することができます。これは外部から「GPT-4史上最も強力な機能」と評価されている。

「不適切な比喩を使うと、OpenAI は『長い間計画』されるべきであることがわかります。彼らは、大規模モデルのマルチモーダル インタラクション機能を向上させるために懸命に取り組んできました。」マルチモーダル インタラクションは、によって推進されています。自然言語、画像、特殊な図などのマルチモーダルなタスクの機能。

そのようなプロのヘルパーになるとはどういう意味ですか？ 「これは、ChatGPT が高度に専門的な作業を数多く完了できることを意味します。データ サイエンス専攻など、大学で関連する専攻を持つ学部生の作業にも適していると言えます。」と Xiao Yanghua 氏は述べました。

「データを分析する能力が、大規模モデルが将来獲得できる能力を決定します。」

ChatGPT がこの分野でアップグレードすることを選択した理由について、Xiao Yanghua 氏は、データの詳細な分析と学習によるものだと考えています。このようなデータは広く存在しており、ほとんどの論文には基本的にさまざまな分野の専門的なデータ分析が含まれています。 GPT の以前のバージョンは主にテキスト データの効果的な使用に焦点を当てていましたが、グラフ、グリッドの使用、およびこれらのデータ内のテキストとの対応は比較的広範でシンプルです。実際、このアップグレードは、専門文献やその他のデータの詳細な分析と、テキスト、グラフ、数式の間の対応関係の確立の恩恵を受け、GPT が自然言語対話を通じてグラフや表を操作できるようになりました。

このような発見から、Xiao Yanghua 氏は技術研究開発において次のような啓示を得ました。「コーパスのこの種の詳細な分析能力は、大規模モデルの能力を決定する核心要素の 1 つである可能性があります。大規模モデルの開発データ量は関係ありません。」

ChatGPT に関して、Xiao Yanghua 氏は、OpenAI の取り組みの方向性は、より高品質のデータを求め、既存のデータを深く分析して、その機能をますます強力にすることにあると考えています。したがって、大規模かつ高品質で多様なデータを取得し、それらのデータを詳細に分析することは、大規模モデルの開発を促進するための重要なアイデアの 1 つと考えられます。 」

「言語のギャップを解消する」

ChatGPT 全体の機能アップグレードを見ると、Xiao Yanghua 氏は、注目に値する 2 つの影響が考えられます: 1 つ目は「言語ギャップの解消」、2 つ目は産業形態の再構築です。

言語ギャップとは何ですか?コンピューターの発明以来、人間はコンピューターが自らの希望に応じてさまざまな設定されたタスクを実行できるようにすることを望んでいますが、そのためには専門家が非自然言語または形式言語 (初期のアセンブリ言語、その後の C++ 高等言語など) を使用して意図を表現し、指示を発行する必要があります。 -レベルのプログラミング言語、SQLなどの構造化クエリ言語など人間のコミュニケーションやコミュニケーションの言語は自然言語です。

西洋の伝説によると、人間が天まで届く「バベルの塔」を建設するのを阻止するために、神は人間の言語をめちゃくちゃにし、人間が他者と意思疎通したり理解したりすることを不可能にしたという。 Xiao Yanghua氏は、機械と人間の間にもそのような状況があると考えており、少なくとも機械は人間の自然言語を正確に理解することができず、実際には人間が機械に適応し、その意図をさまざまな形式言語に変換してきたと考えている。

しかし、コンピュータが完了しなければならないタスクは何千もの業界に存在しており、これは、専門家がさまざまなタスクを完了するために、チップ設計専用の言語やチップ設計のための言語など、さまざまな言語を学ばなければならないことを意味すると、シャオ・ヤンファ氏は述べた。オフィスオートメーション。これらすべてを習得するには複雑なトレーニングが必要であるため、あらゆる専門的な業務には複雑な言語学習が必要であり、特定の業界に従事する人々にとって言語の敷居が高くなります。

しかし現在、蕭陽華氏は「これらの形式言語はすべて不必要であり、基本的には自然言語で置き換えることができる」と判断しているようで、ある程度までは、機械は人間の自然言語を「理解」していると同時に、人間の自然言語を「理解」していると考えられる。さまざまな自然言語で表現された人間の意図を、プログラミング言語やチップ設計言語などの対応する形式言語に正確に変換できる、さまざまな専門形式言語を開発しました。

これは言語のギャップを解消するためであり、機械が人間を「理解」するための障壁はなくなります。 「ChatGPT の最初のバージョンが人間と機械の間の自然言語表現のギャップを解消したとすれば、コード インタプリタ機能を備えたこの ChatGPT は人間とマシンの間の専門的な言語表現のギャップを解消するでしょう。」 Xiao Yanghua 氏は、これが非常に広範囲に影響を与えると信じています。 . Impact はマイルストーンの達成です。

「間もなく、大きなモデルは、数学的言語や物理的言語など、人間が非常に専門的な仕事に従事するために必要な「言語」能力と、それに対応する思考能力や問題解決能力を徐々に習得できるようになるでしょう。同様に、数学者が研究作業を行うために必要な数学言語は形式言語のみであり、自然言語と対応する専門言語のペアのデータが得られる限り、大規模モデルは学習する機会があります。論文では、MATLAB などの広く使用されているプロフェッショナル ソフトウェアもデータ合成に使用できるため、大規模なプロフェッショナル能力の学習におけるデータ不足の問題がさらに軽減されます。」と Xiao Yanghua 氏は述べました。

**専門職の需要はまだありますか? **

これは、将来的には、専門用語の習得を必要とする専門的な仕事のほとんどをうまく行うことができ、大型モデルでもそれをうまく完了できる可能性があることを意味します。 Xiao Yanghua 氏は、専門家が成長する余地はまだあるのか、それとも彼らの仕事は必要なのか、と尋ねました。

Xiao Yanghua 氏の見解では、大規模モデルの能力が向上することで、言語の助けを借りて行われるすべての作業は、将来 3 つのステップに分割されるでしょう。最初のステップはプロンプト ()、2 番目のステップは生成、そして3 番目のステップは評価です。

「明らかに、これらの生成された仕事は、プロか非プロかに関係なく、大きなモデルに引き渡すことができます。しかし、プロは、即時に言葉を書くこと、大規模なモデルの生成に必要なプロフェッショナリズムをどのように促すか、チャートを作成する方法など、依然として価値があります。 「生成された結果の品質を評価し、分析する必要があります。これらの側面では人間にはまだ利点があります。あるいは、短期的には、大型モデルが有能になるためにはさらに大きな改善が必要です。」と蕭陽華氏は述べ、これにより業界の形態が再形成されるだろう。

さらに、コンテンツ生成と分析作業に関連するほとんどのタスクは、多くの細分割ステップに分解されます。その中で、反復的で日常的な生成的な細分割ステップは、徐々に大規模モデルに引き継がれ、従来の小規模モデルが行っていた細分割タスクは、得意なタスクは小さなモデルに引き継がれ、まだ人間にしか得意でない細分化タスクは人間に引き継がれます。 Xiao Yanghua 氏は、複雑なタスクを複数のステップに分解し (分解)、その後、大規模モデル、小規模モデル、人間によって得意なステップを完了する (再編成) のが基本的な傾向であると考えています。

大規模モデルの迅速な反復に関する 2 つの傾向

このアップデートが GPT-4.5 の出現を表すかどうかについては、Xiao Yanghua 氏はこれが重要ではないと考えていますが、この問題は非常に多くの注目を集めています。これは実際に、大規模なモデルの急速な反復に対する人類の懸念を反映しています。社会的影響に関する懸念は、ある程度、全員がそれに影響を与える可能性を反映しています。同氏の見解では、この心配は無理からぬものであり、「反復が速い場合には、その速度が反復速度に追いつけない可能性があることは少なくとも理解しています。開発のために積極的に一時停止ボタンを押すことさえ必要です」大きなモデルの場合は、何ができて何ができないかをよく考えてください。」

大規模モデルの迅速な反復という 2 つの傾向について、Xiao Yanghua 氏は、第 1 に、ChatGPT は現在主にパブリック データ学習に基づいており、プライベート ドメインの専門知識とより強力なデータを組み合わせながら、より大規模で多様なデータから間違いなく学習するだろうと考えています。 2つ目はデータ分析の度合いが高まり、学習の深さがある程度向上すると考えられます。つまり、より広範囲に学習するという側面と、より専門的でより深い古いデータを学習するという2つの側面があるということです。

「これはこのバージョンにおける非常に重要な考え方です。実際、データは依然として同じデータである可能性が非常に高いですが、より深く学習されます。」 Xiao Yanghua 氏は続けて、「各フィールドの大規模なモデルが断片化されている場合、統合できない場合には、その能力はまだ制御可能な範囲にあるかもしれませんが、ChatGPT が強力な一般知識能力を持ち、さまざまなプライベートドメインデータを継続的に組み合わせて学習する場合、その能力の向上は予想を超える可能性があります。大型モデル 安全で制御可能な方向に開発することが不可欠かつ差し迫ったものです。」