This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT-4が「バカ」であることが暴露された！コスト削減のため、OpenAIは密かに「小さな動き」を行っていた？
整理 | 鄭立源
出品 | CSDN（ID：CSDNnews）
「最近GPT-4の品質が下がったように感じますか？」
今年の 5 月中旬には、GPT-4 ユーザーが OpenAI のオンライン開発者フォーラムに投稿し、GPT-4 が「愚かになりつつある」ようだと述べました。
「私はしばらく ChatGPT を使用していて、GPT-4 のリリース以来 GPT Plus ユーザーです。私は通常、長い形式のコンテンツの分析と作成を支援するために GPT-4 を使用しています。以前は、 GPT-4 は私の要求をよく理解して機能しているように見えましたが、今では情報を見失い、多くの間違った情報を与え、私の要求をますます誤解しているようです... 現在、GPT-4 は GPT に似ていると感じています-3.5。
他にこれに気付いた人はいますか、それともこの問題に遭遇したのは私だけでしょうか? 」
問題のある新しいバージョンの GPT-4
多くのユーザーのフィードバックによると、GPT-4 は長文コンテンツの分析と作成だけでなく、文章の品質も低下しています。
Robloxの製品責任者であるピーター・ヤン氏は、GPT-4モデルの出力は高速だが、品質は低下しているとツイートし、「文章をより明確かつ簡潔にし、アイデアを提供するなどの単純な問題だけです...私の意見では、文章の質が落ちた。」
「GPT-4 アップデート前は、エラー応答が得られることはほとんどありませんでしたが、今ではすべての出力を再確認する必要があります (つまり、二重否定的な条件が肯定的な条件に適切に変換されないことがあります)。これらのエラーは GPT に似ていると思います。以前の GPT-4 推論レベルの代わりに 3.5 を使用します。」
GPT-4 を使用して Web サイトの機能コードを作成している開発者は、次のように不満を述べました。「現在の GPT-4 は非常に残念です。フェラーリを 1 か月間運転した後、突然古いピックアップ トラックになるようなものです。自分が使いたいかどうかはわかりません。それを払い続けてください。」
別の開発者は、GPT-4 がコードをループアウトするようになったことにも言及しました。「まったく最悪です。GPT-4 はコードやその他の情報を何度もループアウトし始めます。コードを書かせたら、ある時点で突然 "" が書き込まれました。そしてまたやり直す！前に比べれば今はバカだ」
GPT-4 の突然の「知能の低下」のパフォーマンスについて、一部のユーザーは次のように推測しました。「現在のバージョンは、リリースされたばかりのバージョンとは大きく異なっているように感じます。おそらく OpenAI は、より多くの顧客に対応するために品質を妥協することを選択したのでしょう!」
この観点から見ると、現在のGPT-4に対するユーザーからの評価は、確かにデビュー当時の「風評価」の最盛期には及ばない。
GPT-4 は高速ですが、「愚か」でもあります
昨年末にGPT-3.5をベースとしたChatGPTが誕生し、その優れた生成能力がAIGCブームを巻き起こしたことから、今年3月にOpenAIがGPT-3.5よりも強力なGPT-4を発表した際には、全世界が驚きました。
当時、GPT-4 は「史上最も強力な AI モデル」と呼ばれ、特にそのマルチモダリティ、つまり画像とテキスト入力の両方を理解できるため、開発者やその他のテクノロジー業界ですぐに人気のツールとなりました。専門家に選ばれるこのモデルは、GPT-4 に対するさらなる賞賛も生み出しています。Web サイトを 10 秒で生成し、最も難しいアメリカの法律試験に合格し、MIT の学部数学試験に満点で合格しました。
しかし、多くの人が GPT-4 の威力に驚くと同時に、そのコストと応答速度にも衝撃を受けます。 「GPT-4 は遅いですが、非常に正確です」と、開発者による大規模なカスタム言語モデルの構築を支援する新興企業 Lamini の CEO である Sharon Zhou 氏は述べています。
5 月まで、GPT-4 は「遅くて高価だが正確」なままでした。その後、GPT-4 の応答が速くなりましたが、同時にユーザーはそのパフォーマンスの低下に疑問を抱きました。
この現象について、Sharon Zhou を含む数人の AI 専門家は、OpenAI が、より大きなモデルと同様に機能するが、実行コストが低い、いくつかの小さな GPT-4 モデルを作成している可能性があると考えています。
専門家は推測: MoE テクノロジーに関連している可能性があります
Sharon Zhou の紹介によると、この方法は Mixture-of-Experts (MoE)、つまり混合エキスパート システムと呼ばれています。 MoE技術はニューラルネットワーク分野で開発された統合学習技術であり、数兆パラメータを持つモデルを学習させるための重要な技術でもありますが、現段階ではモデルのサイズが増大するため、学習のオーバーヘッドも増大しており、 MoE この技術は、ニューラル ネットワークの一部を動的にアクティブにすることができるため、計算量を増やすことなくモデル パラメータの量を大幅に増やすことができます。
具体的には、教育省は予測モデリングタスクをいくつかのサブタスクに分解し、各サブタスクでエキスパートモデル（エキスパートモデル）をトレーニングし、入力に従って予測できるゲーティングモデル（ゲーティングモデル）を開発します。どの専門家を信頼すべきかを学びに来てください。予測結果を組み合わせます。
では、MoE テクノロジーが GPT-4 を参照すると、どのような状況になるのでしょうか? Sharon Zhou 氏は、GPT-4 では、これらの小さなエキスパート モデルがさまざまなタスクや主題分野に合わせてトレーニングされると説明しました。たとえば、生物学、物理学、化学などの小さな GPT-4 エキスパート モデルが存在する可能性があります。 、新しいシステムは、どのエキスパート モデルに質問を送信するかを認識します。また、念のため、新しいシステムは 2 つ以上のエキスパート モデルにクエリを送信し、その結果を一緒にマッシュする可能性があります。
このアプローチについて、シャロン・ジョウは、それを「テセウスの船」（物体の構成要素が置き換えられると仮定するが、それはまだ元の物体であるかという、アイデンティティの置き換えに関するパラドックス）、つまり、時間の経過とともに、と表現しました。 OpenAI は GPT-4 の一部を置き換えます: 「OpenAI は GPT-4 を小さなフリートに変えています。」
上記の推測に基づいて、Sharon Zhou 氏は、GPT-4 の最近の「愚かな」発言は、教育省のトレーニング方法に関連している可能性が高いと考えています。「ユーザーが GPT-4 をテストするとき、私たちはさまざまな質問をしますが、規模は小さいです。 GPT-4 エキスパート モデルはそれほどうまく機能しませんが、データを収集し、改善し、学習しています。」
**GPT-4 アーキテクチャが公開されましたか? **
GPT-4の「間抜けさ」に関するユーザーからのフィードバックが高まる中、今週、複数のAI専門家もいわゆる「GPT-4アーキテクチャの詳細」を発表した。
その中で、Yam PelegというTwitterブロガーは、GPT-4には約1兆8000億のパラメータがあり、120層にまたがり、GPT-3の10倍以上の大きさで、約13Tトークンでトレーニングされており、トレーニング費用は約6,300万ドルであると述べた。 Yam Peleg 氏は、OpenAI が MoE を使用しており、16 の混合エキスパート モデルを使用することで GPT-4 の運用コストを削減していると述べたことも言及する価値があります。
現時点では、OpenAI はこの声明に返答していません。しかし、アレン人工知能研究所の創設最高経営責任者（CEO）であるオーレン・エツィオーニ氏はメディアに対し、「確認はされていないが、これらの推測はほぼ正しいはずだと思う」と語った。
同氏は、MOE 手法を使用する理由は一般に 2 つあると説明しました。1 つは、より良い応答を生成したいか、もう 1 つは安価で高速な応答を求めるかのいずれかです。
「理想的には、MOE によって両方の利点を同時に得ることができますが、実際には、通常はコストと品質の間でトレードオフを行う必要があります。」これに基づいて、Oren Etzioni 氏は、現在の状況と組み合わせることで、OpenAI が重要になると考えています。品質を犠牲にして GPT -4 を減らすようです。
それで、この件についてどう思いますか？
参考リンク：