AIは役に立つのか？コンサルティング大手BCGが社内テストを実施、業務効率が「大幅に向上」した！

著者: チャン・ジャーイー

出典: ハード AI

画像ソース: Unbounded AI によって生成

AIは役に立つのか？これは、過去 6 か月間の生成 AI の波の中で人々が提起した最も一般的な質問です。

9 月 18 日、ハーバード大学、MIT、ボストン コンサルティング グループ (BCG) の学者が共同で実施した調査で答えが得られました。答えは「はい、AI は従業員の効率と質の両方を大幅に向上させることができます」です。

結論から先にお話しますと、BCG のテスト結果では、18 の異なるタスクにおいて、ChatGPT を使用したコンサルタントのパフォーマンスが、ChatGPT を使用しないコンサルタントよりもはるかに優れていることがわかりました。

**平均して、人工知能を使用していないコンサルタントと比較して、人工知能を使用しているコンサルタントは平均 12.2% 多くのタスクを完了し、25.1% 早くタスクを完了し、40% 高い品質の結果を達成します。 **

01 コンサルタント「効率の飛躍」

実験のプロセスは次のとおりです。

まず、人間のコンサルタントからなる BCG チームに、架空の靴メーカーを中心にさまざまなタスクを設定させます。

割り当てには、創造的なタスク (十分なサービスが提供されていない市場やスポーツ向けに、少なくとも 10 個の新しい靴のアイデアを思いつく)、分析タスク (聴衆に基づいて靴の市場をセグメント化する)、執筆およびマーケティングのタスク (製品のマーケティング コピーの草案)、および説得力のあるタスクが含まれます。 （なぜその会社の製品が競合製品よりも優れているのかを従業員に思い出させるメモを書きます）。

この会社は架空のものですが、タスク シナリオは BCG コンサルタントの実際の業務シナリオであることに注意してください。研究チームはまた、これらの作業が企業の日常業務で遭遇する実際の作業であることを確認するために、靴ブランドの幹部に具体的に確認しました。

タスクを設定した後、研究者らは数百人の BBG コンサルタントを見つけ、何人かのコンサルタントをランダムに選択し、GPT-4 を使用して作業するよう依頼しました。

その結果、AI を使用しているコンサルタントのパフォーマンスは一般にはるかに優れていました。 「彼らはタスクを完了するのにかかる時間が短縮され、限られた時間内により多くのタスクを完了しました。研究者らはまた、人間と AI にこれらのコンサルタントの仕事の成果を評価するよう依頼しました。結果は、両者とも AI を使用したコンサルタントの方がよりよく機能すると信じていることを示しました。結果は、優れています。 **

研究者らは、興味深い現象にも気付きました。**スキル レベルが最も低いコンサルタントも、AI を使用することでパフォーマンスが最大 43% 向上しました。一方、優秀なコンサルタントの昇進は非常にわずかです。 **

研究者らは、これが職場に広範な影響を与える可能性があると指摘しています。

昔と同じように、鉱山労働者の岩を掘る能力の善し悪しが重要でした...しかし、スチームショベルが発明されてからは、掘削能力の違いは重要ではなくなりました。

AIの影響はまだそこまでには達していませんが、仕事能力の平準化が進むことは間違いありません。

02 AI への過度の依存のデメリット

しかし、話には続きがあります。

研究チームとBCGは別のミッションも設計した。この課題は、BCGの面接質問の中から厳選された超難問のビジネスケース質問であり、AIが「納得のいく間違った答え」を導き出せるよう緻密に修正されている。 **

研究者らは、彼らの目標は人間が得意とするタスクを設計することだが、注意深く指導しなければAIは正しく答えることができないと述べている。 **

このタスクは非常に複雑であり、この文書では具体的な詳細は説明されておらず、手順のみがリストされています。

架空の企業の場合、参加者は研究者から提供されたインタビュー資料の詳細に基づいてデータを検索し、インタビュー内容とデータを組み合わせて企業のチャネルパフォーマンスを分析し、さらに企業の CEO に情報と提案を提供して決定を下す必要があります。どのチャネルに成長の可能性があるか。

次のステップは、インタビューの内容と財務データを組み合わせて企業のブランドパフォーマンスを分析し、最も大きな成長の可能性があるブランドを見つけることです。

このタスクでは、研究者らは主に応答の精度に注目しました。

その結果、AIを活用するコンサルタントとAIを活用しないコンサルタントのパフォーマンスの差は大きく、前者の正解率はわずか60％であるのに対し、手作業で業務を遂行する社員の正解率は84.5％にも上ります。

研究者たちは次のように書いています。

AI の能力の範囲外では、高い人的資本を備えた人間が仕事を遂行する上で一貫して AI を上回ります。

研究者らは、タスクを完了する生成 AI の能力には「ギザギザの境界」があると考えています。 **

境界内のタスクでは完全に良好に実行されますが、境界の外側のタスクではパフォーマンスが低下します。さらに、生成 AI の仕組みにより、この境界は目に見えず、AI に精通している人のみが認識できます。

たとえば、ちょうど 50 単語のソネットと詩を書くことは AI にとって簡単なタスクのように思えるかもしれませんが、ChatGPT は単語ではなくトークンを使用して動作するため、AI は 14 行の詩を書くのが非常に得意です。 「50 ワードの詩」は境界の外側にあるタスクであり、AI では実行できません。**ChatGPT によって書かれた詩は常に 50 ワードより多いか少ないです。 **

これはいわゆるギザギザの境界であり、ChatGPT の機能の範囲は平坦な線ではなく、人間の論理に基づく同様の難易度のタスクは AI にとっては別の問題です。

ChatGPT コード インタープリターを使用して地図を描画すると、ギザギザの境界線は次のようになります。

さらに研究者らは、AIへの過度の依存は逆効果であることを実験結果が示しているとも強調した。

著者は企業の人事に関する別の研究を引用し、低品質のAIを使用する、またはAIを使用しない採用担当者と比較して、高品質のAIを使用する人事は怠惰で不注意になり、自分の判断に自信がなくなるだろうと指摘しました。優秀な人材を引き抜き、より悪い決断を下した。この状況はBCGの実験でも現れた。

つまり、AIが非常に優れたものになると、人間は怠惰になり、AIを道具として使用せずにAIに任せるようになります。ハーバード・ビジネス・スクールのファブリツィオ・デラクア教授は、この現象を「運転しながら居眠り」と呼び、人間の学習、スキル開発、生産性に悪影響を与えると主張している。

03「未来はここにある」

研究者らは、AIの性質や将来についてどのような哲学的、技術的な議論があったとしても、現時点でAIは実際に人間の生産とライフスタイルを破壊しており、これは今後n年かかるほどの莫大な金額ではないと結論付けた。投資を必要とする「大きなパイ」はすでに手の届くところにあり、誰もが携帯電話やコンピューターで利用できるようになります。

**これらの BCG コンサルタント、つまり現実世界のエリート テスト マスターが使用するツールは、特別な API や独自のデータを持たない単なる「単純な」ChatGPT であり、私たちと何ら変わりません。 **

テクノロジーの変化は静かに進行し、より強力なLLMの誕生によりジグザグの境界線はさらに広がり、人類は間違いなくより複雑な世界に直面することになるでしょう。

この変化の時代において、AI を理解して制御し、AI と連携する方法を学ぶことは常に意味があります。