ChatGPT を使用しても、読み取りは役に立ちますか?

著者: Li Zi、技術社会学博士、コロンビア大学医療人文科学倫理学部博士研究員

画像ソース: Unbounded AI によって生成‌

今年の前半には、ChatGPT が誕生し、人工知能の可能性が明らかになり、多くの業界に存続の危機に関する議論が持ち込まれました。 GPT は弁護士やエンジニアの資格試験に合格し、落第することなく大学のエッセイを書くことができ、さらにはジョークを「理解」することもできます。人々の質問に答え、鮮やかな言語構造を整理し、さまざまな言語スタイルを模倣することができ、Midjourney などの大規模な言語モデルと画像生成 AI テクノロジーを組み合わせることで、芸術的な訓練を受けていない人でもいくつかの言語を使用できるようになります。素晴らしい芸術的なイメージを「作成」するという言葉。

ChatGPT の本質は、実際には、生成人工知能を重ね合わせた大規模言語モデル (Large Language Model、LLM) です。大規模言語モデルは、名前が示すように大規模で、多数の形態素を使用して機械学習手法でコンピューター モデルをトレーニングします。生成式は予測手法を使用して、対話中に最も可能性の高い形態素の接続を表示します。

知識の「プロセッサー」と「消費者」にとって、大規模な言語モデルと生成人工知能の機能は膨大です。大量の形態素データ、ディープ ニューラル ネットワーク、および巨大なコンピューティング能力は、インターネットからの知識全体を「平坦化」し、人間とコンピューターの対話を通じてそれを「組み立てる」ことに相当します。

**計算ロジックの観点からは、ChatGPT はより強力な検索エンジンと同等です。 ** Google や Baidu などの通常の検索エンジンは、クローラー モードを通じてインターネット全体の情報を「収集」し、複雑なアルゴリズムを介して分類します。機械学習を用いた人工知能の手法は、言語論理に沿って予測的に情報を整理することに相当します。知識の処理はより便利かつ高速になり、消費はより簡潔かつ明確になり、場合によっては単純すぎるため、試験問題を不正行為する機会が生じます。

これに対し、テクノロジー楽観主義者たちは、これからは機械がコンテンツを生成できるようになるため、図書館カードの代わりに検索エンジンが、そろばんの代わりに電卓が登場するのと同じように、ほとんどの人間がそれを実現するために頭を使う必要はなくなるかもしれないと考えている。実際、AI が最終的な意思決定に介入しないとしても、多くの繰り返しの書き込みや機械的な列挙と並べ替えを必要とするタスクは、実際にかなりの生産性をもたらし、人間による知識の処理と消費を支援することができます。

では、読書は役に立つのでしょうか？主要な大学や研究機関の職員も退職できるのでしょうか？

マシンは何を「学習」できますか

ビッグ言語モデルと生成人工知能は、将来の知識「生産者」にとって避けられない話題、つまり知識とは何か?をもたらしました。多様で公平かつ本物の知識を生み出すにはどうすればよいでしょうか?

人工知能の「学習」能力はすごいです。既存の大規模言語モデルと人工知能の応用は、その背景となる機械学習と切り離すことはできません。 「学習」という言葉の本質は、大量のデータを使用して予測モデルをトレーニングし、予測の精度と普遍性のバランスを見つけることです。この種の予測は実際には既存の知識に基づいており、言語モデルの予測も既存の言語間のつながりに基づいています。たとえば、「牛肉の煮込み」と入力すると、機械は「肉」を予測します。その後、場所、人物、習慣などの追加の入力に基づいて、「おばあちゃんの牛肉の煮込み」など、より正確な予測が行われます。すぐ。

この予測はどのようにして実現したのでしょうか?私たちがよく知っている座標系は 2 次元です。たとえば、人口全体では、身長と体重の間に大まかな対応関係があり、身長を考慮して、マシンは既存のデータに基づく平均体重を予測します。そこに性別などの次元を加えると3次元の座標となり、男性と女性の予測は異なります。このままではデータの次元は無限大になる可能性があり、機械学習のモデルは、人間の脳が想像できない多次元空間でそのようなつながりを見つけ、さまざまな次元間の重みを常に調整することです。たとえば、身長と体重の予測が「どの程度重要か」ですが、これは大量のデータ入力後に調整できます。

** したがって、機械学習に基づく人工知能は、高次元空間でさまざまな次元のデータを接続し、データ間の潜在的なつながりを発見する能力を持ち、また、現実には存在しないいくつかのことを「学習」します。おそらく関連性があります。 **言語モデルで使用される人工知能は、さまざまな言語スタイルを学習し、既存のテキストの「本質」と「問題」を掘り出すこともできます。

**データが大きくなるほど、モデルはより成熟し、そのコンピューティング能力とマイニング能力が高まります。 **BERT や GPT などの大規模な機関で誕生した AI と同様、多くの人がテクノロジーの「変曲点」に到達しており、量的な変化が質的な変化を生み出すのは不合理ではないと信じています。これは良いことです。知識生産者向けのもの。しかし、大規模なモデルには固有の問題もあり、モデルが大規模になればなるほど、特に知識の多様性、公正、真実の側面に関して、問題はより深刻になります。

本物の作り方

** そして偏りのない知識はありますか？ **

新しい知識は、既存の知識のつながりや新しいモデルから生成できます。これは、人間レベルでも機械レベルでも同様です。しかし、既存の知識だけで十分なのでしょうか？十分ですか？それは公平ですか？既存の知識の基礎が不十分であったり、偏っていたりすると、それに基づいて構築される新しい知識も偏ることになります。

機械学習 AI が大規模に応用されて以来、学者たちはこれらのモデルに内在する性差別、人種差別、非倫理的な成果などの偏見を継続的に明らかにしてきました。開発者はそれを補うためにさまざまなパッチや修正方法を使用しますが、問題のほとんどはデータの作成とトレーニングのプロセスに隠されており、AIの偏りは社会的な偏見の反映と増幅でもあります。

もう 1 つの問題はデータの品質です。機械学習には、モデルをトレーニングする機能だけでなく、データの量と質も関係します。既存の開発プロセスでは、モデルのパフォーマンスがより重視され、迷信さえも重視されていますが、データ ソースの根本的な問題は無視されています。今日のデータのほとんどは、手作業によるクリーニングやフォーマット、分類、ラベル付けなどに依存しています。多くの場合、このデータ作成プロセスは不透明で、走り書きさえされています。例えば、大企業のAI開発の裏側では、後進地域の「AI工場」に大量の「汚くて汚い」労働力が委託されています。このプロセスには労働倫理の問題がある一方で、データの品質にも課題が生じます。

大規模モデルの時代には、この問題はより深く隠されている可能性があります。すべての研究者やチームが AI モデル、特に大規模な言語モデルや大規模な画像モデルをゼロから開発する能力を持っているわけではなく、そのほとんどは既存のモデルに基づいて微調整されています。大規模モデル自体の問題や逸脱は、より多くのアプリケーション モデルに移行されます。そして、偏差が低いほど、微調整や偏差修正による対応が難しくなります。

既存の言語モデルの予測生成モードは、データの既存の偏差をさらに増幅し、その結果「過剰適合」の影響が生じます。たとえば、特定の病気には特定の民族グループの統計データの割合が高く、約 60% です。 ; しかし、言語モデルを使用して患者の肖像画を生成した場合、生成された患者の説明はこのグループに属する可能性が 90% 以上あります。

現在、一部の AI モデル トレーニングでは「相互戦闘」モード、いわゆる「敵対的生成ネットワーク」(敵対的生成ネットワーク) が採用されており、2 つのモデルが継続的に相互に生成および修正できるようになりました。この方法によりモデルのトレーニングの効率は向上しますが、この「相互作用」では小さな偏差が大きくなります。同じ原理で、機械と密接に連携する知識生産者がこの種の「生成」に依存すると、モデルからのバイアスがさらに新しい知識に埋め込まれ、新しい知識がデータとして吸収されます。モデルの偏りを強めます。 **知識生産者は、このプロセスにおいて常に注意を払う必要があります。

**新しい知識とは何ですか? AIの「生成」は新しい知識を表すのでしょうか？ **

いわゆる新しい知識とは何でしょうか？ AI を活用して知識を生み出すには、知識生産者は人間と機械の組み合わせの観点からこの問題を考える必要があります。人間が現実世界から取得した情報や知識はすべて、「クリーニング」してデータに「フォーマット」する必要があります。前述のデータ品質に加えて、データ生成プロセスも重要です。一言で言えば、研究したい問題は何ですか?この質問はどのようなデータに変換されますか?これらのデータはどのように生成されるのでしょうか?また、それらは知識生産者が研究したい問題を完全かつ公正に表しているのでしょうか?

この問題は、「伝統的な」知識生産者にも当てはまります。歴史を例に挙げると、歴史は過去の出来事を研究しますが、過去の出来事が 100% 決定的であることはありません。学者は通常、歴史問題への理解を補うため、また過去に無視されてきた視点や声を発掘するために、常に新しい歴史資料を探しています。興味深いことに、現在の歴史学は、大量のデータ、特に過去の経済、人口、気候のデータに頼ることが多く、歴史に新しい理解や視点をもたらすために機械学習にも依存しています。

同様に、機械が生成した洞察や意見に依存すると、特定のデータ ソースの重要性が増幅される可能性があります。今日の知識生産者は、他者によってデータに「変換」されたものに基づいて創造するために、主流、インターネット、電子情報に依存しすぎています。 **AI時代においては、AIがもたらす利便性や拡張性により、人々はデジタル化・電子化されていない非主流・経験的な知識を無視しやすくなり、新たな視点や観点の形成の可能性を逃す可能性があります。 。 **

より深いレベルでは、新しい知識は、新しい資料の発掘、異なる視点や観点の衝突、既存の知識の再構築から生まれることがよくあります。大規模な言語モデルは知識を表示するための多くの可能性を提供しますが、その内部ロジックと構造はこの生成方法に反する可能性があります。

大規模言語モデルの学習方法と、モデルによって生成される出力の特性に基づいて、上位および高確率の出力コンテンツの重みが大きくなり、特徴がより特異になります。 「AI が生成した」という言葉は、まるで存在しないかのように発せられる、特徴のない、反復的でナンセンスな言葉を表す形容詞になっています。確かに、知識の消費者にとって、「最も可能性の高い」答えは理解の敷居を大幅に下げますが、知識の生産者にとって、これらのことはむしろ障害となる可能性があります。

**新時代の知識生産者はどこへ向かうべきか? **

おそらく、私のような多くの社会科学研究者は、ChatGPT を使用するときに次の問題に遭遇したことがあります: 概念を説明してもらいますが、それは論理的です; 著者は本を書いたことがなく、論文も出版したことがありません。分野が狭く専門的であればあるほど、「ナンセンス」の可能性が高くなります。

AIの原理に戻りますが、このような「創作」とは、実際には膨大なデータの中から単語や文章の「あり得る」つながりを掘り出すことですが、そのつながりは現実には存在せず、はっきり言って「似ている」だけです。 。この新しい現象は現在「幻覚」と呼ばれています。知識生産者にとって、人工知能を使用して既存の知識ベースのパターンとつながりを掘り出しながら、何が存在し、何が疑わしいのかという機械の「ビジョン」に対して常に警戒を続ける方法は、非常に重要なスキルです。

AIとの「対話」も新たなスキルとなる。現在の AI は、技術者以外のほとんどの人 (技術者であっても) にとって、依然として謎の「ブラック ボックス」です。 より効果的に機械と対話し、「ビジョン」を理解し、それに対抗するために、テクノロジーの最下位または中位レベルから始める方法には、知識生産者と技術専門家の協力が必要です。

新しい知識、新しい視点、新しい材料の研究には、各分野の独自の構造と解釈が現在でも非常に重要です。大規模な言語モデルや生成 AI の予測モデルは依然として単一かつ反復的な傾向があり、トレーニング教材が限定されれば限定されるほど、機能も制限されます。機械と人間の能力を組み合わせたい場合は、データ生成のソースから開始し、正確、多様、公平、かつ斬新なデータを使用して AI モデルをトレーニングし、人間とコンピューターの無害な対話モデルを確立する必要があります。

大規模な言語モデルと生成型 AI の出現は、研究者にとっての課題の始まりにすぎません。 「代替」を議論するのではなく、もっと慎重な目で慣らし運転や発展の可能性を模索したほうがよいだろう。