a16z artikel 10.000 kata: Kita memasuki era komputasi ketiga

Gelombang perkembangan AI ini telah menyebarkan pengaruhnya ke berbagai bidang dengan sangat cepat hingga melampaui ekspektasi sebagian besar orang. Minggu lalu, Sequoia (Sequoia America) percaya bahwa AI telah membuka bab kedua, dan menggambar peta AI baru dan peta tumpukan (tumpukan) pengembang LLM dari perspektif skenario aplikasi.

Namun jika dilihat dari arah pendanaannya, perkembangan AI saat ini sepertinya masih dalam tahap pertarungan antar dewa, dan pola tersebut sepertinya sudah hampir terbentuk. Setelah OpenAI menerima hampir 11 miliar dolar AS dari Microsoft dan lainnya dan bernilai hampir 29 miliar dolar AS, pesaingnya Anthropic kemarin mengumumkan aliansi dengan Amazon. Amazon akan menginvestasikan hingga 4 miliar dolar AS di dalamnya, menjadikan Anthropic kedua setelah OpenAI dalam hal pembiayaan startup AI.

Setelah pembiayaan ini, kecuali Apple, industri AI pada dasarnya telah membentuk pola pertarungan dewa:

*Microsoft + OpenAI

• Google + Pikiran Dalam
• Meta+MetaAI
• Amazon + Antropis *Tesla + xAI

Tentu saja, sebagai penyedia infrastruktur tingkat rendah, strategi Nvidia jelas diinginkan semua orang, dan tidak ada sikap yang terlalu serius terhadap perusahaan tertentu. Berikut ini adalah situasi umum dari 15 unicorn AI.Dari perspektif penilaian dan pembiayaan, LLM model besar menyumbang sebagian besar, dan 50% unicorn AI didirikan setelah tahun 2021:

Hari ini, a16z berbagi percakapan mereka dengan para pendiri beberapa perusahaan AI terkemuka, percaya bahwa kita berada di era komputasi ketiga, dan membahas 16 topik menarik dari perspektif AI saat ini, masa depan, dan keterbukaan. Peserta dalam percakapan ini meliputi:

• Mitra a16z Martin Casado
• OpenAI CTO Mira Murati
• Salah satu pendiri & CEO Roblox David Baszucki
• Salah satu pendiri & CEO Figma Dylan Field
• Salah satu Pendiri & CEO Antropis Dario Amodei
• Microsoft CTO & EVP AI Kevin Scott
• dalam pendiri & CEO Daphne Koller
• Salah satu pendiri & CEO Databricks Ali Ghodsi
• Pendiri & CEO Character.AI Noam Shazeer

Karena artikelnya terlalu panjang, hampir 10.000 kata, saya menggunakan AI untuk menyusunnya secara singkat. Beberapa istilah mungkin tidak akurat. Teman yang berminat dapat membaca teks asli bahasa Inggris:

1 Kita berada di awal era komputasi ketiga

Martin Casado,a16z：

Saya benar-benar berpikir kita mungkin memasuki era komputasi ketiga. Microchip telah mengurangi biaya marjinal komputasi menjadi nol, Internet telah mengurangi biaya marjinal distribusi menjadi nol, dan kini model-model besar telah benar-benar mengurangi biaya marjinal penciptaan menjadi nol. Ketika era sebelumnya terjadi, Anda tidak tahu perusahaan baru apa yang akan didirikan. Tidak ada yang memperkirakan Amazon, tidak ada yang memperkirakan Yahoo. Kita harus bersiap menghadapi gelombang baru perusahaan-perusahaan ikonik. Noam Shazeer, Karakter AI：

Kita benar-benar berada pada momen "pesawat pertama Wright bersaudara". Kami sudah memiliki sesuatu yang berfungsi dan sekarang berguna untuk banyak skenario aplikasi. Sepertinya skalanya sangat baik dan akan menjadi lebih baik lagi. Namun masih banyak terobosan yang akan datang, karena kini semua ilmuwan AI di dunia bekerja keras untuk menjadikan hal tersebut lebih baik. Kevin Scott, Microsoft:

Apalagi dalam beberapa tahun terakhir, dan mungkin khususnya 12 bulan terakhir, dengan diluncurkannya ChatGPT dan GPT-4, Anda benar-benar bisa melihat potensi platform ini untuk bisa disamakan dengan PC atau smartphone. Serangkaian teknologi akan membuat banyak hal baru menjadi mungkin, dan banyak orang akan membangun hal-hal baru berdasarkan hal-hal baru tersebut. ## 2 Gelombang kecerdasan buatan generatif ini memiliki prinsip ekonomi yang mendorong transformasi pasar.

Agar inovasi teknologi dapat memicu transformasi pasar, manfaat ekonomi harus sangat menarik. Meskipun terdapat banyak kemajuan teknologi dalam siklus AI sebelumnya, namun hal tersebut kurang memberikan manfaat ekonomi yang transformatif. Dalam gelombang AI saat ini, kita sudah melihat tanda-tanda awal peningkatan ekonomi sebesar 10.000x (atau lebih) dalam beberapa kasus penggunaan, dan adopsi serta pengembangan AI tampaknya lebih cepat dibandingkan perubahan sebelumnya.

Martin Casado,a16z：

Transformasi pasar tidak terjadi melalui perbaikan ekonomi sepuluh kali lipat. Mereka diciptakan ketika mereka sepuluh ribu kali lebih baik dari sebelumnya. Katakanlah saya ingin membuat gambar yang mengubah diri saya menjadi karakter Pixar. Jika saya menggunakan salah satu model gambar ini, biaya inferensinya adalah sepersepuluh sen, dan katakanlah dibutuhkan waktu 1 detik. Jika dibandingkan dengan menyewa seniman grafis, asumsikan tarif per jamnya adalah $100. Dalam hal biaya dan waktu, Anda akan melihat perbedaan besar sebesar 4 hingga 5 kali lipat. Bagi para ekonom, titik balik inilah yang mereka cari, ketika terjadi dislokasi pasar yang sangat besar. Jika Anda ingin contoh betapa gilanya hal ini, saya tidak melihat alasan mengapa Anda tidak dapat membuat game yang lengkap - model 3D, karakter, suara, musik, cerita, dll. Startup saat ini melakukan semua hal ini, dan jika Anda membandingkan biaya ratusan juta dolar dan tahun dengan biaya beberapa dolar, kita sekarang memiliki asimetri ekonomi di tingkat Internet dan microchip.

3 Untuk beberapa skenario penerapan awal: Kreativitas > Ketepatan

Halusinasi adalah masalah yang umum terjadi pada LLM model besar saat ini, namun untuk beberapa aplikasi, kemampuan untuk mengarang adalah sebuah fitur dan bukan bug. Dibandingkan dengan kasus penggunaan pembelajaran mesin yang diterapkan pada tahap awal, yang memerlukan ketepatan tingkat n (misalnya mobil yang dapat mengemudi sendiri), banyak kasus penggunaan awal untuk LLM (teman dan sahabat virtual, bertukar pikiran tentang konsep, atau membuat game online) dicirikan oleh: fokus Di bidang di mana kreativitas lebih penting daripada kebenaran.

Noam Shazeer,Karakter.AI：

Hiburan adalah industri tahunan senilai $2 triliun. Dan rahasia kelamnya adalah hiburan itu seperti teman virtual Anda yang tidak ada. Ini adalah kasus penggunaan pertama yang keren untuk kecerdasan buatan secara umum. Jika Anda ingin meluncurkan dokter, misalnya, akan jauh lebih lambat karena Anda harus sangat-sangat berhati-hati agar tidak memberikan informasi yang salah. Tetapi dengan teman-teman, Anda dapat melakukannya dengan sangat cepat, menyenangkan, dan mengada-ada menjadi suatu hal yang menarik. David Baszucki,Roblox:

Dari 65 juta pengguna Roblox, sebagian besar tidak berkreasi pada tingkat yang mereka inginkan. Untuk waktu yang lama, kami membayangkan sebuah game simulasi Project Runway di mana Anda dapat menggunakan mesin jahit dan kain dan semuanya disimulasikan dalam 3D, namun itu pun agak rumit bagi sebagian besar dari kami. Saya pikir sekarang ketika Project Runway keluar di Roblox, itu akan menjadi perintah teks, perintah gambar, atau perintah suara. Jika saya membantu Anda membuat kemeja itu, saya akan berkata: Saya ingin kemeja denim biru, beberapa kancing, dan ukuran yang lebih ramping. Faktanya, saya pikir kita akan melihat percepatan dalam penciptaan. Lapangan Dylan, Figma：

Saat ini, kita berada pada tahap di mana AI dapat menyelesaikan draf pertama, namun untuk menyelesaikan draf tersebut hingga menjadi produk akhir masih agak sulit dan seringkali memerlukan tim untuk melakukannya. Namun jika Anda bisa membuat AI menyarankan elemen antarmuka kepada orang-orang dan melakukannya dengan cara yang benar-benar masuk akal, menurut saya hal itu akan membuka era desain yang benar-benar baru, menciptakan desain kontekstual yang responsif terhadap maksud pengguna. Saya yakin ini akan menjadi era yang menarik bagi semua desainer untuk bekerja secara kolaboratif dengan sistem kecerdasan buatan ini. ## 4 Untuk contoh lain, keakuratan pemrograman "co-pilot" akan meningkat seiring penggunaan manusia.

Meskipun AI mempunyai potensi untuk meningkatkan pekerjaan manusia di banyak bidang, pemrograman “co-pilot” telah menjadi asisten AI pertama yang diadopsi secara luas karena beberapa alasan:

Pertama, pengembang sering kali merupakan pengguna awal teknologi baru—analisis tips ChatGPT pada bulan Mei/Juni 2023 menemukan bahwa 30% tips ChatGPT terkait dengan pemrograman. Kedua, LLM terbesar dilatih tentang kumpulan data yang banyak kode (seperti Internet), yang membuat mereka sangat baik dalam menanggapi pertanyaan terkait pemrograman. Terakhir, orang-orang yang terlibat adalah pengguna. Jadi, meskipun akurasi itu penting, pengembang manusia dengan kopilot AI dapat melakukan iterasi hingga mencapai kebenaran lebih cepat dibandingkan pengembang manusia saja.

Martin Casado,a16z：

Jika Anda harus melakukannya dengan benar dan ada banyak kasus penggunaan yang rumit, lakukan semua pekerjaan teknis sendiri atau pekerjakan orang. Biasanya kami mempekerjakan orang. Ini adalah biaya variabel. Kedua, karena solusi yang diberikan seringkali sangat panjang—seperti banyaknya anomali yang mungkin terjadi dalam kendaraan otonom—investasi yang dibutuhkan untuk menjadi yang terdepan meningkat dan nilainya menurun. Hal ini menciptakan efek skala ekonomi terbalik. Manusia dalam lingkaran yang dulunya berada di perusahaan pusat kini menjadi pengguna, sehingga tidak lagi menjadi biaya variabel bagi bisnis dan keekonomian biaya pekerjaan. Orang yang terlibat telah dipindahkan, sehingga Anda dapat melakukan hal-hal yang mengutamakan kebenaran, seperti mengembangkan kode, dan karena bersifat berulang, jumlah bug yang terakumulasi berkurang karena Anda terus-menerus mendapatkan masukan dan koreksi dari pengguna. Ketika pengembang dapat meminta chatbot AI untuk membantu mereka menulis dan memecahkan masalah kode, hal ini mengubah cara pengembangan dilakukan dalam dua cara yang signifikan: 1) Hal ini membuat pengembangan lebih mudah bagi lebih banyak orang. Kolaborasi karena terjadi melalui antarmuka bahasa alami, 2) Pengembang manusia menghasilkan lebih banyak produk dan menjaganya mengalir lebih lama.

Mira Murati,OpenAI:

Pemrograman menjadi semakin tidak abstrak. Kita sebenarnya dapat berbicara dengan komputer dengan bandwidth tinggi dalam bahasa alami. Kami menggunakan teknologi dan teknologi membantu kami memahami cara bekerja dengannya, bukan “memprogramnya”. Kevin Scott, Microsoft:

GitHub adalah contoh pertama dari model co-pilot yang kami coba bangun, yaitu: Bagaimana Anda mengambil pekerjaan pengetahuan yang dilakukan seseorang dan menggunakan AI untuk membantu mereka menjadi jauh lebih produktif dalam melakukan jenis pekerjaan kognitif tertentu ? Yang terbaik dari semuanya, berdasarkan apa yang kami amati pada para pengembang, AI membantu mereka tetap berada dalam kondisi arus lebih lama dibandingkan sebaliknya. Jangan terjebak ketika Anda sedang menulis sepotong kode dan berpikir, "Saya tidak tahu bagaimana melakukan hal berikutnya. Saya harus mencari dokumentasinya. Saya harus bertanya kepada teknisi lain yang mungkin sedang mengerjakannya. sesuatu." "Mampu membebaskan diri dari arus sebelum keluar dari kondisi arus sangatlah berharga. Bagi mereka yang mempertimbangkan kegunaan alat AI generatif yang dibuat untuk tujuan selain pengembangan perangkat lunak, konsep status aliran ini adalah hal yang berguna untuk dipertimbangkan. Lapangan Dylan, Figma：

Desainer terbaik mulai lebih memikirkan kode, dan pengembang terbaik mulai lebih memikirkan desain. Selain desainer dan pengembang, misalnya, jika Anda berpikir tentang orang-orang produk, mereka mungkin telah mengerjakan spesifikasi sebelumnya, namun sekarang mereka lebih banyak mengerjakan maket untuk mengomunikasikan ide-ide mereka dengan lebih efektif. Pada dasarnya, hal ini akan memungkinkan siapa pun dalam organisasi untuk beralih dari ide ke desain, dan bahkan mungkin produksi, dengan lebih cepat. Namun Anda tetap perlu mengasah setiap langkahnya. Anda memerlukan seseorang yang benar-benar memikirkan, "Oke, ide apa yang akan kita eksplorasi? Bagaimana kita akan mengeksplorasinya? " Anda pasti ingin mengubah desainnya, Anda pasti ingin menanganinya dengan benar, dari draf pertama hingga produk akhir. ## 5 Menggabungkan AI dan biologi dapat mempercepat cara-cara baru untuk mengobati penyakit dan berdampak besar pada kesehatan manusia

Biologi sangatlah kompleks—bahkan mungkin melampaui kemampuan pikiran manusia untuk memahaminya sepenuhnya. Namun, perpaduan antara AI dan biologi dapat mempercepat pemahaman kita tentang biologi dan menghasilkan beberapa kemajuan teknologi yang paling menarik dan transformatif di zaman kita. Platform biologi yang digerakkan oleh AI memiliki potensi untuk membuka wawasan biologis yang sebelumnya tidak diketahui, sehingga menghasilkan terobosan medis baru, metode diagnostik baru, dan kemampuan untuk mendeteksi dan mengobati penyakit lebih awal, bahkan berpotensi mencegah penyakit sebelum penyakit itu terjadi.

Daphne Koller, bagian dalam：

Pada masa-masa tertentu dalam sejarah kita, disiplin ilmu tertentu telah mencapai kemajuan luar biasa dalam waktu yang relatif singkat. Pada tahun 1950-an, disiplin ilmunya adalah komputasi, dan kami menggunakan mesin ini untuk melakukan penghitungan yang, hingga saat itu, hanya dapat dilakukan oleh manusia. Lalu pada tahun 1990an, terjadi perbedaan yang menarik. Di satu sisi, ilmu data dan statistik pada akhirnya menghadirkan pembelajaran mesin modern dan kecerdasan buatan. Sisi lainnya adalah apa yang saya anggap sebagai biologi kuantitatif, yang merupakan pertama kalinya kita mulai mengukur biologi pada skala di luar pelacakan 3 gen dalam percobaan yang memakan waktu 5 tahun. Kini, tahun 2020 adalah tahun terakhir dimana kedua disiplin ilmu tersebut benar-benar bersatu, membawa kita ke era biologi digital, kemampuan untuk mengukur biologi dengan ketelitian dan skala yang belum pernah terjadi sebelumnya; menafsirkan hal-hal yang tidak dapat dipahami menggunakan pembelajaran mesin dan alat ilmu data. Data dalam jumlah besar dan berbeda-beda. skala biologis, dan sistem yang berbeda; dan kemudian menggunakan alat seperti pengeditan genom CRISPR untuk mengembalikan pemahaman tersebut ke dalam biologi teknik sehingga kita dapat membuat biologi melakukan hal-hal yang tidak seharusnya dilakukan. Sekarang, kita akhirnya dapat mengukur biologi dalam skala besar, pada tingkat seluler (dan terkadang subseluler) dan organisme. Hal ini memungkinkan kami, untuk pertama kalinya, menerapkan pembelajaran mesin dengan cara yang benar-benar bermakna. Kami membangun model bahasa biologis. Ini seperti GPT, tetapi untuk sel. Kita mempunyai bahasa sel dan seperti apa bentuk selnya. Anda mengukur ratusan juta sel di berbagai negara bagian, dan kemudian, seperti model bahasa besar untuk bahasa alami, dengan sejumlah kecil data, Anda dapat mulai bertanya, "Oke, bagaimana suatu penyakit memindahkan gen penyebab penyakit dari satu negara ke negara lain?" tempat ke tempat lain?" ?Bagaimana pengobatan dapat membawa Anda dari kondisi sakit ke kondisi sehat?" Ini sangat ampuh. Seperti model bahasa lainnya, semakin banyak data yang Anda masukkan, semakin baik hasilnya. ## 6 Menyerahkan model ke tangan pengguna akan membantu kami menemukan skenario aplikasi baru

Meskipun model AI versi sebelumnya bertujuan untuk mengungguli manusia dalam tugas tertentu, LLM berbasis Transformer unggul dalam penalaran umum. Namun hanya karena kita telah membuat model umum yang baik bukan berarti kita telah mengetahui cara menerapkannya pada kasus penggunaan tertentu. Sama seperti membawa manusia ke dalam lingkaran dalam bentuk RLHF sangat penting untuk meningkatkan kinerja model AI saat ini, memberikan teknologi baru kepada pengguna dan memahami cara mereka menggunakannya akan menjadi kunci dalam menentukan aplikasi mana yang akan dibangun berdasarkan hal-hal mendasar ini. models.top.

Kevin Scott, Microsoft:

Kita harus ingat: model bukanlah produknya. Sebagai seorang pengusaha, pemahaman Anda adalah: Siapa pengguna Anda? Apa masalah mereka? Apa yang dapat Anda lakukan untuk membantu mereka? Kemudian tentukan apakah AI memang merupakan infrastruktur yang berguna untuk memecahkan masalah pengguna - itu adalah hal yang konstan. Kecerdasan buatan seperti infrastruktur baru dan menarik yang memungkinkan Anda memecahkan kelompok masalah baru atau menyelesaikan kelompok masalah lama dengan cara yang lebih baik. Mira Murati,OpenAI:

Kami tidak tahu persis seperti apa masa depan, jadi kami mencoba membuat alat dan teknik ini tersedia bagi banyak orang sehingga mereka dapat bereksperimen dan kami dapat melihat apa yang terjadi. Ini adalah strategi yang kami gunakan sejak awal. Seminggu sebelum kami meluncurkan ChatGPT, kami khawatir itu tidak cukup baik. Kita semua telah melihat apa yang terjadi: kita menampilkannya, lalu orang-orang memberi tahu kita bahwa hal ini cukup baik untuk menemukan kasus penggunaan baru, dan Anda melihat semua kasus penggunaan yang muncul ini. ## 7 Ingatan teman AI Anda akan menjadi lebih baik

Sementara data, komputasi, dan parameter model mendukung penalaran umum LLM, jendela kontekstual memperkuat memori jangka pendek mereka. Jendela konteks biasanya diukur berdasarkan jumlah token yang dapat ditangani. Saat ini, sebagian besar jendela konteks berukuran sekitar 32K, namun jendela konteks yang lebih besar akan hadir, dan bersamaan dengan itu muncul kemampuan untuk menjalankan dokumen yang lebih besar dengan lebih banyak konteks melalui LLM.

Noam Shazeer, Karakter.AI :

Saat ini, model yang kami tawarkan menggunakan jendela kontekstual yang berisi ribuan token, artinya teman seumur hidup Anda akan mengingat apa yang terjadi dalam setengah jam terakhir. Jika Anda dapat membuang banyak informasi, segalanya akan menjadi lebih baik. Ia seharusnya dapat mempelajari satu miliar hal tentang Anda. Bandwidth HBM ada di sana. Dario Amodei,Antropik:

Satu hal yang menurut saya masih diremehkan adalah konteksnya yang lebih panjang dan hal-hal yang menyertainya. Saya pikir orang-orang memiliki gambaran ini dalam pikiran mereka tentang memiliki chatbot ini. "Saya mengajukan pertanyaan dan ia menjawab pertanyaan tersebut. Namun Anda dapat mengunggah kontrak hukum dan berkata, 'Apa saja lima ketentuan yang paling tidak biasa dalam kontrak hukum ini?' Atau unggah laporan keuangan dan katakan, "Ringkasan keberadaan perusahaan ini. Apa yang mengejutkan dibandingkan dengan apa yang dikatakan analis ini dua minggu lalu? Semua pengetahuan ini memanipulasi dan mengolah sejumlah besar data yang perlu dihitung oleh orang-orang." menurut kami hal tersebut lebih mungkin terjadi daripada apa yang dilakukan orang. Kami baru saja memulainya." ## 8 Chatbot suara, bot, dan cara lain untuk berinteraksi dengan kecerdasan buatan merupakan bidang penelitian yang penting

Saat ini, kebanyakan orang berinteraksi dengan kecerdasan buatan dalam bentuk chatbot, namun hal ini karena chatbot sering kali mudah dibuat, bukan karena merupakan antarmuka terbaik untuk setiap kasus penggunaan.

Banyak pembuat yang berfokus pada pengembangan cara baru bagi pengguna untuk berinteraksi dengan model AI melalui AI multimodal. Pengguna akan dapat berinteraksi dengan model multimodal dengan cara yang sama seperti mereka berinteraksi dengan seluruh dunia: melalui gambar, teks, suara, dan media lainnya. Melangkah lebih jauh: AI yang diwujudkan berfokus pada kecerdasan buatan yang dapat berinteraksi dengan dunia fisik, seperti mobil yang dapat mengemudi sendiri.

Mira Murati,OpenAI:

Saya pikir model dasar saat ini mewakili dunia dengan baik dalam bentuk teks. Kami menambahkan modalitas lain, seperti gambar dan video, sehingga model ini bisa mendapatkan gambaran dunia yang lebih lengkap, serupa dengan cara kita memahami dan mengamati dunia. Noam Shazeer, Karakter.AI :

Mungkin Anda ingin mendengar suara, melihat wajah, atau sekadar bisa berinteraksi dengan banyak orang. Ini seperti jika Anda terpilih sebagai presiden, Anda mendapat headphone, dan seluruh tim yang terdiri dari teman atau penasihat. Atau seperti Anda masuk ke "bar menyenangkan" dan semua orang tahu nama Anda dan mereka senang Anda datang. Daphne Koller, dalam:

Kemungkinan dampak AI berikutnya adalah ketika AI mulai berinteraksi dengan dunia fisik. Kita semua melihat betapa sulitnya itu. Kita semua pernah melihat betapa sulitnya membuat mobil self-driving dibandingkan dengan membuat chatbot, bukan? Kami membuat kemajuan besar dalam membangun chatbot, dan mobil tanpa pengemudi masih menghalangi truk pemadam kebakaran di San Francisco. Penting untuk memahami kompleksitas ini, dan juga skala dampaknya## 9 Apakah kita akan memiliki beberapa model umum, sekumpulan model khusus, atau gabungan keduanya?

Kasus penggunaan mana yang paling cocok untuk model dasar “kecerdasan lebih tinggi” yang lebih besar atau model dan kumpulan data khusus yang lebih kecil? Sama seperti perdebatan arsitektur cloud versus edge satu dekade lalu, jawabannya bergantung pada seberapa banyak Anda bersedia membayar, seberapa akurat output yang Anda perlukan, dan seberapa besar latensi yang dapat Anda toleransi. Jawaban atas pertanyaan-pertanyaan ini dapat berubah seiring waktu seiring para peneliti mengembangkan metode komputasi yang lebih efisien untuk menyempurnakan model dasar yang besar untuk kasus penggunaan tertentu.

Dalam jangka panjang, kami mungkin terlalu merotasi model mana yang digunakan untuk kasus penggunaan tertentu karena kami masih dalam tahap awal membangun infrastruktur dan arsitektur untuk mendukung gelombang aplikasi AI yang akan datang.

Ali Ghodsi, Databricks:

Ini seperti tahun 2000, Internet akan mendominasi segalanya, dan yang terpenting adalah siapa yang dapat membangun router terbaik. Kapitalisasi pasar Cisco mencapai puncaknya pada US$5 triliun pada tahun 2000, melampaui Microsoft pada saat itu. Jadi, siapa yang memiliki LLM (model bahasa) terbesar? Jelasnya, siapa pun yang dapat membangun yang terbesar dan melatihnya sepenuhnya akan memiliki kendali atas seluruh AI dan manusia di masa depan. Namun seperti halnya Internet, orang lain akan memunculkan ide seperti Uber dan taksi di kemudian hari. Akan ada orang lain yang berpikir, "Hei, saya ingin melihat apa yang dilakukan teman-teman saya di Facebook." Ini bisa menjadi peluang bisnis yang sangat besar, dan bukan hanya perusahaan seperti OpenAI atau Databricks atau Anthropic yang bisa membangun model. skenario. Dibutuhkan banyak usaha untuk menciptakan dokter yang Anda percaya. Dario Amodei,Antropik:

Faktor terbesarnya adalah menginvestasikan lebih banyak uang. Model termahal yang diproduksi saat ini berharga sekitar $100 juta, plus atau minus beberapa kali lipat. Tahun depan kita mungkin melihat model dari berbagai pemain bernilai sekitar $1 miliar, dan pada tahun 2025 kita akan melihat model dalam jumlah miliaran atau bahkan $10 miliar. Perbedaan 100x ini dipadukan dengan fakta bahwa penghitungan H100 sendiri menjadi lebih cepat - lompatan yang sangat besar karena berkurangnya akurasi. Gabungkan semua faktor ini, dan jika hukum penskalaan terus berlaku, akan terjadi peningkatan kemampuan yang sangat besar. Mira Murati, OpenAI:

Itu tergantung pada apa yang ingin Anda lakukan. Jelas bahwa sistem AI akan semakin banyak mengambil alih pekerjaan yang kita lakukan. Dalam hal platform OpenAI, Anda dapat melihat bahwa bahkan saat ini, kami menyediakan banyak model melalui API, dari model yang sangat kecil hingga model yang mutakhir. Seseorang tidak selalu perlu menggunakan model yang paling kuat atau kompeten. Terkadang mereka hanya memerlukan model yang sesuai dengan kasus penggunaan spesifik mereka dan lebih hemat biaya. Kami ingin orang-orang mengembangkan model kami dan memberi mereka alat untuk mempermudah proses ini. Kami ingin memberi mereka lebih banyak akses dan kontrol sehingga Anda dapat membawa data Anda sendiri dan menyesuaikan model ini. Anda benar-benar perlu fokus pada hal-hal yang melampaui cakupan model dan mendefinisikan produk. David Baszucki, Roblox:

Di perusahaan mana pun seperti Roblox, mungkin ada 20 atau 30 aplikasi vertikal pengguna akhir yang sangat disesuaikan - pemfilteran bahasa alami sangat berbeda dengan menghasilkan 3D - dan di pengguna akhir, kami ingin semua aplikasi tersebut berjalan. Saat kami menelusuri [tumpukan], di perusahaan seperti kami, mungkin ada pengelompokan alami yang terdiri dari 2 atau 3 model tipe yang lebih besar dan lebih gemuk. Kami telah menyempurnakan disiplin ilmu yang ingin kami latih dan menjalankan banyak kesimpulan untuk disiplin ilmu tersebut. ## 10 Kapan AI cukup diadopsi di perusahaan, apa yang terjadi pada kumpulan data tersebut?

Dampak AI generatif terhadap perusahaan masih dalam tahap awal – sebagian karena perusahaan biasanya lebih lambat dalam bergerak, dan sebagian lagi karena mereka telah menyadari nilai dari kumpulan data milik mereka dan tidak ingin menyerahkan data tersebut ke perusahaan lain. Tidak peduli seberapa kuat modelnya. Sebagian besar kasus penggunaan perusahaan memerlukan tingkat akurasi yang tinggi, dan perusahaan memiliki 3 pilihan untuk memilih LLM: membangun LLM mereka sendiri, menggunakan penyedia layanan LLM untuk membangunnya untuk mereka, atau menyempurnakan model yang mendasarinya - membangun LLM Anda sendiri tidaklah mudah. mudah.

Ali Ghosdi, Databricks：

Satu hal yang terlintas di benak para CEO dan dewan direksi adalah mereka menyadari: Mungkin saya bisa mengalahkan pesaing saya. Mungkin kryptonite-lah yang membunuh musuhmu. Saya punya data untuk AI generatif, jadi mereka berpikir, "Saya harus membuatnya sendiri." Saya harus memiliki kekayaan intelektual. Apakah Anda ingin membangun LLM Anda sendiri dari awal? Ini tidak sepele, tetap membutuhkan banyak GPU, menghabiskan banyak uang, dan bergantung pada kumpulan data dan use case Anda. Kami memiliki banyak pelanggan yang menginginkan model yang lebih murah, lebih kecil, dan dibuat khusus dengan akurasi dan kinerja sangat tinggi. Mereka berkata, "Hei, ini yang ingin saya lakukan. Saya ingin mendapatkan klasifikasi yang baik dari gambar-gambar cacat khusus ini dalam proses manufaktur." Akurasi penting di sana. Setiap akurasi yang Anda berikan kepada saya berarti. Di sana, Anda akan lebih baik jika memiliki kumpulan data yang bagus untuk dilatih dan dapat melatih model yang lebih kecil. Latensi akan lebih cepat, lebih murah, dan ya, Anda pasti bisa mendapatkan akurasi yang mengalahkan model yang sangat besar. Namun model yang Anda buat tidak akan menghibur Anda di akhir pekan atau membantu anak Anda mengerjakan pekerjaan rumah mereka. ## 11 Akankah Law of Scaling membawa kita ke AGI?

LLM saat ini mengikuti hukum Penskalaan: performa model meningkat seiring Anda menambahkan lebih banyak data dan penghitungan, meskipun arsitektur dan algoritmenya tetap sama. Tapi sampai kapan aturan ini bisa bertahan? Akankah hal ini berlanjut tanpa batas waktu, atau akankah hal ini mencapai batas alaminya sebelum kita mengembangkan AGI?

Mira Murati, OpenAI:

Tidak ada bukti bahwa kami tidak akan mendapatkan model yang lebih baik dan lebih kuat seiring kami terus memperluas akses ke data dan komputasi. Apakah ini membawa Anda sampai ke AGI - itu pertanyaan yang berbeda. Mungkin ada beberapa terobosan dan kemajuan lain yang diperlukan dalam proses ini, namun menurut saya, masih ada jalan panjang dalam hal hukum penskalaan dan benar-benar mendapatkan banyak manfaat dari model yang lebih besar ini. Dario Amodei, Antropis:

Sekalipun tidak ada perbaikan algoritmik di sini dan kami hanya meningkatkannya hingga sejauh ini, hukum penskalaan akan terus berlanjut. Noam Shazeer, Karakter.AI:

Tujuan kami adalah menjadi perusahaan AGI dan perusahaan yang mengutamakan produk, dan cara melakukannya adalah dengan memilih produk yang tepat, memaksa kami melakukan hal-hal yang dapat digeneralisasikan, menjadikan model lebih cerdas, menjadikannya sesuatu yang diinginkan orang, dan Memberikan layanan secara murah dan dalam skala besar. Hukum Penskalaan akan membawa kita jauh. Intinya, perhitungannya tidak terlalu mahal. Saat ini, biaya operasional sekitar $10-$18. Jika Anda dapat melakukan hal-hal ini secara efisien, biayanya akan jauh lebih kecil dibandingkan nilai waktu Anda. Ada kemampuan untuk meningkatkan hal-hal ini berdasarkan besarnya. ## 12 Apa saja kemampuan yang muncul?

Meskipun beberapa orang dengan cepat mengabaikan kemampuan untuk menghasilkan kecerdasan buatan, kecerdasan buatan sudah jauh lebih baik daripada manusia dalam melakukan tugas-tugas tertentu dan akan terus meningkat. Para pembangun terbaik telah mampu mengidentifikasi kemampuan-kemampuan AI yang paling menjanjikan dan membangun model-model serta perusahaan-perusahaan yang mampu meningkatkan kemampuan-kemampuan ini menjadi kemampuan-kemampuan yang andal. Mereka menyadari bahwa skala cenderung meningkatkan keandalan kemampuan yang muncul.

Mira Murati, OpenAI:

Penting untuk memperhatikan fitur-fitur yang muncul ini, meskipun fitur-fitur tersebut sangat tidak dapat diandalkan. Khususnya bagi orang-orang yang sedang membangun perusahaan saat ini, Anda tentu ingin memikirkan, "Oke, apa yang mungkin terjadi saat ini? Apa yang Anda lihat hari ini?" Karena dengan sangat cepat model-model ini akan menjadi dapat diandalkan. Dario Amodei, Antropis:

Saat kami merilis GPT-2, hal yang dianggap paling mengesankan pada saat itu adalah, "Anda memasukkan lima contoh terjemahan bahasa Inggris ke bahasa Prancis ini langsung ke dalam model bahasa, lalu memasukkan kalimat bahasa Inggris keenam, dan itu akan diterjemahkan ke dalam bahasa Prancis. . Rasanya seperti ya Tuhan, ia memahami pola ini." Itu gila bagi kami, meskipun terjemahannya buruk. Namun pandangan kami adalah, "Lihat, ini hanyalah awal dari perjalanan yang luar biasa karena tidak ada batasnya dan ini dapat terus berkembang." Mengapa model-model yang telah kita lihat sebelumnya tidak dapat terus ada? Ada begitu banyak tujuan untuk memprediksi kata berikutnya, dan ada banyak hal yang dapat Anda tantang, yang pasti berhasil. Lalu beberapa orang melihatnya dan berkata, "Anda membuat alat penerjemah robot yang sangat buruk." ## 13 Apakah biaya penyajian model ini akan turun?

Biaya komputasi adalah salah satu batasan utama dalam menskalakan model ini, dan kekurangan chip saat ini meningkatkan biaya karena membatasi pasokan. Namun, jika Nvidia memproduksi lebih banyak H100 tahun depan, hal ini akan mengurangi kekurangan GPU dan berpotensi menurunkan biaya komputasi.

Noam Shazeer, Karakter.AI：

Model yang kami tawarkan sekarang membutuhkan sekitar $2 juta dalam siklus komputasi untuk dilatih tahun lalu, dan kami mungkin akan melakukannya lagi dengan biaya setengah juta dolar. Jadi kami akan meluncurkan lusinan poin IQ tentang hal-hal yang lebih cerdas sebelum akhir tahun ini. Saya melihat hal-hal ini meningkat secara besar-besaran. Hanya saja tidak terlalu mahal. Saya rasa saya melihat artikel kemarin bahwa Nvidia akan membuat 1,5 juta H100 lagi tahun depan, yaitu 2 juta H100. Itu berarti sekitar seperempat triliun operasi per detik per orang. Artinya, setiap orang di planet ini, pada model dengan 100 miliar parameter, mungkin memproses 1 kata per detik. Namun tidak semua orang bisa mengaksesnya, jadi biayanya tidak terlalu mahal. Hal ini sangat terukur jika Anda melakukannya dengan benar, dan kami bekerja keras untuk mewujudkannya. Dario Amodei, Antropis:

Poin dasar saya adalah bahwa inferensi tidak akan semahal itu. Logika dasar hukum Penskalaan adalah jika Anda menambah perhitungan sebanyak n kali, Anda perlu menambah data sebanyak satu kali akar kuadrat dari n dan ukuran model sebanyak satu kali lipat dari akar kuadrat n. Akar kuadrat ini pada dasarnya berarti bahwa model itu sendiri tidak akan bertambah besar, dan perangkat keras akan menjadi lebih cepat seiring Anda melakukannya. Saya pikir hal-hal ini akan terus relevan untuk 3 atau 4 tahun ke depan. Tanpa inovasi arsitektur, harganya menjadi sedikit lebih mahal. Kalau ada inovasi arsitektur, dan saya harap ada, harganya akan lebih murah. Namun meskipun biaya komputasi tetap konstan, peningkatan efisiensi pada tingkat model tampaknya tidak bisa dihindari, terutama dengan banyaknya talenta yang terjun ke bidang ini, dan AI sendiri mungkin merupakan alat paling ampuh untuk meningkatkan cara kerja AI.

Dario Amodei, Antropis：

Ketika AI menjadi lebih kuat, ia melakukan sebagian besar tugas kognitif dengan lebih baik. Salah satu tugas kognitif terkait adalah menilai keamanan sistem kecerdasan buatan dan pada akhirnya melakukan penelitian keselamatan. Ada komponen referensi diri dalam hal ini. Kita dapat melihatnya dengan membaca di dalam jaringan saraf, seperti bidang interpretabilitas. Sistem AI yang kuat dapat membantu kita menafsirkan aktivitas saraf dalam sistem AI yang lebih lemah. Dan wawasan interpretabilitas ini sering kali memberi tahu kita cara kerja model tersebut. Saat mereka memberi tahu kita cara kerja suatu model, mereka sering kali menyarankan cara untuk menyempurnakannya atau membuatnya lebih efisien. Salah satu bidang penelitian yang paling menjanjikan adalah menyempurnakan model besar untuk kasus penggunaan tertentu tanpa menjalankan keseluruhan model.

Ali Ghodsi, Databricks:

Jika Anda membuat seribu versi LLM yang ahli dalam ribuan hal berbeda, dan Anda harus memuat masing-masing versi tersebut ke GPU dan menyajikannya, biayanya akan sangat mahal. Hal besar yang dicari semua orang saat ini adalah: Adakah teknik yang bisa mendapatkan hasil bagus hanya dengan sedikit modifikasi? Ada banyak teknologi seperti penyetelan awalan, LoRA, CUBE LoRA, dll. Namun tidak ada solusi sempurna yang terbukti berhasil. Tapi seseorang akan menemukannya. ## 14 Bagaimana kita mengukur kemajuan menuju kecerdasan buatan secara umum?

Saat kita memperluas model ini, bagaimana kita tahu kapan AI menjadi kecerdasan umum buatan? Ketika kita sering mendengar istilah AGI, definisinya mungkin sulit, mungkin juga karena sulit diukur.

Tolok ukur kuantitatif seperti GLUE dan SUPERGLUE telah lama digunakan sebagai metrik standar untuk mengukur performa model AI. Namun seperti tes standar yang kami berikan kepada manusia, tolok ukur AI menimbulkan pertanyaan: Sejauh mana Anda mengukur kemampuan LLM dalam bernalar, dan sejauh mana Anda mengukur kemampuannya untuk lulus ujian?

Ali Ghodsi, Databricks：

Saya merasa semua tolok ukur itu omong kosong. Bayangkan jika semua universitas kita berkata, "Kami akan memberi Anda jawaban untuk dilihat pada malam sebelum ujian. Dan keesokan harinya, kami akan meminta Anda menjawab pertanyaan dan menilainya." , semua orang bisa Lulus ujian dengan mudah. Misalnya, MMLU adalah tolok ukur yang digunakan banyak orang untuk mengevaluasi model tersebut. MMLU hanyalah soal pilihan ganda di internet. Ajukan pertanyaan, apakah jawabannya A, B, C, D atau E? Kemudian ia akan memberi tahu Anda jawaban yang benar. Itu bisa dilatih secara online dan membuat model LLM yang mampu mengalahkannya. Tes kualitatif asli untuk AGI adalah tes Turing, namun meyakinkan manusia bahwa AI adalah manusia bukanlah masalah yang sulit. Mendapatkan kecerdasan buatan untuk melakukan apa yang dilakukan manusia di dunia nyata adalah sebuah masalah yang sulit. Jadi, pengujian apa yang dapat kita gunakan untuk memahami fungsionalitas sistem ini?

Lapangan Dylan, Figma：

Apa yang kita lihat sekarang dari sistem ini adalah mudahnya membuat orang percaya bahwa Anda adalah manusia, namun sulit untuk benar-benar melakukan hal baik. Saya dapat meminta GPT-4 mengembangkan rencana bisnis dan menjualnya kepada Anda, namun itu tidak berarti Anda akan berinvestasi. Ketika Anda benar-benar memiliki dua bisnis yang bersaing - satu dijalankan oleh AI dan satu lagi dijalankan oleh manusia - dan Anda memilih untuk berinvestasi dalam bisnis AI, itu membuat saya khawatir. David Baszucki, Roblox:

Saya punya pertanyaan tes Turing untuk AI: Jika kita memasang AI pada tahun 1633 dan membiarkannya melatih semua informasi yang tersedia pada saat itu, apakah AI akan memprediksi apakah Bumi atau Matahari adalah pusat tata surya - bahkan padahal 99,9% informasi bilang bumi adalah pusat tata surya? Saya pikir 5 tahun sudah dekat, tetapi jika kita melakukan tes AI Turing ini dalam 10 tahun, mungkin kita akan mengatakan matahari. ## 15 Apakah manusia masih perlu berpartisipasi?

Teknologi baru sering kali menggantikan sebagian pekerjaan manusia, namun teknologi baru juga membuka bidang baru, meningkatkan produktivitas, dan membuat lebih banyak jenis pekerjaan tersedia bagi lebih banyak orang. Meskipun mudah untuk membayangkan AI mengotomatisasi pekerjaan yang ada, jauh lebih sulit untuk membayangkan masalah dan kemungkinan berikutnya yang akan ditimbulkan oleh AI.

Martin Casado, a16z:

Sederhananya, Paradoks Jevons menyatakan: Jika permintaan elastis dan harga turun, permintaan akan melebihi kompensasi. Seringkali, ini jauh lebih dari sekedar kompensasi. Ini jelas berlaku untuk internet. Anda mendapatkan nilai lebih dan produktivitas lebih banyak. Saya pribadi percaya bahwa permintaan bersifat elastis dalam mengotomatisasi aset atau pekerjaan kreatif apa pun. Semakin banyak yang kita hasilkan, semakin banyak orang yang mengonsumsinya. Kita sangat menantikan peningkatan produktivitas secara besar-besaran, banyaknya lapangan kerja baru, dan banyak hal baru, seperti yang kita lihat di era microchip dan Internet. Kevin Scott, Microsoft:

Saya dibesarkan di pedesaan Virginia tengah, yang perekonomiannya sebagian besar didukung oleh pertanian tembakau, manufaktur furnitur, dan industri tekstil. Ketika saya lulus SMA, ketiga industri tersebut baru saja runtuh. Ketika orang-orang di komunitas ini memiliki akses terhadap alat yang sangat canggih, mereka sering kali melakukan hal-hal luar biasa, menciptakan peluang ekonomi bagi diri mereka sendiri, keluarga, dan komunitas mereka. Mereka memecahkan masalah yang Anda atau saya tidak bisa karena kita tidak melihat keseluruhan lanskap masalah di dunia. Kami tidak memiliki perspektif mereka. Alat AI ini kini lebih mudah digunakan dibandingkan sebelumnya. Anda dapat melakukan hal-hal menarik dengan alat ini sekarang dan menjadi wirausaha di kota kecil Virginia tanpa memiliki gelar PhD di bidang ilmu komputer atau keahlian dalam kecerdasan buatan klasik. Anda hanya harus tetap penasaran dan berwirausaha. Lapangan Dylan, Figma:

Jika Anda melihat setiap pergeseran teknologi atau pergeseran platform hingga saat ini, hal ini menghasilkan lebih banyak hal untuk dirancang. Ada mesin cetak, dan kemudian Anda harus memikirkan apa yang akan dimasukkan ke halaman itu. Baru-baru ini dengan adanya Internet seluler, Anda mungkin berpikir, “Semakin sedikit pikselnya, semakin sedikit desainernya.” Namun bukan itu masalahnya, saat itulah kita melihat ledakan terbesar dalam jumlah desainer. ## 16 Saat ini adalah saat yang paling menyenangkan untuk membangun startup AI (terutama jika Anda seorang ahli fisika atau matematika)

Saat ini adalah saat yang unik dan menarik untuk membangun kecerdasan buatan: model-model yang mendasarinya berkembang pesat, perekonomian akhirnya condong ke arah startup, dan ada banyak masalah yang harus dipecahkan. Persoalan-persoalan ini membutuhkan kesabaran dan ketekunan yang besar untuk memecahkannya, dan para ahli fisika dan matematika sampai saat ini sangat cocok untuk menyelesaikannya. Namun sebagai bidang yang masih muda dan berkembang pesat, AI memiliki peluang yang luas—dan sekarang adalah waktu yang tepat untuk mengembangkannya.

Dario Amodei, Antropis：

Pada saat tertentu, ada dua jenis alam. Salah satunya adalah bidang yang pengalaman dan akumulasi pengetahuannya sangat kaya, dan butuh waktu bertahun-tahun untuk menjadi ahlinya. Biologi adalah contoh klasik - jika Anda hanya bekerja di bidang biologi selama 6 bulan, sangat sulit untuk melakukan pekerjaan inovatif atau tingkat Hadiah Nobel... Bidang lainnya adalah bidang yang sangat muda atau berkembang sangat pesat. Kecerdasan buatan dulunya, dan sampai batas tertentu masih menjadi, salah satu dari kategori ini. Generalis yang benar-benar berbakat sering kali dapat mengungguli orang-orang yang sudah lama berkecimpung di bidang ini karena segala sesuatunya berubah begitu cepat. Malah, memiliki banyak pengetahuan sebelumnya bisa menjadi suatu kerugian. Mira Murati, OpenAI:

Salah satu hal yang dapat diambil dari ruang teoretis matematika adalah Anda perlu menghabiskan waktu lama untuk memikirkan masalah. Terkadang Anda tertidur dan terbangun dengan ide-ide baru, secara bertahap menemukan solusi akhir selama beberapa hari atau minggu. Ini bukanlah proses yang dapat menghasilkan hasil yang cepat, dan terkadang ini bukanlah hal yang berulang. Cara berpikirnya hampir berbeda, di mana Anda membangun intuisi dan disiplin untuk menghadapi suatu masalah dan memercayai diri sendiri untuk menyelesaikannya. Seiring waktu, Anda akan mengembangkan intuisi tentang masalah mana yang benar-benar layak untuk diatasi. Daphne Koller, bagian dalam:

Pembelajaran mesin tidak hanya meningkat seiring berjalannya waktu, tetapi juga alat biologis yang kita andalkan. Dulu belum ada teknologi CRISPR, yang ada hanya siRNA. Kemudian muncullah teknologi pengeditan gen CRISPR, dan kini hadir teknologi prima CRISPR yang dapat menggantikan seluruh wilayah genom. Hasilnya, alat-alat yang kami kembangkan menjadi semakin baik, sehingga membuka kemungkinan bagi kami untuk mengatasi lebih banyak penyakit dengan cara yang lebih bermakna. Banyak peluang yang ada di persimpangan antara kecerdasan buatan/pembelajaran mesin dengan bidang biologi dan kedokteran. Konvergensi ini adalah momen yang memungkinkan kita memberikan dampak besar pada dunia yang kita tinggali, dengan menggunakan alat yang ada saat ini, namun lima tahun yang lalu belum ada. Kevin Scott, Microsoft:

Jika Anda berpikir tentang beberapa perubahan platform besar yang pernah terjadi di masa lalu, hal yang paling berharga pada platform tersebut bukanlah hal-hal yang diterapkan dalam dua tahun pertama perubahan platform. Jika Anda memikirkan di mana Anda menghabiskan sebagian besar waktu di ponsel cerdas Anda, itu bukanlah aplikasi perpesanan, atau browser web, atau klien email. Sebaliknya, ini adalah sesuatu yang baru yang dibuat dalam beberapa tahun setelah platform tersedia. Hal-hal apa saja yang sebelumnya mustahil, kini menjadi mungkin? Inilah yang harus dipikirkan masyarakat. Jangan mengejar hal-hal sepele.