- Topik
32k Popularitas
19k Popularitas
32k Popularitas
31k Popularitas
4k Popularitas
96k Popularitas
29k Popularitas
27k Popularitas
7k Popularitas
18k Popularitas
- Sematkan
32k Popularitas
19k Popularitas
32k Popularitas
31k Popularitas
4k Popularitas
96k Popularitas
29k Popularitas
27k Popularitas
7k Popularitas
18k Popularitas
Lightspeed America: Di manakah masa depan lapisan infrastruktur AI?
Asli: SenseAI
Akal Berpikir
Kami mencoba mengedepankan deduksi yang lebih divergen dan pemikiran mendalam berdasarkan isi artikel, selamat bertukar.
Menurut kemampuan model dan biaya, model AI akan dibagi menjadi "model otak", "model penantang", dan "model ekor panjang". Model ekor panjang berukuran kecil dan fleksibel, dan lebih cocok untuk melatih model pakar untuk domain yang terbagi. Ditumpangkan pada periodisitas Hukum Moore, tidak akan ada blokade daya komputasi di masa depan, dan skenario penerapan model otak akan sulit dihilangkan. Pasar kemungkinan akan memilih model yang sesuai berdasarkan ukuran ruang aplikasi skenario dan aturan alokasi rantai nilai.
Peluang sistem yang muncul pada sisi model: 1) kerangka evaluasi model; 2) mengoperasikan dan memelihara model; 3) menambah sistem. Yang perlu dipertimbangkan adalah perbedaan pasar yang berbeda antara Tiongkok dan Amerika Serikat, ekologi layanan bisnis asli, dan preferensi modal.
Peluang platform RAG (Retrieval Augmentation) tingkat perusahaan: peluang yang dibawa oleh kompleksitas dan keragaman model, 1) alat operasional: kemampuan observasi, keamanan, kepatuhan; 2) data: dalam membedakan nilai bisnis dan menyediakan masyarakat secara keseluruhan Di antara nilai-nilai, teknologi akan membawa peluang bagi monetisasi data.
Artikel ini memiliki total 2426 kata dan membutuhkan waktu sekitar 7 menit untuk dibaca dengan cermat.
Selama dekade terakhir, Lightspeed, sebuah lembaga pendanaan terkemuka di AS, telah bekerja sama dengan perusahaan-perusahaan terkemuka di bidang AI/ML, platform yang mereka bangun, dan pelanggan yang mereka layani untuk lebih memahami cara pandang perusahaan tentang Gen-AI. Secara khusus, Lightspeed memeriksa ekosistem model yang mendasarinya dan mengajukan pertanyaan seperti “Apakah model terbaik akan memiliki dinamika pemenang mengambil semua?” dan “Apakah semua kasus penggunaan perusahaan memanggil API OpenAI secara default, atau lebih baik menggunakannya? “Diversifikasi?” dan seterusnya. Jawabannya akan menentukan arah pertumbuhan masa depan ekosistem ini dan aliran energi, sumber daya manusia, dan modal.
01. Model klasifikasi ekosistem
Berdasarkan pembelajaran kami, kami yakin bahwa ledakan model AI pada masa Kambrium akan segera terjadi. Pengembang dan pelaku bisnis akan memilih model yang paling sesuai dengan “tugas yang harus diselesaikan”, meskipun penggunaan selama tahap eksplorasi mungkin tampak lebih terfokus. Kemungkinan besar perusahaan akan mengadopsi model ini dengan menggunakan model besar untuk eksplorasi, dan secara bertahap beralih ke model produksi yang lebih kecil dan terspesialisasi (disesuaikan + disempurnakan) seiring dengan meningkatnya pemahaman mereka tentang kasus penggunaan. Diagram di bawah menguraikan bagaimana kita melihat ekosistem model yang mendasarinya berevolusi.
Kategori 1: Model “Otak”
Ini adalah model terbaik dan mewakili pemodelan mutakhir. Dari sinilah demo yang menarik dan ajaib itu berasal. Model-model ini sering kali menjadi hal pertama yang dipertimbangkan pengembang ketika mencoba mengeksplorasi batasan kemampuan AI untuk aplikasi mereka. Model-model ini mahal untuk dilatih dan rumit untuk dipelihara dan dikembangkan. Namun model yang sama dapat menggunakan LSAT, MCAT, menulis esai sekolah menengah Anda, dan berinteraksi dengan Anda sebagai chatbot. Pengembang saat ini sedang melakukan eksperimen pada model ini dan mengevaluasi penggunaan AI dalam aplikasi perusahaan.
Namun, model generik mahal untuk digunakan, memiliki latensi inferensi yang tinggi, dan mungkin berlebihan untuk kasus penggunaan terbatas yang terdefinisi dengan baik. Masalah kedua adalah bahwa model ini bersifat generalis dan mungkin kurang akurat pada tugas-tugas khusus. (Lihat makalah Cornell ini) Terakhir, model ini juga merupakan kotak hitam di hampir semua kasus, yang dapat menciptakan tantangan privasi dan keamanan bagi perusahaan yang mencoba memanfaatkan model ini tanpa menyerahkan aset data mereka. OpenAI, Anthropic, Codi sini adalah beberapa contoh perusahaan.
Kategori Dua: Model "Penantang"
Model-model ini juga merupakan model berkemampuan tinggi, nomor dua setelah model-model umum yang lebih besar yang mendahuluinya dalam hal keterampilan dan kemampuan. Llama 2 dan Falcon adalah perwakilan terbaik di kategori ini. Model tersebut biasanya sama bagusnya dengan model Gen "N-1" atau "N-2" dari perusahaan yang melatih model tujuan umum. Misalnya, Llama2 sama baiknya dengan GPT-3.5-turbo menurut beberapa tolok ukur. Menyesuaikan model-model ini pada data perusahaan dapat menjadikannya sebaik model besar tujuan umum kelas satu dalam tugas-tugas tertentu.
Banyak dari model ini yang bersifat open source (atau mendekatinya) dan, setelah dirilis, segera membawa perbaikan dan optimalisasi dari komunitas open source.
Kategori 3: Model "Ekor Panjang"
Ini adalah model “ahli”. Mereka dibuat untuk memenuhi tujuan tertentu, seperti mengklasifikasikan dokumen, mengidentifikasi atribut tertentu dalam gambar atau video, mengidentifikasi pola dalam data bisnis, dll. Model-model ini fleksibel, murah untuk dilatih dan digunakan, dan dapat dijalankan di pusat data atau di edge.
Sekilas tentang Hugging Face sudah cukup untuk memahami skala ekosistem ini saat ini dan di masa depan, karena jangkauan kasus penggunaan yang dilayaninya sangat luas.
02. Adaptasi dasar dan kasus praktis
Meskipun masih dalam tahap awal, kami sudah melihat beberapa tim pengembangan dan perusahaan terkemuka sudah memikirkan ekosistem dengan cara yang berbeda. Seseorang ingin mencocokkan penggunaan dengan model terbaik. Bahkan menggunakan beberapa model untuk melayani kasus penggunaan yang lebih kompleks.
Faktor-faktor dalam mengevaluasi model/model mana yang akan digunakan biasanya mencakup hal-hal berikut:
Persyaratan privasi dan kepatuhan data: Hal ini memengaruhi apakah model perlu dijalankan pada infrastruktur perusahaan, atau apakah data dapat dikirim ke titik akhir inferensi yang dihosting secara eksternal
Apakah model memungkinkan penyesuaian
Tingkat “kinerja” inferensi yang diinginkan (latensi, akurasi, biaya, dll.)
Namun dalam praktiknya, faktor-faktor yang perlu dipertimbangkan seringkali jauh lebih panjang dibandingkan faktor-faktor yang tercantum di atas, sehingga mencerminkan beragamnya kasus penggunaan yang ingin dicapai oleh pengembang dengan AI.
03. Dimana peluangnya?
Kerangka evaluasi model: Bisnis memerlukan akses terhadap alat dan keahlian untuk membantu mengevaluasi model mana yang akan digunakan untuk kasus penggunaan tertentu. Pengembang perlu memutuskan cara terbaik untuk mengevaluasi apakah model tertentu cocok untuk "pekerjaan yang harus diselesaikan". Evaluasi perlu mempertimbangkan beberapa faktor, termasuk tidak hanya kinerja model, namun juga biaya, tingkat pengendalian yang dapat diterapkan, dll.
Menjalankan dan memelihara model: Platform akan muncul untuk membantu perusahaan melatih, menyempurnakan, dan menjalankan model (terutama model ekor panjang tipe ketiga). Secara tradisional, platform ini secara luas disebut sebagai platform ML Ops, dan kami berharap definisi ini juga meluas ke AI generatif. Platform seperti Databricks, Weights and Biases, Tecton, dll. dengan cepat bergerak ke arah ini.
Sistem yang ditingkatkan: Model, khususnya LLM yang dihosting, perlu mengambil build yang ditingkatkan untuk memberikan hasil yang ideal. Hal ini memerlukan serangkaian keputusan pendukung, antara lain
Ekstraksi Data dan Metadata: Cara menyambungkan ke sumber data perusahaan terstruktur dan tidak terstruktur, lalu mengekstrak data dan metadata seperti kebijakan akses.
Penyematan pembuatan dan penyimpanan data: Model mana yang digunakan untuk menghasilkan penyematan data. Lalu bagaimana cara menyimpannya: Basis data vektor mana yang akan digunakan, terutama berdasarkan kinerja, skala, dan fungsionalitas yang diperlukan?
Sekarang adalah kesempatan untuk membangun platform RAG tingkat perusahaan yang menghilangkan kerumitan dalam memilih dan menggabungkan:
Observabilitas: Seberapa baik performa model dalam produksi? Apakah kinerjanya meningkat/menurun seiring berjalannya waktu? Apakah ada pola penggunaan yang mungkin mempengaruhi pilihan model aplikasi untuk versi mendatang?
Keamanan: Cara menjaga keamanan aplikasi asli AI. Apakah aplikasi ini rentan terhadap vektor serangan baru yang memerlukan platform baru?
Kepatuhan: Kami mengantisipasi bahwa aplikasi asli AI dan penggunaan LLM harus mematuhi kerangka kerja yang sudah mulai dikembangkan oleh badan pengatur terkait. Hal ini merupakan tambahan dari rezim kepatuhan yang ada dalam hal privasi, keamanan, perlindungan konsumen, keadilan, dan lain-lain. Dunia usaha akan membutuhkan platform yang dapat membantu mereka menjaga kepatuhan, melakukan audit, menghasilkan bukti kepatuhan, dan tugas-tugas terkait.
Sekarang adalah saat yang tepat untuk membangun platform infrastruktur AI. Penerapan kecerdasan buatan akan terus mentransformasi seluruh industri, namun hal ini memerlukan infrastruktur pendukung, middleware, keamanan, observabilitas, dan platform operasi agar setiap perusahaan di dunia dapat mengadopsi teknologi canggih ini.
Referensi
Penulis: Vela, Yihao, Leo
Pengeditan dan pemformatan: Zoey, Vela