Web3 telah gagal menumbangkan Web2, namun munculnya tumpukan pengembangan model besar memungkinkan pengembang untuk beralih dari era "cloud native" ke tumpukan teknologi AI baru.
Insinyur yang cepat mungkin tidak dapat menyentuh saraf pengembang untuk terburu-buru membuat model besar, tetapi kata-kata dari manajer atau pemimpin produk: Dapatkah "agen" dikembangkan, dapatkah "rantai" diimplementasikan, dan "Database vektor mana yang harus dikembangkan?" digunakan?" Mahasiswa teknologi pengemudi di perusahaan aplikasi model besar arus utama mengatasi kesulitan dalam menghasilkan pengembangan AI.
Jadi, apa saja lapisan tumpukan teknologi yang sedang berkembang? Dimana bagian tersulitnya? Artikel ini akan membawa Anda untuk mengetahuinya.
Tumpukan teknologi perlu diperbarui, dan pengembang sedang memasuki era insinyur AI.
Pada tahun lalu, kemunculan alat seperti LangChain dan LlamaIndex telah memungkinkan ekosistem pengembang aplikasi AI menjadi matang. Bahkan sekarang ada istilah untuk menggambarkan pengembang yang berfokus pada kecerdasan buatan: "Insinyur AI", yang merupakan langkah selanjutnya dari "insinyur tip", menurut pendukungnya Shawn @swyx Wang. Dia juga membuat grafik yang memvisualisasikan posisi para insinyur AI dalam ekosistem AI yang lebih luas:
Sumber gambar: swyx
Model bahasa besar (LLM) adalah teknologi inti para insinyur AI. Bukan suatu kebetulan bahwa LangChain dan LlamaIndex adalah alat yang memperluas dan melengkapi LLM. Namun alat apa lagi yang tersedia untuk pengembang generasi baru ini?
Sejauh ini, diagram tumpukan LLM terbaik yang pernah saya lihat berasal dari perusahaan modal ventura Andreessen Horowitz (a16z). Inilah yang tertulis tentang “tumpukan aplikasi LLM”:
Sumber gambar: a16z
Benar, level teratas masih berupa data.
Tentu saja, hal terpenting dalam tumpukan teknologi LLM adalah data. Dalam diagram a16z, ini adalah lapisan atas. "Model tertanam" adalah peran LLM - Anda dapat memilih dari OpenAI, Cohere, Hugging Face, atau puluhan opsi LLM lainnya, termasuk LLM open source yang semakin populer.
Namun bahkan sebelum menggunakan LLM, "pipa data" perlu disiapkan - yang mencantumkan Databricks dan Airflow sebagai dua contoh, atau data dapat diproses "tidak terstruktur". Ini juga cocok dengan siklus data dan dapat membantu bisnis "membersihkan" atau sekadar mengatur data sebelum memasukkannya ke dalam LLM khusus. Perusahaan "kecerdasan data" seperti Alation menyediakan layanan jenis ini - yang terdengar seperti alat seperti "kecerdasan bisnis" yang lebih dikenal dalam tumpukan teknologi TI.
Bagian terakhir dari lapisan data adalah database vektor yang baru-baru ini terkenal untuk menyimpan dan memproses data LLM. Menurut definisi Microsoft, ini adalah "database yang menyimpan data sebagai vektor berdimensi tinggi, yang merupakan representasi matematis dari fitur atau atribut." Data disimpan sebagai vektor melalui teknologi yang disebut "embedding".
Vendor database vektor terkemuka Pinecone mencatat dalam obrolan media bahwa alat Pinecone sering digunakan dengan alat saluran data seperti Databricks. Dalam hal ini, data biasanya berada di tempat lain (misalnya, data lake), yang kemudian diubah menjadi penyematan melalui model pembelajaran mesin. Setelah data diproses dan dipotong, vektor yang dihasilkan dikirim ke Pinecone.
Tip dan Pertanyaan
Dua lapisan berikutnya dapat diringkas sebagai petunjuk dan kueri - di sinilah aplikasi AI berinteraksi dengan LLM dan (opsional) alat data lainnya. A16z memposisikan LangChain dan LlamaIndex sebagai "kerangka kerja orkestrasi", yang berarti pengembang dapat menggunakan alat ini setelah mereka mengetahui LLM mana yang mereka gunakan.
Menurut a16z, kerangka orkestrasi seperti LangChain dan LlamaIndex "mengabtraksi banyak detail penautan cepat," yang berarti menanyakan dan mengelola data antara aplikasi dan LLM. Proses orkestrasi ini mencakup antarmuka dengan API eksternal, mengambil data konteks dari database vektor, dan memelihara memori di beberapa panggilan LLM. Kotak paling menarik di bagan a16z adalah "Playground", yang mencakup OpenAI, nat.dev, dan Humanloop.
A16z tidak mendefinisikannya secara tepat di postingan blog, tetapi kami dapat menyimpulkan bahwa alat "taman bermain" membantu pengembang melakukan apa yang disebut A16z sebagai "isyarat jiu-jitsu". Di tempat-tempat ini, pengembang dapat bereksperimen dengan berbagai teknik dorongan.
Humanloop adalah perusahaan Inggris yang platformnya menampilkan "ruang kerja cepat kolaboratif". Ini lebih lanjut menggambarkan dirinya sebagai "perangkat pengembangan lengkap untuk fungsionalitas produksi LLM." Jadi pada dasarnya ini memungkinkan Anda untuk mencoba hal-hal LLM dan kemudian menerapkannya ke dalam aplikasi Anda jika berhasil.
Operasi saluran pipa: LLMOps
Jalur perakitan untuk produksi model besar kini secara bertahap menjadi lebih jelas. Di sebelah kanan kotak orkestrasi terdapat sejumlah kotak operasi, termasuk cache dan verifikasi LLM. Ada juga berbagai layanan cloud dan API terkait LLM, termasuk repositori API terbuka seperti Hugging Face, dan penyedia API berpemilik seperti OpenAI.
Ini mungkin tempat yang paling mirip dalam tumpukan teknologi pengembang yang biasa kita gunakan di era "cloud native", dan bukan suatu kebetulan jika banyak perusahaan DevOps menambahkan kecerdasan buatan ke daftar produk mereka. Pada bulan Mei, saya berbicara dengan CEO Harness Jyoti Bansal. Harness menjalankan "platform pengiriman perangkat lunak" yang berfokus pada bagian "CD" dari proses CI/CD.
Bansai memberi tahu saya bahwa AI dapat meringankan tugas-tugas membosankan dan berulang yang terlibat dalam siklus hidup pengiriman perangkat lunak, mulai dari menghasilkan spesifikasi berdasarkan fungsionalitas yang ada hingga menulis kode. Selain itu, dia mengatakan AI dapat mengotomatiskan peninjauan kode, pengujian kerentanan, perbaikan bug, dan bahkan membuat saluran CI/CD untuk pembangunan dan penerapan. Menurut percakapan lain yang saya lakukan di bulan Mei, AI juga mengubah produktivitas pengembang. Trisha Gee dari alat otomatisasi pembangunan Gradle memberi tahu saya bahwa AI dapat mempercepat pengembangan dengan mengurangi waktu yang dihabiskan untuk tugas yang berulang, seperti menulis kode boilerplate, dan memungkinkan pengembang untuk fokus pada gambaran besarnya, seperti memastikan kode tersebut memenuhi kebutuhan bisnis.
Web3 hilang, tumpukan pengembangan model besar akan datang
Dalam tumpukan teknologi pengembangan LLM yang sedang berkembang, kita melihat serangkaian jenis produk baru, seperti kerangka orkestrasi (LangChain dan LlamaIndex), database vektor, dan platform “taman bermain” seperti Humanloop. Semua ini memperluas dan/atau melengkapi teknologi inti yang mendasari era ini: model bahasa besar.
Sama seperti kebangkitan alat era cloud-native seperti Spring Cloud dan Kubernetes pada tahun-tahun sebelumnya. Namun, saat ini, hampir semua perusahaan besar, kecil, dan terkemuka di era cloud native mencoba yang terbaik untuk mengadaptasi alat mereka ke rekayasa AI, yang akan sangat bermanfaat bagi pengembangan tumpukan teknologi LLM di masa depan.
Ya, saat ini model besar sepertinya “berdiri di atas bahu para raksasa.” Inovasi terbaik dalam teknologi komputer selalu dibangun di atas fondasi sebelumnya. Mungkin itu sebabnya revolusi "Web3" gagal - revolusi ini tidak didasarkan pada generasi sebelumnya, melainkan mencoba untuk merebutnya.
Jelas bahwa tumpukan teknologi LLM tampaknya telah berhasil, ini adalah jembatan dari era pengembangan cloud ke ekosistem pengembang berbasis AI yang lebih baru.
Tautan referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Tumpukan pengembangan model besar sudah siap!
Penulis | Richard MacManus
Perencanaan | Komentar
Sumber丨tumpukan teknologi 51CTO
Web3 telah gagal menumbangkan Web2, namun munculnya tumpukan pengembangan model besar memungkinkan pengembang untuk beralih dari era "cloud native" ke tumpukan teknologi AI baru.
Insinyur yang cepat mungkin tidak dapat menyentuh saraf pengembang untuk terburu-buru membuat model besar, tetapi kata-kata dari manajer atau pemimpin produk: Dapatkah "agen" dikembangkan, dapatkah "rantai" diimplementasikan, dan "Database vektor mana yang harus dikembangkan?" digunakan?" Mahasiswa teknologi pengemudi di perusahaan aplikasi model besar arus utama mengatasi kesulitan dalam menghasilkan pengembangan AI.
Jadi, apa saja lapisan tumpukan teknologi yang sedang berkembang? Dimana bagian tersulitnya? Artikel ini akan membawa Anda untuk mengetahuinya.
Tumpukan teknologi perlu diperbarui, dan pengembang sedang memasuki era insinyur AI.
Pada tahun lalu, kemunculan alat seperti LangChain dan LlamaIndex telah memungkinkan ekosistem pengembang aplikasi AI menjadi matang. Bahkan sekarang ada istilah untuk menggambarkan pengembang yang berfokus pada kecerdasan buatan: "Insinyur AI", yang merupakan langkah selanjutnya dari "insinyur tip", menurut pendukungnya Shawn @swyx Wang. Dia juga membuat grafik yang memvisualisasikan posisi para insinyur AI dalam ekosistem AI yang lebih luas:
Model bahasa besar (LLM) adalah teknologi inti para insinyur AI. Bukan suatu kebetulan bahwa LangChain dan LlamaIndex adalah alat yang memperluas dan melengkapi LLM. Namun alat apa lagi yang tersedia untuk pengembang generasi baru ini?
Sejauh ini, diagram tumpukan LLM terbaik yang pernah saya lihat berasal dari perusahaan modal ventura Andreessen Horowitz (a16z). Inilah yang tertulis tentang “tumpukan aplikasi LLM”:
Benar, level teratas masih berupa data.
Tentu saja, hal terpenting dalam tumpukan teknologi LLM adalah data. Dalam diagram a16z, ini adalah lapisan atas. "Model tertanam" adalah peran LLM - Anda dapat memilih dari OpenAI, Cohere, Hugging Face, atau puluhan opsi LLM lainnya, termasuk LLM open source yang semakin populer.
Namun bahkan sebelum menggunakan LLM, "pipa data" perlu disiapkan - yang mencantumkan Databricks dan Airflow sebagai dua contoh, atau data dapat diproses "tidak terstruktur". Ini juga cocok dengan siklus data dan dapat membantu bisnis "membersihkan" atau sekadar mengatur data sebelum memasukkannya ke dalam LLM khusus. Perusahaan "kecerdasan data" seperti Alation menyediakan layanan jenis ini - yang terdengar seperti alat seperti "kecerdasan bisnis" yang lebih dikenal dalam tumpukan teknologi TI.
Bagian terakhir dari lapisan data adalah database vektor yang baru-baru ini terkenal untuk menyimpan dan memproses data LLM. Menurut definisi Microsoft, ini adalah "database yang menyimpan data sebagai vektor berdimensi tinggi, yang merupakan representasi matematis dari fitur atau atribut." Data disimpan sebagai vektor melalui teknologi yang disebut "embedding".
Vendor database vektor terkemuka Pinecone mencatat dalam obrolan media bahwa alat Pinecone sering digunakan dengan alat saluran data seperti Databricks. Dalam hal ini, data biasanya berada di tempat lain (misalnya, data lake), yang kemudian diubah menjadi penyematan melalui model pembelajaran mesin. Setelah data diproses dan dipotong, vektor yang dihasilkan dikirim ke Pinecone.
Tip dan Pertanyaan
Dua lapisan berikutnya dapat diringkas sebagai petunjuk dan kueri - di sinilah aplikasi AI berinteraksi dengan LLM dan (opsional) alat data lainnya. A16z memposisikan LangChain dan LlamaIndex sebagai "kerangka kerja orkestrasi", yang berarti pengembang dapat menggunakan alat ini setelah mereka mengetahui LLM mana yang mereka gunakan.
Menurut a16z, kerangka orkestrasi seperti LangChain dan LlamaIndex "mengabtraksi banyak detail penautan cepat," yang berarti menanyakan dan mengelola data antara aplikasi dan LLM. Proses orkestrasi ini mencakup antarmuka dengan API eksternal, mengambil data konteks dari database vektor, dan memelihara memori di beberapa panggilan LLM. Kotak paling menarik di bagan a16z adalah "Playground", yang mencakup OpenAI, nat.dev, dan Humanloop.
A16z tidak mendefinisikannya secara tepat di postingan blog, tetapi kami dapat menyimpulkan bahwa alat "taman bermain" membantu pengembang melakukan apa yang disebut A16z sebagai "isyarat jiu-jitsu". Di tempat-tempat ini, pengembang dapat bereksperimen dengan berbagai teknik dorongan.
Humanloop adalah perusahaan Inggris yang platformnya menampilkan "ruang kerja cepat kolaboratif". Ini lebih lanjut menggambarkan dirinya sebagai "perangkat pengembangan lengkap untuk fungsionalitas produksi LLM." Jadi pada dasarnya ini memungkinkan Anda untuk mencoba hal-hal LLM dan kemudian menerapkannya ke dalam aplikasi Anda jika berhasil.
Operasi saluran pipa: LLMOps
Jalur perakitan untuk produksi model besar kini secara bertahap menjadi lebih jelas. Di sebelah kanan kotak orkestrasi terdapat sejumlah kotak operasi, termasuk cache dan verifikasi LLM. Ada juga berbagai layanan cloud dan API terkait LLM, termasuk repositori API terbuka seperti Hugging Face, dan penyedia API berpemilik seperti OpenAI.
Ini mungkin tempat yang paling mirip dalam tumpukan teknologi pengembang yang biasa kita gunakan di era "cloud native", dan bukan suatu kebetulan jika banyak perusahaan DevOps menambahkan kecerdasan buatan ke daftar produk mereka. Pada bulan Mei, saya berbicara dengan CEO Harness Jyoti Bansal. Harness menjalankan "platform pengiriman perangkat lunak" yang berfokus pada bagian "CD" dari proses CI/CD.
Bansai memberi tahu saya bahwa AI dapat meringankan tugas-tugas membosankan dan berulang yang terlibat dalam siklus hidup pengiriman perangkat lunak, mulai dari menghasilkan spesifikasi berdasarkan fungsionalitas yang ada hingga menulis kode. Selain itu, dia mengatakan AI dapat mengotomatiskan peninjauan kode, pengujian kerentanan, perbaikan bug, dan bahkan membuat saluran CI/CD untuk pembangunan dan penerapan. Menurut percakapan lain yang saya lakukan di bulan Mei, AI juga mengubah produktivitas pengembang. Trisha Gee dari alat otomatisasi pembangunan Gradle memberi tahu saya bahwa AI dapat mempercepat pengembangan dengan mengurangi waktu yang dihabiskan untuk tugas yang berulang, seperti menulis kode boilerplate, dan memungkinkan pengembang untuk fokus pada gambaran besarnya, seperti memastikan kode tersebut memenuhi kebutuhan bisnis.
Web3 hilang, tumpukan pengembangan model besar akan datang
Dalam tumpukan teknologi pengembangan LLM yang sedang berkembang, kita melihat serangkaian jenis produk baru, seperti kerangka orkestrasi (LangChain dan LlamaIndex), database vektor, dan platform “taman bermain” seperti Humanloop. Semua ini memperluas dan/atau melengkapi teknologi inti yang mendasari era ini: model bahasa besar.
Sama seperti kebangkitan alat era cloud-native seperti Spring Cloud dan Kubernetes pada tahun-tahun sebelumnya. Namun, saat ini, hampir semua perusahaan besar, kecil, dan terkemuka di era cloud native mencoba yang terbaik untuk mengadaptasi alat mereka ke rekayasa AI, yang akan sangat bermanfaat bagi pengembangan tumpukan teknologi LLM di masa depan.
Ya, saat ini model besar sepertinya “berdiri di atas bahu para raksasa.” Inovasi terbaik dalam teknologi komputer selalu dibangun di atas fondasi sebelumnya. Mungkin itu sebabnya revolusi "Web3" gagal - revolusi ini tidak didasarkan pada generasi sebelumnya, melainkan mencoba untuk merebutnya.
Jelas bahwa tumpukan teknologi LLM tampaknya telah berhasil, ini adalah jembatan dari era pengembangan cloud ke ekosistem pengembang berbasis AI yang lebih baru.
Tautan referensi: