Rilis terbaru tim LangChain: LangSmith, platform pengembangan aplikasi model skala besar, memungkinkan LLM dimasukkan ke dalam aplikasi nyata

Langchain, yang menerima pembiayaan US$10 juta pada bulan Maret, harus diketahui semua orang.Sebagai kerangka pengembangan terintegrasi open source, ini dapat membantu pengguna dengan cepat membangun aplikasi prototipe LLM. Namun, jalan masih panjang dari prototipe model LLM sederhana ke aplikasi produksi aktual. **Pada 18 Juli, Langchain terus merilis platform pengembangan aplikasi skala besar LangSmith, berharap memungkinkan pengembang untuk dengan cepat membangun aplikasi LLM yang dapat dimasukkan ke dalam lingkungan produksi yang sebenarnya. **

Sumber asli: pemikiran mendalam SenseAI

Sumber gambar: Dihasilkan oleh AI‌ Tak Terbatas

Dukungan alat untuk model bahasa besar (LLM) masih dalam tahap awal. Karena sifat dan sifat dinamis dari LLM, perangkat lunak tradisional seringkali tidak dapat sepenuhnya memenuhi kebutuhan model ini.

Di situlah LangChain dan LangSmith berperan.

Dalam posting ini, kita akan menjelajahi penawaran terbaru dari tim yang menciptakan Langchain (alat perangkat lunak LLM paling populer) dan melihat masalah baru yang ingin diselesaikan LangSmith di tumpukan LLM.

**01. Apa itu LangSmith? **

Ketika Langchain awalnya dibuat, tujuannya adalah untuk menurunkan penghalang masuk untuk membangun model LLM. Meskipun ada beberapa perdebatan tentang kelayakan Langchain sebagai alat, sebagian besar telah mencapai tujuan ini. Setelah menyelesaikan masalah prototyping, masalah selanjutnya adalah membantu aplikasi ini dalam pengembangan dan memastikan bahwa aplikasi ini diimplementasikan dengan cara yang andal dan dapat dipelihara. Pola pikir sederhananya adalah:

Langchain = Prototipe

LangSmith = Aplikasi

**Tapi apa tantangan yang kurang relevan dalam pembuatan prototipe yang perlu ditangani dalam pengembangan? **

Keandalan - Sangat mudah untuk membangun fungsionalitas yang berfungsi untuk contoh sederhana dan terbatas, tetapi membangun aplikasi LLM yang konsisten yang memenuhi persyaratan sebagian besar perusahaan sebenarnya cukup sulit.

Untuk mengatasinya, LangSmith menyediakan fungsionalitas baru seputar 5 pilar inti berikut:

• Debug
• tes
• Evaluasi
• pemantauan
• Metrik penggunaan

Salah satu nilai hebat LangSmith adalah kemampuan untuk melakukan semua operasi ini melalui antarmuka pengguna yang sederhana dan intuitif, yang sangat mengurangi hambatan masuk bagi pengembang tanpa latar belakang perangkat lunak.

Banyak fitur LLM tidak intuitif dari sudut pandang numerik, jadi antarmuka visual akan sangat berguna. Para penulis menemukan bahwa memiliki antarmuka pengguna yang dirancang dengan baik sebenarnya dapat mempercepat pembuatan prototipe dan bekerja untuk pengguna, karena melakukan semuanya hanya dengan kode sering kali membosankan.

Selain itu, mampu memvisualisasikan proses dan rantai perintah kompleks dari sistem LLM sangat berguna untuk memahami mengapa Anda mendapatkan keluaran tertentu. Saat pengguna membangun alur kerja yang lebih kompleks, akan sulit untuk memahami dengan tepat bagaimana kueri dilewatkan melalui proses yang berbeda, sehingga kemampuan untuk melihat proses ini dan merekam data historis melalui antarmuka yang sederhana akan menjadi layanan bernilai tambah utama.

**02. Siapa yang bersaing dengan LangSmith? **

Meskipun belum menjadi pesaing langsung, masuk akal jika organisasi seperti Vercel (dengan AI SDK-nya) meluncurkan kemampuan serupa untuk menjadi platform masuk bagi pembuat AI. Dalam 3-6 bulan ke depan, karena potensi pasar alat ini yang sangat besar, diharapkan platform lain akan meluncurkan alat serupa.

**Saat ini, Vercel lebih fokus pada penerapan dan layanan LLM, karena ini lebih cocok dengan produk inti historis mereka, tetapi dalam jangka panjang, akan lebih masuk akal untuk memperluas AI SDK. **

Meskipun LangSmith tampaknya belum terlalu terlibat dalam teknologi tersemat, tampaknya ada banyak persimpangan alami di area ini, dengan perbedaan dari banyak penyedia tersemat yang menawarkan UI bawaan. Ekosistem seperti LlamaIndex akan mendapat manfaat dari jenis pengembangan produk ini, namun pertanyaannya adalah apakah mereka dapat tetap dibedakan dalam ruang masalah yang sama.

Tetap saja, senang melihat LangSmith masih ingin terhubung dengan alat sebanyak mungkin. Dalam postingan blog yang diterbitkan, mereka menyebutkan integrasi dengan OpenAI, serta beberapa penyedia penyempurnaan, yang memungkinkan pengembang untuk mengekspor data dan berlatih secara langsung. Sepertinya jenis integrasi ini tidak hanya akan membawa banyak pujian pengembang, tetapi seiring waktu juga akan berfungsi sebagai penghalang perlindungan yang ringan (menghubungkan berbagai alat tidak selalu mudah).

**03. Bagaimana LangSmith berkembang? **

Penulis terutama ingin itu dapat diperluas. Karena jika LangSmith dapat digabungkan ke dalam aplikasi dan layanan lain, jangkauannya dapat tumbuh secara eksponensial. Misalnya, mengizinkan pengembang untuk masuk dengan akun LangChain dan memantau LLM mereka di Vercel, digabungkan dengan AI SDK dan informasi penerapan, akan sangat berharga.

**Apa yang dibutuhkan untuk mempertahankan diferensiasi dalam jangka panjang? **

Penulis sangat senang dengan LangSmith, dan percaya bahwa itu memecahkan serangkaian masalah nyata yang dihadapi pengembang dan pembuat produk ketika mencoba untuk pergi ke produksi. Pertanyaan jangka panjang yang sebenarnya tetap ada: "Apakah ada konten yang cukup untuk membangun bisnis kompetitif jangka panjang". **

Tetapi penulis tidak memiliki jawaban yang jelas sekarang.Gagasan umum sekarang adalah bahwa banyak fungsi LangSmith saat ini merupakan kondisi yang diperlukan untuk pengembang. Sebagian besar penyedia LLM berharap untuk memasukkan fungsi serupa ke dalam platform mereka di masa mendatang. Tapi itu tidak berarti LangSmith tidak bisa berhasil. Lihat saja Terraform HashiCorp, perekat yang menghubungkan semua penyedia cloud dan memecahkan masalah yang cukup besar untuk menjadi perusahaan publik. Namun, LangSmith perlu terus memperluas jangkauannya agar dapat bersaing dengan banyak penyedia dan ekosistem alat lainnya.

Referensi