Bagaimana AIGC memicu "revolusi baru" dalam layanan pelanggan yang cerdas

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Sumber: infoq

Pengarang: Li Dong Mei

Dikombinasikan dengan logika teknis yang mendasari ChatGPT, kira-kira ada empat arah untuk industrialisasi ChatGPT dalam jangka pendek hingga menengah di masa depan: layanan pelanggan yang cerdas, aplikasi AIGC dalam mode teks, pekerjaan terkait pengembangan kode, dan pembuatan gambar. Di antara mereka, proyek yang paling cocok untuk implementasi langsung adalah karya layanan pelanggan yang cerdas.

Layanan pelanggan cerdas berdasarkan teknologi model besar secara mendasar mengubah proses interaksi manusia-komputer tradisional. Model besar secara otomatis menghasilkan proses dialog untuk membuat pengoperasian layanan pelanggan cerdas lebih efisien, yang dapat meningkatkan tingkat penyelesaian masalah yang kompleks, persepsi interaksi manusia-komputer, dan niat Efisiensi konten operasional seperti pemahaman, konstruksi proses, dan generasi pengetahuan.

Dari perspektif tingkat penetrasi produk saja, layanan pelanggan yang cerdas telah dipopulerkan secara bertahap di bidang e-commerce, keuangan, dan bidang lainnya sejak tujuh atau delapan tahun terakhir. Dua perubahan inti yang dibawa oleh model besar, satu adalah biaya pengembangan produk layanan pelanggan yang cerdas telah sangat berkurang, dan yang lainnya adalah peningkatan pengalaman pengguna.

Jadi, jika Anda ingin menggabungkan model bahasa besar LLM dengan produk layanan pelanggan yang cerdas, atau menempatkan yang pertama di bidang perangkat lunak aplikasi ToB SaaS, bagaimana Anda mulai membangun tumpukan teknologi? Bagaimana produk model skala besar memberdayakan produk layanan pelanggan yang cerdas? Dalam edisi "A Date with Geeks" kali ini, kami secara khusus mengundang Xu Wenhao, pendiri bothub, pendiri dan CTO Buqituo Network Technology, sebagai moderator, dan Jia Haowen, direktur teknologi komputasi Huayuan dan rekan- kepala departemen bisnis manusia digital, dan Zhongguancun Kejin Wang Suwen, direktur penelitian dan pengembangan interaksi cerdas, kepala tim teknis layanan pelanggan cerdas Zhongguancun Kejin, dan Wang Chao, kepala produk JD Yunyanxi KA, membahas penerapan dan tren pengembangan di masa depan AIGC dalam produk layanan pelanggan yang cerdas.

Berikut transkrip wawancara tersebut.

***Xu Wenhao: Teman-teman hadirin, halo semuanya! Selamat datang di InfoQ "Kencan dengan Geeks". Topik hari ini adalah perencanaan khusus "AIGC Publication of Tiangong". Kami berharap melalui rencana ini, semua orang dapat sepenuhnya memahami semua aspek AIGC di bidang layanan pelanggan yang cerdas, dan merasakan perubahan ini secara mendalam. ***

***Dalam program ini, kami mengundang tiga tamu untuk membahas penerapan AIGC di bidang layanan pelanggan yang cerdas. Secara keseluruhan, kita akan membagi pembahasan menjadi tiga bagian. Yang pertama adalah penerapan model besar AIGC dalam produk layanan pelanggan cerdas; yang kedua adalah penerapan arsitektur AIGC dan desain serta pemilihan aplikasi alat dalam layanan pelanggan cerdas; yang terakhir adalah metode membangun sistem dialog berkualitas tinggi. ***

***Ketiga tamu hari ini semuanya adalah pakar berpengalaman di bidang layanan pelanggan yang cerdas dan produk interaktif yang cerdas. Tamu pertama adalah Wang Chao, penanggung jawab produk JD Yunyanxi KA. Tamu kedua adalah Tuan Wang Suwen, direktur Zhongguancun Kejin Intelligent Interactive Research and Development. Tamu ketiga adalah Mr. Jia Haowen, Direktur Teknologi Komputasi Akademi Huayuan dan Co-Head of Digital Human Division. ***

***Mari kita mulai dengan pertanyaan pertama, saya sangat penasaran: Perubahan apa yang dibawa oleh kemunculan AIGC ke layanan pelanggan yang cerdas? Saya ingin mengundang Tuan Wang dari JD Cloud untuk berbagi pandangan Anda. Dalam pengamatan Anda, inovasi apa yang dibawa oleh kemunculan AIGC ke layanan pelanggan yang cerdas? ***

Wang Chao: Kemunculan AIGC telah menimbulkan kekhawatiran luas di seluruh bidang layanan pelanggan cerdas, dan mendorong rekan-rekan terkait untuk melakukan banyak eksplorasi. Mengenai kognisi dan perubahan masa depan dari layanan pelanggan yang cerdas, perubahan kognitif ini berubah setiap hari.

Tim JD Cloud Yanxi telah memperhatikan kemajuan aplikasi layanan pelanggan cerdas di dalam dan luar negeri. Selain itu, model skala besar Yanxi yang kami kembangkan akan dirilis pada bulan Juli, dan kami juga terus melakukan berbagai eksperimen model skala besar dalam bisnis layanan pelanggan. Dalam beberapa bulan terakhir, pemahaman pribadi saya tentang AIGC benar-benar berbeda dari 3 bulan lalu, jadi pandangan yang ingin saya bagikan hari ini mewakili lebih banyak pendapat pribadi dan pandangan saat ini.

Dampak AIGC pada layanan pelanggan yang cerdas dapat dilihat dari dua tingkatan. Pertama, dari perspektif masalah manajemen umum dan kesulitan teknis di industri kita, AIGC memiliki potensi untuk menyelesaikannya. Kita semua tahu bahwa model besar akan sangat meningkatkan tingkat respons, antropomorfisme, dan pengalaman layanan dari layanan pelanggan yang cerdas, dan dapat sangat mengurangi biaya pengoperasian.

Untuk robotika saya rasa tidak perlu terlalu banyak dibahas, karena kita sudah banyak memusatkan perhatian pada robot. Yang ingin saya katakan adalah bahwa model besar digunakan dalam berbagai bidang layanan pelanggan yang cerdas, terutama informasi verifikasi ke arah manajemen layanan pelanggan yang cerdas. Misalnya, dalam praktik bantuan cerdas kami, beberapa teknologi sebelumnya telah merekomendasikan beberapa poin penting dan mengekstraksi informasi penting dalam percakapan Meskipun ada solusi, biasanya sulit untuk mencapai keseimbangan yang baik antara biaya dan efek. Namun, melalui verifikasi model besar, kami menemukan bahwa ia memiliki kemampuan dan potensi pemecahan yang baik dalam menangani masalah ini. Selain itu, untuk pekerjaan pemeriksaan kualitas, metode seperti regularisasi kata kunci atau metode pemeriksaan kualitas cerdas yang biasa digunakan di industri memiliki efek tertentu, tetapi tingkat akurasinya seringkali rendah, beban kerjanya juga berat, dan jangka waktu untuk meningkatkan tingkat akurasinya adalah panjang. .

Namun, dengan berlatih dengan model besar, kami menemukan bahwa ini bekerja dengan baik untuk memahami kriteria QC abstrak dan melakukan pekerjaan QA. Selain itu, dalam hal pelatihan karyawan, kami telah melihat beberapa contoh bank terkemuka yang memperkenalkan robot dialog untuk pelatihan. Selain hal di atas, kami juga melakukan analisis bisnis di pusat layanan pelanggan, dan perlu merangkum informasi tentang kebutuhan pelanggan, potret pelanggan, dan risiko dalam konsultasi pelanggan.Dalam percobaan, efek model besar juga sangat bagus. Menurut saya di bidang layanan pelanggan pan-smart, potensi penerapan model besar sangat besar. Kami percaya bahwa dalam waktu sekitar setengah tahun, produk-produk utama di pasar akan mengantarkan peningkatan penting.

Berdasarkan apa yang saat ini dipahami tentang industri dan domain, kita dapat mengeksplorasi apakah domain yang lebih luas akan berubah. Misalnya, perubahan apa yang dapat dilakukannya pada layanan pelanggan dan layanan pelanggan? Saya pikir pertanyaan ini bisa lebih menantang, dan pada tahap ini, tidak ada yang bisa menentukan perubahan spesifik. Tapi kami yakin ini akan membuat perbedaan besar, setidaknya di beberapa arah, seperti layanan proaktif. Misalnya, perusahaan e-commerce sering melakukan berbagai aktivitas, dan pekerjaan mempromosikan dan menjelaskan aktivitas tersebut biasanya tidak jatuh ke pusat layanan pelanggan. Karena sangat sulit untuk melakukan aktivitas yang begitu luas dengan metode manual atau mesin tradisional. Namun kami dapat membayangkan masa depan di mana layanan pelanggan kami dapat menjelaskan banyak aktivitas dengan baik melalui pengenalan model besar dan masukan informasi dasar, yang mewakili kemungkinan potensi layanan pelanggan di masa depan dalam hal transformasi dan peningkatan aktif.

***Xu Wenhao: Izinkan saya meringkas, sebenarnya kemunculan AIGC telah memperluas cakupan intelijen yang dapat diterapkan di bidang layanan pelanggan yang cerdas. Tidak hanya di bidang cerdas tradisional dalam menjawab pertanyaan purna jual, tetapi di semua aspek dari seluruh tautan layanan pelanggan, model besar dapat diterapkan, dan bahkan dapat diperluas ke bidang pemasaran. Guru Wang Suwen, fenomena apa yang Anda lihat dari sudut pandang Anda? ***

Wang Suwen: Seperti yang baru saja disebutkan, cakupan layanan pelanggan yang cerdas sangat luas. Teknologi seperti layanan pelanggan yang cerdas dan robot benar-benar dapat mengubah proses interaksi tradisional manusia-komputer. Melalui penggunaan model besar, terutama penggunaan proses dialog generasi otomatis, pengoperasian layanan pelanggan cerdas tradisional dapat dibuat lebih efisien. Dengan cara tradisional, kita biasanya perlu mengonfigurasi basis pengetahuan secara manual, tetapi efeknya tidak jelas. Namun, kemampuan untuk memecahkan masalah yang kompleks dan tingkat jawaban langsung dari pertanyaan dapat langsung ditingkatkan melalui pembuatan proses dialog secara otomatis melalui model besar, yang merupakan dampak yang mengganggu secara signifikan.

Poin kedua adalah model besar juga dapat mencapai tujuan mengurangi biaya dan meningkatkan efisiensi. Dari segi kecerdasan, biaya tenaga kerja selalu relatif tinggi, karena membutuhkan mesin yang dibantu manusia. Melalui penerapan model besar, ini dapat membantu meningkatkan efisiensi konstruksi dan operasi basis pengetahuan, sehingga mencapai efek pengurangan biaya dan peningkatan efisiensi yang signifikan.

Poin ketiga adalah tentang antropomorfisme dan pengalaman pengguna robot. Robot tradisional sering gagal dalam hal ini. Namun, munculnya model-model besar membuat dialog menjadi lebih halus, lebih antropomorfik, dan lebih mirip komunikasi antar manusia. Ini adalah efek mengganggu yang sangat kuat.

Tentu saja, untuk layanan pelanggan umum, termasuk pemeriksaan kualitas, asisten, dan perdebatan, model besar juga akan membawa efek gangguan yang sesuai, dan produk yang berbeda akan memiliki efek yang berbeda.

***Xu Wenhao: Saya perhatikan bahwa Tuan Jia adalah wakil kepala Divisi Manusia Digital. Dari sudut pandang Anda, apakah kombinasi layanan pelanggan yang cerdas dan manusia digital akan membawa beberapa inovasi baru? ***

Jia Haowen: Sebelum menjawab pertanyaan ini, saya ingin kembali ke bidang layanan pelanggan yang cerdas. Perkembangan layanan pelanggan yang cerdas dapat ditelusuri kembali ke sejarah kecerdasan buatan yang didasarkan pada akumulasi bahasa. Saya ingat sekitar sepuluh tahun yang lalu, ada beberapa lantai yang dipenuhi oleh orang-orang layanan pelanggan yang menghabiskan sebagian besar jam kerjanya untuk memilah-milah masalah pengguna. Saat itu, alat seperti basis pengetahuan yang disebutkan oleh kedua guru pun tidak terlalu lengkap.

Menengok ke belakang sekarang, Alipay dan produk layanan pelanggan lainnya telah berkembang secara bertahap dari basis pengetahuan awal ke asisten senior selanjutnya, dan memperoleh alat seperti kerangka Rasa untuk mensimulasikan beberapa putaran skenario dialog. Namun, seperti yang dikatakan kedua guru tadi, semua dialog ini masih kurang personifikasi. Semua alat layanan pelanggan sebelumnya pada dasarnya gagal dalam tes standar industri komputer. Tetapi ketika model besar muncul, terutama hal-hal seperti ChatGPT atau Vicuna, mereka memiliki tingkat kepribadian, meskipun mungkin pada tingkat anak berusia 10 atau 11 tahun. Bisa dibilang, mereka mampu melewati tes Turing.

Sekarang kembali ke pertanyaan Anda sebelumnya, kombinasi layanan pelanggan yang cerdas dan manusia digital akan membawa beberapa inovasi baru. Pada tahap awal bidang manusia digital, tanya jawab antropomorfik dengan manusia berdasarkan basis pengetahuan dan model besar tidak dapat diselesaikan secara real time. Namun, dengan perkembangan teknologi, kami dapat mencapai figur antropomorfik, dikombinasikan dengan model besar untuk mensimulasikan pemandangan nyata. Saat kami menerapkannya pada skenario seperti basis pengetahuan, layanan pelanggan, dan karyawan digital, bidang manusia digital mungkin menghadapi dua tantangan. Yang pertama adalah kelengkapan data, meskipun ChatGPT dan sejenisnya terlihat keren, pada dasarnya dihasilkan berdasarkan data historis masa lalu, mirip dengan generasi cloze. Meskipun pendekatan ini meningkatkan efisiensi dan mengurangi biaya pembuatan skrip, kualitas konten yang dihasilkan hampir tidak dapat dikendalikan. Dalam konten keluaran bidang komprehensif seperti manusia digital dan layanan pelanggan cerdas, kami tidak dapat sepenuhnya yakin dengan konten yang dihasilkan. Oleh karena itu, kami mungkin perlu memperkenalkan verifikasi dan perlindungan yang berbeda untuk memastikan bahwa apa yang dikatakan oleh manusia digital atau ChatGPT, dll. Lebih seperti ucapan manusia daripada omong kosong.

Singkatnya, meskipun model besar mungkin relatif populer sekarang, dan prospek masa depan juga cerah, masih dalam keadaan 0 hingga 1 pada tahap saat ini. Di masa depan, kita mungkin mengharapkannya tumbuh menjadi pohon yang menjulang tinggi, tetapi sekarang, apakah itu untuk seluruh industri atau harapan semua orang untuk itu, masih perlu membiarkannya tumbuh secara bertahap di tanah yang lebih baik, dan benar-benar dapat tumbuh. menyediakan layanan pelanggan yang cerdas. , Membawa peningkatan efisiensi ke bidang-bidang seperti manusia digital.

***Xu Wenhao: Saya ingin mendalami masalah ini. Saya ingin bertanya kepada Tuan Jia, menurut sudut pandang Anda, jika kami memperkenalkan model berskala besar di bidang layanan pelanggan yang cerdas, apakah akan membawa manfaat? Maksud saya dalam hal situasi saat ini, terlepas dari perkembangan dalam dua atau tiga tahun. Lihat saja sekarang, apakah ada keuntungan dari sudut pandang pelanggan Anda atau produk internal Anda dari sudut pandang membawa model besar? ***

Jia Haowen: Apakah akan memperkenalkan model besar bergantung pada skenario bisnis tertentu dan kebutuhan pengguna. Untuk perusahaan besar seperti Ant Financial atau JD.com dengan sistem besar dan matang, memperkenalkan model besar secara membabi buta dapat meningkatkan biaya tambahan. Kami perlu mengambil beberapa langkah kompatibilitas untuk menghindari ketidakpastian yang disebabkan oleh konten buatan AI. Untuk perusahaan kecil, menggunakan model besar sebagai pelengkap basis pengetahuan mereka, dengan beberapa tingkat tinjauan manusia, dapat menjadi cara yang baik untuk meningkatkan efisiensi. Ini dapat membantu layanan pelanggan yang cerdas untuk lebih memahami semantik pengguna, meningkatkan kualitas basis pengetahuan, dan bahkan meningkatkan pengalaman pengguna. Selain itu, untuk aplikasi tingkat tinggi seperti kecerdasan kognitif, pengenalan model besar dapat membantu untuk lebih memahami dan mengenali pengguna. Dalam industri Internet, terdapat konsep penting yang disebut "ribuan orang, ribuan wajah", yang artinya setiap layanan pelanggan dapat memberikan layanan yang dipersonalisasi. Oleh karena itu, kita perlu melihat apakah akan memperkenalkan model besar dari sudut pandang dialektis, dan membuat keputusan berdasarkan keadaan tertentu.

***Xu Wenhao: Pandangan Tuan Jia adalah bahwa perusahaan besar perlu berhati-hati dalam memperkenalkan model besar Pengenalan model besar dapat meningkatkan biaya dan meningkatkan berbagai risiko, dan mereka harus mengandalkan metode atau model asli sebagai langkah cadangan. Lalu saya ingin bertanya kepada Guru Wang Chao, apakah layanan pelanggan JD Cloud telah memperkenalkan AIGC? Apa manfaat setelah pengenalan? ***

**Wang Chao: **Bagi perusahaan besar untuk menerapkan model besar dengan hati-hati pada produk C-end karena pertimbangan untuk memastikan pengalaman pelanggan dan keamanan layanan. Dalam bisnis yang menghadapi konsumen, kehati-hatian sangat penting. Dalam hal ini, validasi dan eksperimen berjalan dengan sangat hati-hati.

Di bidang business-oriented atau operation-oriented, Anda lebih “berani” dalam eksperimentasi dan verifikasi. Kami memperkenalkan model skala besar untuk membantu operasi membangun copywriting dan skrip, yang memberikan dukungan yang baik untuk operasi guna memecahkan masalah kreativitas dan efisiensi. Selain itu, juga sangat aktif dalam mengarahkan pengelolaan karyawan seperti pemeriksaan mutu, pendampingan dan pelatihan.

Apakah model besar "hanya perlu" atau "mengikuti tren"?

***Xu Wenhao: Seberapa besar ini dapat meningkatkan efisiensi karyawan biasa? Sudahkah Anda mengukurnya, atau memiliki beberapa data spesifik? ***

Wang Chao: Kami belum membuat kalkulasi khusus untuk masalah ini, karena penerapan model besar berperilaku berbeda di proyek kerja yang berbeda. Misalnya, bisa beberapa kali lebih cepat dalam menghasilkan skrip dan copywriting. Namun, dalam hal analisis harian dan konstruksi inspeksi kualitas, efeknya dapat bervariasi dari satu kasus ke kasus lainnya. Oleh karena itu, pada tahap saat ini, sulit bagi kami untuk mengukur dan menarik kesimpulan yang akurat, tetapi kami yakin penerapan model besar memang meningkatkan efisiensi.

***Xu Wenhao: Tn. Wang Suwen, apakah Anda sudah memperkenalkan AIGC kepada pelanggan atau produk Anda? Bisakah Anda melihat manfaat spesifiknya? ***

Wang Suwen: Di bidang bisnis kami, kami terutama menargetkan pasar ToB, dan kami melayani pelanggan di berbagai bidang, seperti industri keuangan dan asuransi. Pelanggan ini memiliki beberapa kebutuhan dalam hal inovasi, termasuk insentif untuk mengurangi biaya dan meningkatkan efisiensi. Kami telah melakukan beberapa kerja sama kreasi bersama dengan pelanggan dan memverifikasinya. Misalnya, kami membuat asisten pemasaran untuk klien yang secara otomatis menghasilkan beberapa salinan. Secara tradisional, level setiap karyawan tidak merata, termasuk kurangnya standarisasi dan kesatuan dalam keterampilan pemasaran. Melalui asisten pemasaran kami, pertama-tama kami dapat membantu mereka membuat salinan terpadu dan menyalinnya berdasarkan pengalaman luar biasa dalam sejarah. Yang kedua adalah mengurangi biaya dan meningkatkan efisiensi, mereka tidak perlu lagi menghabiskan terlalu banyak waktu untuk pelatihan, pembelajaran, dan memori. Model besar kami banyak digunakan di industri.

Kami juga telah mengembangkan bot telemarketing yang dapat menjawab beberapa pertanyaan secara langsung. Tentu saja, kami harus mempertimbangkan masalah kepatuhan, termasuk mematuhi undang-undang yang relevan dan melindungi keamanan data. Kami bekerja sama dengan Institut Xinchuang untuk bekerja memecahkan masalah standardisasi ini.

***Xu Wenhao: Semua orang benar-benar mencoba menggunakan kemampuan model besar. Namun, masih banyak masalah khusus yang harus diselesaikan, terutama tantangan pengendalian dan keselamatan. Dari perspektif layanan pelanggan yang cerdas, industri e-commerce adalah industri pertama yang memperkenalkan layanan pelanggan yang cerdas, karena terdapat kegiatan promosi berskala besar seperti "618" dan "Double Eleven", dan puncak lalu lintas selama kegiatan tersebut adalah sangat besar. ***

***Dalam beberapa tahun terakhir, penyedia layanan domestik juga telah mengembangkan berbagai produk layanan pelanggan cerdas untuk berbagai lembaga keuangan seperti bank, asuransi, dan lembaga manajemen kekayaan. Dalam hal ini, tampaknya lembaga keuangan akan tertinggal jika tidak menggunakan robo-advisor. Namun, institusi seperti layanan pelanggan bank tidak memiliki periode puncak seperti "618" dan "Double Eleven" Apakah pengenalan layanan pelanggan yang cerdas oleh institusi ini karena kebutuhan, atau karena "mengikuti tren" atau rasa krisis ? Jika itu permintaan yang kaku, dari mana asalnya permintaan ini? ***

Wang Chao: Didorong oleh gelombang digitalisasi, lembaga keuangan semakin mudah mewujudkan penerapan layanan pelanggan yang cerdas. Di bidang keuangan, layanan pelanggan yang cerdas telah banyak digunakan dan telah menjadi salah satu produk lembaga keuangan yang lebih umum. Untuk lembaga keuangan, kebutuhan inti dari layanan pelanggan yang cerdas terutama untuk mengurangi biaya dan meningkatkan efisiensi, yang dapat membebaskan sumber daya manusia dari pekerjaan yang membosankan. Terutama dalam skenario bisnis seperti tanya jawab otomatis, pemberitahuan dan kunjungan kembali untuk beberapa pertanyaan frekuensi tinggi, layanan pelanggan yang cerdas dapat menghemat sumber daya manusia dan memungkinkan mereka untuk fokus pada pekerjaan yang lebih profesional dan kreatif daripada pekerjaan berulang, sering, dan bernilai rendah. . Biarkan mereka memiliki sumber daya untuk diinvestasikan dalam mengembangkan dan mempertahankan klien bernilai bersih tinggi, dan lebih fokus pada melakukan tugas yang lebih berharga. Selain itu, dengan terobosan dasar generasi baru, seperti munculnya model besar, layanan pelanggan yang cerdas juga dapat memperoleh kemampuan generasi bahasa alami yang kuat, menjadikannya lebih cerdas dan efisien.

***Xu Wenhao: Jadi ini kebutuhan yang kaku, karena ada banyak pekerjaan berulang untuk mengurangi biaya dan meningkatkan efisiensi. Tuan Jia, apakah pelanggan Anda di bidang keuangan atau bidang lain memperhatikan layanan pelanggan yang cerdas? ***

**Jia Haowen: **Selain bidang keuangan, ada juga permintaan model besar di bidang vertikal seperti asuransi, hukum, dan kesehatan. Terutama dari perspektif perusahaan, kebutuhan untuk menghasilkan dan menggali pengetahuan menjadi semakin nyata. Ketika kita berbicara dengan bank atau perusahaan asuransi atau mendiskusikan masalah dengan praktisi hukum, informasi yang mereka berikan bersifat faktual. Melalui model besar, kami dapat mengidentifikasi dengan lebih baik maksud dari pertanyaan pengguna dan melakukan pengelompokan atau pemisahan.

Seperti yang dikatakan Wang Su, industri seperti keuangan, asuransi, dan hukum memiliki potensi besar untuk meningkatkan efisiensi.Ini adalah proses pengurangan biaya dan peningkatan efisiensi. Dari sudut pandang saya pribadi, ini adalah kebutuhan yang kaku, terutama dalam hal efisiensi. Namun, industri ini mungkin tidak mengambil pendekatan yang terlalu agresif, karena bisnis yang terkait dengan keuangan, asuransi, dan hukum sangat sensitif dan memerlukan spesialisasi yang kuat. Dalam hal ini, muncul masalah lain, yaitu penilaian kematangan dari hasil yang dihasilkan oleh model besar. Meskipun model besar seperti GPT-4 bekerja dengan baik di beberapa ujian profesional di Amerika Serikat, masih menjadi masalah apakah dapat lulus ujian yang sesuai di China, terutama dalam konteks semantik yang besar dan kompleks seperti bahasa China, yang mungkin memerlukan penelitian lebih lanjut. Riset. Dalam hal ini, perusahaan kami berencana untuk bekerja sama dengan Universitas Zhejiang pada bulan Juli untuk merilis model besar bidang vertikal hukum untuk memberikan solusi yang lebih baik untuk bidang khusus ini.

***Xu Wenhao: Model besar di bidang hukum mirip dengan yang ada di bidang keuangan, dan persyaratan kualitas generasi sangat ketat. Di bidang hukum, kesalahan kecil dapat berdampak negatif pada pengalaman konsumen, bahkan menyebabkan kerugian bagi pedagang (sisi-B), yang membutuhkan akurasi dan keandalan yang lebih tinggi dari hasil yang dihasilkan. Atas pertanyaan ini, apa pendapat Guru Wang Chao? ***

Wang Chao: Menurut saya apakah itu e-commerce atau industri keuangan, persyaratan untuk layanan pelanggan yang cerdas sangat ketat. Selain itu, untuk layanan pelanggan pintar e-commerce, periode promosi besar dan konsultasi harian sangat mengesankan. Dalam bisnis yang dioperasikan sendiri oleh tim kami di JD.com, volume konsultasi harian mencapai 70% dan 90% selama periode puncak. 70% volume konsultasi ini sudah sangat berharga. Saya percaya logika ini juga berlaku untuk berbagai institusi seperti bank. Kami juga memperhatikan bahwa kemampuan layanan pelanggan yang cerdas dari beberapa bank masih belum memadai. Oleh karena itu, kita perlu memikirkan bagaimana meningkatkan kematangan layanan pelanggan yang cerdas, dan perlu disesuaikan dengan tahap perkembangan perusahaan atau bank. Saat ini, banyak bank berada pada tahap awal layanan pelanggan yang cerdas, terutama berfokus pada FAQ dan konstruksi dialog multi-putaran yang sederhana, sementara kemampuan layanan dan pengalaman pengguna mungkin belum mencapai tingkat yang memuaskan.

Berdasarkan pengalaman kami di bidang e-commerce, kami percaya bahwa layanan pelanggan bank yang cerdas perlu dikembangkan lebih lanjut, terutama dalam sistem operasi yang perlu ditingkatkan secara besar-besaran. Misalnya, kami mewajibkan layanan pelanggan akar rumput mendekati tingkat artifisial dalam hal standar dan keterampilan layanan, yang berdampak besar pada reformasi sistem operasi kami. Namun, dalam proses kerja sama dengan bank, kami menemukan bahwa banyak bank menghadapi tantangan dalam membangun layanan pelanggan yang cerdas. Kerja sama antara pemasok teknologi dan bank lebih mirip dengan hubungan antara Pihak B dan Pihak A, yang berbeda dengan model kerja sama kami. Masih ada kesenjangan antara bank dan persyaratan kami dalam hal struktur organisasi dan pelatihan personel. Kami berbicara dengan banyak mitra perbankan kami dan menemukan kesamaan bahwa mereka setuju dengan metodologi pengembangan kami tetapi juga merasa sulit. Mendorong reformasi internal merupakan hal yang rumit bagi bank dan membutuhkan lebih banyak usaha. Saya percaya bahwa model besar adalah sebuah peluang, karena dapat mengurangi kesulitan operasional layanan pelanggan yang cerdas dan menyederhanakan struktur organisasi, saya menantikannya.

***Xu Wenhao: Saya percaya bahwa model besar adalah peluang besar bagi semua orang di sini dan sebagian besar orang di bidang layanan pelanggan yang cerdas dan pemrosesan bahasa alami. Kami berbagi pandangan serupa bahwa model besar dapat membantu kami mencapai pengalaman percakapan yang lebih antropomorfik dan personal. Namun, dalam hal memberikan layanan kepada pengguna C-end, baik itu e-commerce atau bank, semua orang akan lebih berhati-hati. Kita semua ingin memastikan bahwa hasil akhir dapat dikontrol, apakah itu melibatkan sertifikat deposito 10.000 yuan atau pesanan 1.000 yuan, ini adalah sesuatu yang perlu ditanggapi dengan serius. ***

*** Baru saja kita juga berbicara tentang topik penting lainnya, pengalaman pengguna. Kita dapat mengamati bahwa robot layanan pelanggan dan dialog cerdas generasi sebelumnya, jawaban mereka adalah templat yang telah ditulis sebelumnya, misalnya, jawaban tentang alamat pengiriman biasanya tetap, hanya dengan sedikit perubahan. Ada celah tertentu antara jawaban dari templat tetap ini dan layanan pelanggan manusia yang sebenarnya. Sekarang semua orang bekerja keras untuk meningkatkan tingkat antropomorfik robot dialog, sehingga layanan pelanggan yang cerdas di belakang mereka bisa lebih emosional, lebih mampu memahami emosi pengguna, dan melakukan perhitungan multimodal. Dalam hal ini, sudahkah Anda berinvestasi dalam penelitian dan pengembangan? ***

Wang Suwen: Menurut saya ini bisa dibahas dari tiga aspek: personifikasi, humanisasi dan individualisasi.

Yang pertama adalah antropomorfisme. Di bidang layanan pelanggan yang cerdas, antropomorfisme selalu menjadi kendala, karena kinerja robot tradisional di bidang ini perlu ditingkatkan. Kami telah mengeksplorasi bagaimana membangun interaksi dialog antropomorfik. Ini melibatkan bagaimana merancang dialog situasional, bagaimana membongkar masalah, bagaimana mewarisi konteks dan bagaimana memahami beberapa putaran dialog. Secara keseluruhan, kami berharap bot dapat memberikan mode percakapan dan interaksi yang lebih relevan dan natural.

Diikuti oleh layanan manusia. Atas dasar mengidentifikasi adegan atau niat secara akurat, kami juga perlu lebih meningkatkan layanan atas dasar antropomorfisme. Saya pikir komputasi afektif multimodal adalah cara yang efektif untuk mencapai tujuan ini. Misalnya, perusahaan kami telah mengembangkan layanan pelanggan manusia digital virtual, yang dapat melakukan dialog interaktif manusia-komputer, dikombinasikan dengan komputasi emosional, dan mengenali ekspresi emosional pengguna melalui metode multimedia seperti video, suara, dan teks. Dengan cara ini, layanan pelanggan yang cerdas dapat memberikan umpan balik emosional yang sesuai kepada pengguna, menciptakan interaksi manusia-komputer dengan pemahaman dan kehangatan emosional, dan mewujudkan layanan yang lebih manusiawi. Dalam hal komputasi afektif, metode tradisional memiliki dua mode: aturan dan pembelajaran mesin. Melalui pembelajaran mesin, kami dapat melatih model untuk mempelajari keadaan emosi secara otomatis dan mencapai standar klasifikasi, sehingga dapat beradaptasi dengan lebih baik ke berbagai bidang dan konteks. Dengan cara ini, efek ekspresi emosional yang lebih baik dapat diperoleh dan layanan yang lebih manusiawi dapat disediakan.

Akhirnya, ada layanan yang dipersonalisasi. Kami perlu mengimplementasikan layanan yang dipersonalisasi berdasarkan potret pengguna untuk mencapai efek "ribuan orang dengan ribuan wajah". Misalnya, kami telah mengembangkan platform wawasan pengguna, yang dapat menandai pengguna dan mengumpulkan potret melalui informasi dasar potret pengguna dan analisis wawasan selama percakapan historis. Dalam dialog tindak lanjut, kami dapat menyediakan berbagai proses dialog, metode balasan, dan rekomendasi sesuai dengan potret pengguna, untuk mencapai layanan personalisasi yang lebih akurat dan meningkatkan kepuasan pengguna dan perusahaan.

***Xu Wenhao: Guru Wang Suwen memberikan banyak berbagi pengalaman berharga, yang dapat digunakan untuk referensi dan peniruan oleh mereka yang terlibat dalam pekerjaan layanan pelanggan yang cerdas. JD.com adalah platform dengan jumlah pengguna dan produk yang banyak, semua orang berharap saat menggunakan layanan pelanggan yang cerdas, akan ada perasaan bahwa ada orang sungguhan di baliknya. Saya ingin bertanya kepada Tuan Wang Chao, pekerjaan apa yang telah dilakukan JD.com dalam R&D dan produk untuk mewujudkan kemampuan "ribuan orang, ribuan wajah"? Apakah ada pengalaman untuk berbagi dengan Anda? ***

Wang Chao: Kami telah melakukan banyak investasi untuk meningkatkan pengalaman dan layanan yang dipersonalisasi. Layanan pelanggan kecerdasan emosional yang dikembangkan oleh tim Yanxi adalah layanan pelanggan kecerdasan emosional komersial skala besar pertama di industri. Sejak 2018, kami telah memperkenalkan kemampuan pengenalan dan respons emosi dalam kemampuan respons robot. Teknologi ini tidak hanya digunakan dalam bidang layanan pelanggan, tetapi juga dalam pemeriksaan kualitas dan layanan manajemen personalia.

Menjawab pertanyaan ini melibatkan dua aspek. Arah pertama adalah teknologi, seperti teknologi mutakhir seperti dialog multi-putaran, yang merupakan arah pengembangan utama teknologi layanan pelanggan cerdas saat ini. Arahan penting lainnya adalah operasi, yaitu bagaimana melakukan pembongkaran adegan terperinci, menganalisis perbedaan manusia-mesin, dan mewujudkan penemuan masalah otomatis dan perbandingan perbedaan layanan manusia-mesin melalui pemantauan dan sistem alat melalui pembandingan dengan layanan pelanggan manusia. Dengan cara ini, kami secara bertahap mewujudkan analisis pengalaman layanan kerumunan yang disempurnakan dari analisis perbedaan keseluruhan pengalaman keseluruhan dan pengalaman layanan kerumunan. Dengan sistem seperti itu, kami dapat terus mengoptimalkan pengalaman layanan secara keseluruhan, dan akhirnya mewujudkan cakupan layanan mesin dari volume penerimaan mesin harian JD.com saat ini sebesar 70% dan 90% selama periode promosi.

**Jia Haowen:**Tema siaran langsung malam ini adalah tentang pemahaman tentang layanan pelanggan manusia digital dan model besar. Pemahaman kami tentang layanan pelanggan tradisional, apakah itu layanan pelanggan manual atau FAQ, dapat dianggap sebagai layanan pelanggan cerdas kelas bawah. Sebagai pengguna, kami mengharapkan layanan pelanggan kompeten dan mampu memberikan bantuan dalam menyelesaikan masalah. Pada saat yang sama, jika layanan pelanggan dapat menunjukkan karakteristik antropomorfik dan memberikan layanan yang dipersonalisasi, pengalaman pengguna akan menjadi lebih baik.

Di bidang model besar, antropomorfisme dan personifikasi sangat penting. Perusahaan kami lebih condong ke arah penelitian kecerdasan kognitif dan psikologi. Kami fokus pada cara mendapatkan tag psikologis pengguna dengan cepat, dan menilai pengguna dari perspektif psikologis, untuk memberikan layanan yang lebih baik. Kita bisa membayangkan sebuah adegan, seperti Jarvis di film Marvel "Iron Man". Idealnya, model besar di masa depan bisa menjadi seperti asisten yang bisa memberikan jawaban dan rekomendasi yang paling tepat sesuai dengan suasana hati dan preferensi kita hari itu.

Saat ini, kami masih dalam tahap awal penelitian tentang kombinasi model besar dan manusia digital. Namun, dengan munculnya hasil penelitian akademik di bidang multimodalitas, beberapa produk pengalaman yang lebih baik dan lebih murah dapat muncul.

***Xu Wenhao: Semua orang menyebutkan pengejaran emosi, dan tampaknya semua orang bergerak ke arah yang lebih dekat dengan orang sungguhan. Sebagian besar penonton di ruang siaran langsung adalah siswa yang terlibat dalam pekerjaan teknis. Kami berharap dapat berbagi pengalaman tentang cara membangun sistem dialog berkualitas tinggi, apakah itu layanan pelanggan yang cerdas, layanan purna jual, atau panduan belanja pra-penjualan . Di mana saya harus mulai ketika memasuki bidang ini? ***

Jia Haowen: Jika kita ingin membangun sistem dialog berkualitas tinggi, ini sebenarnya melibatkan masalah persetujuan proyek Internet tradisional. Dalam proses ini, kita perlu mempertimbangkan pemilihan arsitektur produk bisnis, arsitektur teknis, dan bentuk pendaratan produk yang sebenarnya. Pada saat yang sama, kita juga perlu memperhitungkan bahwa banyak perusahaan besar atau menengah sudah memiliki banyak produk layanan pelanggan. Jika kami ingin meningkatkan kemampuan produk layanan pelanggan yang ada melalui model besar, kami mungkin perlu mengadopsi pendekatan yang lebih konservatif. Misalnya, model besar dapat digunakan sebagai alat basis pengetahuan eksternal untuk memberikan masukan pengetahuan. Kembali ke aspek arsitektur yang baru saja disebutkan, arsitektur produk dan pemilihan alat merupakan pertimbangan penting. Untuk titik masuk awal, alat seperti sistem penandaan kata kunci dan ekspresi reguler tradisional mungkin dilibatkan. Namun, tidak ada paradigma standar umum untuk pilihan khusus paradigma ini, karena terkait dengan karakteristik masing-masing bisnis.

***Xu Wenhao: Dari perspektif praktisi, apakah itu perusahaan layanan pelanggan yang cerdas atau SaaS layanan pelanggan yang cerdas atau platform cloud, mereka dapat memikirkan cara untuk lebih meningkatkan sistem dialog untuk memberikan layanan berkualitas lebih tinggi. Meskipun kita telah membahas banyak tentang model besar saat ini, pada kenyataannya, ketika berbicara tentang layanan pelanggan tradisional yang cerdas, baik di perbankan atau e-commerce, konsumen sedikit banyak akan merasa bahwa tidak ada orang nyata di belakang mereka untuk memberikan layanan. Kami perlu memikirkan cara meningkatkan pengalaman pengguna dan menginvestasikan lebih banyak upaya untuk meningkatkan status quo. ***

Jia Haowen: Jika kami mempersempit ruang lingkup masalah dan berfokus pada penyediaan keluaran konten layanan pelanggan cerdas yang lebih efisien dan berkualitas tinggi, maka kami dapat menganggap model besar sebagai layanan dialog yang disempurnakan. Dalam produk layanan pelanggan yang cerdas, yang diharapkan pengguna adalah robot yang cerdas, empati, dan komunikatif, sekaligus berharap konten jawaban dapat berfokus pada area bisnis tertentu, seperti pemasaran layanan pelanggan dan skenario lainnya. Dalam hal ini, kami dapat menggabungkan pengenalan maksud, alur dialog, dan kemampuan dialog multi-putaran dari model besar dengan sumber data eksternal seperti FAQ tradisional. Ini berarti bahwa kami perlu menyatukan seluruh proses pemrosesan bahasa, seperti meringkas data pertanyaan pengunjung dan membandingkannya dengan pertanyaan pengguna, dan bahkan memasukkan sejumlah besar data yang diprivatisasi saat pengguna mengajukan pertanyaan, untuk melengkapi robot cerdas tradisional, suara robot dan konten Kemampuan basis pengetahuan eksternal. Melalui kombinasi ini, efisiensi pengalaman pengguna dapat ditingkatkan secara signifikan dalam waktu singkat. Selanjutnya, kita dapat mempertimbangkan peningkatan kemampuan antropomorfik, tetapi bagi perusahaan yang ingin meningkatkan kemampuan sistem dialognya, tantangannya mungkin lebih tinggi, sehingga disarankan untuk memperkenalkannya dengan hati-hati. Sebagai titik masuk, mempertimbangkan model besar sebagai bagian dari masukan pengetahuan eksternal mungkin merupakan titik masuk yang murah dan cepat.

Cara meningkatkan kualitas dialog model besar

***Xu Wenhao: Guru Wang Suwen, jika kita ingin membangun sistem dialog berkualitas tinggi untuk memperbaiki situasi saat ini, bidang apa yang harus kita investasikan dalam penelitian dan pengembangan? ***

Wang Suwen: Kami dapat mempertimbangkan hal-hal berikut untuk meningkatkan kualitas sistem dialog.

  1. Pengurangan biaya pelabelan data: Metode pelabelan data tradisional memerlukan banyak pelabelan manual, yang akan memakan waktu dan biaya sumber daya. Untuk mengurangi ketergantungan ini, kita dapat mempelajari cara menggunakan sejumlah besar data yang tidak berlabel untuk pelatihan yang tidak diawasi, sehingga mengurangi kebutuhan akan data yang diberi label secara manual. Pendekatan semacam itu dapat meningkatkan efisiensi akuisisi data dan mengurangi biaya.

  2. Peningkatan kemampuan generalisasi: Tidak cukup hanya menjawab satu pertanyaan, sistem dialog perlu memiliki kemampuan generalisasi tertentu untuk beradaptasi dengan skenario dan kebutuhan pengguna yang berbeda. Dengan mempelajari keragaman dan keteraturan bahasa, kita dapat meningkatkan kemampuan generalisasi model sehingga dapat menangani lebih banyak masalah dan situasi.

  3. Pembuatan dan pemilihan model dialog: Saat memilih model dialog, kita perlu mempertimbangkan penerapan model dalam berbagai skenario. Saat ini ada banyak model besar yang dapat dipilih, jadi kami perlu memilih model yang sesuai dengan kebutuhan khusus untuk mencapai akurasi dan efek yang lebih tinggi.

  4. Pembelajaran dan pengoptimalan berkelanjutan: Sistem dialog membutuhkan pembelajaran dan pengoptimalan berkelanjutan, karena efek model online awal tidak sempurna. Sistem harus memiliki kemampuan pengulangan diri dan pengoptimalan diri, dan secara bertahap meningkatkan efek dan kinerja melalui penggunaan dan umpan balik yang berkelanjutan. Proses pembelajaran dan pengoptimalan yang berkelanjutan ini dapat memenuhi kebutuhan pelanggan dan menjadikan sistem semakin cerdas dan efisien.

***Xu Wenhao: Guru Wang Chao, apakah Anda memiliki komentar untuk ditambahkan pada diskusi sebelumnya? ***

Wang Chao: Menurut saya kunci dari pertanyaan ini adalah bahwa dari perspektif pelanggan dan pihak bisnis, serta perspektif kami sebagai pengembang dan desainer produk platform, semuanya mengarah ke tujuan yang sama. Tidak peduli dari sudut pandang mana, kita perlu memperhatikan kebutuhan inti bisnis dan ekspektasi sistem layanan pelanggan yang cerdas dalam memberikan layanan. Di bawah bentuk dan model layanan yang berbeda, arsitektur teknis produk dan kemampuan teknis yang diperkenalkan mungkin berbeda, tetapi secara keseluruhan tidak banyak perbedaan.

Sebagai contoh, untuk beberapa pihak bisnis, mereka mungkin berharap robot dapat memberikan kemampuan dasar tanya jawab dan permintaan informasi.Saat ini, kami mungkin hanya perlu menyediakan beberapa FAQ dan beberapa alat dialog sederhana dan model algoritme untuk memenuhi kebutuhan . Untuk beberapa pihak bisnis, mereka berharap robot memiliki kemampuan untuk menangani dan menindaklanjuti bisnis atas nama mereka, bahkan menyediakan layanan dialog berbasis skenario dan pengawalan penuh. Menanggapi berbagai tingkat kebutuhan pelanggan, kami perlu merancang produk dan membangun arsitektur teknis yang sesuai, dan memperkenalkan kemampuan yang sesuai. Oleh karena itu, menurut saya sangat penting untuk menindaklanjuti dengan pihak bisnis, membantu bisnis dengan konsultasi, dan mendapatkan pemahaman yang mendalam tentang bisnis mereka. Sesuai dengan kebutuhan pelanggan yang berbeda, lakukan desain produk dan konstruksi arsitektur teknis, dan perkenalkan kemampuan yang sesuai untuk memenuhi kebutuhan mereka.

***Xu Wenhao: Model mana yang memiliki efek lebih baik setelah Anda mencobanya? Alat dan aplikasi apa yang diperlukan, bagaimana memilih arsitektur, dll.? ***

Wang Suwen: Saat menggunakan ChatGPT atau model besar serupa, Anda dapat menerapkan dan menerapkannya sesuai dengan langkah-langkah berikut.

  1. Pelatihan dan penyetelan model: Pilih model besar open source yang tersedia secara komersial, seperti Zhipu ChatGLM, model besar Baichuan, dll. Verifikasi dan uji kinerja model sesuai dengan kebutuhan dan bisnis Anda sendiri. Kumpulkan data terkait domain, dan gunakan data ini untuk melakukan pelatihan domain pada model besar open source, dan juga dapat melakukan pembuatan set instruksi semi-otomatis. Dengan menyempurnakan dan menyaring beberapa putaran data dialog, kemampuan dialog model domain besar ditingkatkan. Pastikan model memenuhi persyaratan dalam hal keselamatan, penyetelan halus, dan pasca-pemrosesan sesuai dengan spesifikasi dan nilai.

  2. Rekayasa model dan optimalisasi kinerja: Untuk model generatif, pertimbangkan kecepatan, kapasitas, dan kompresi penalaran model. Jika model terlalu besar untuk diakomodasi oleh satu kartu, penalaran paralel dengan beberapa kartu pada satu mesin atau beberapa kartu pada beberapa mesin dapat dipertimbangkan. Lakukan pengoptimalan performa pada model, termasuk depresurisasi, kompresi, dan akselerasi untuk performa yang lebih baik.

***Xu Wenhao: Guru Wang Suwen, apakah Anda memiliki model komersial dasar bahasa Mandarin yang direkomendasikan? ***

Wang Suwen: Saya percaya bahwa setiap orang akan melakukan kompromi sesuai dengan kebutuhan dan standar mereka sendiri saat memilih model. Setiap model memiliki karakteristik dan kelebihannya masing-masing. Dalam persyaratan bisnis kami, kami menguji beberapa model, dan akhirnya memilih dua model besar Zhipu dan Baichuan, karena model besar Zhipu dan Baichuan telah mencapai kematangan tertentu dalam komersialisasi. Mereka baru-baru ini merilis model baru, yang juga menunjukkan bahwa mereka terus mengoptimalkan dan mengulang. Saya percaya bahwa dengan perbaikan berkelanjutan dari model ini, pengembangan model domain berdasarkan model besar ini akan memberikan hasil yang lebih baik.

***Xu Wenhao: Dalam hal pengujian model besar, apakah Tuan Jia merekomendasikan arsitektur alat apa pun, atau aplikasi yang sangat penting? ***

**Jia Haowen:**Untuk perusahaan kecil dan menengah, mungkin sulit untuk mengembangkan dari awal atau melakukan penyetelan set instruksi pada model yang ada. Model seringkali terlalu besar untuk muat bahkan pada satu kartu grafis atau mesin. Selain itu, mengumpulkan data terstruktur, terutama data yang terkait dengan domain bisnis tertentu, juga penting. Karena dalam proses pelatihan asli ChatGPT, banyak pengumpulan dan pengorganisasian data dilakukan, yang memerlukan penggunaan data di bidangnya sendiri untuk menyempurnakan model dalam proses penyetelan set instruksi. Ini melibatkan beberapa komputasi paralel multi-mesin dan multi-kartu, yang mungkin memerlukan pelatih algoritme dan model untuk memiliki tingkat pengetahuan yang tinggi, seperti langkah-langkah percepatan tensor dan langkah-langkah akumulasi gradien.

Dalam proses penerapan dan pengoperasian model, mungkin perlu mempertimbangkan kecepatan jaringan untuk pelatihan model, pemilihan hard disk (seperti Zata atau SSD), penyimpanan, dan alat akselerasi transmisi data, yang memiliki persyaratan tinggi untuk lingkungan operasi dan pemeliharaan . Secara umum, proses pelatihan model besar saat ini mungkin relatif sulit, tetapi untuk penerapan sederhana dan proses inferensi, pada dasarnya layak untuk menerapkannya pada V100 berdasarkan model besar seperti 6B atau 13B.

Jika penyetelan dan pelatihan model selesai dan disebarkan ke sistem online, kami biasanya mempertimbangkan untuk memutakhirkan seluruh arsitektur. Saat ini, salah satu yang populer di industri ini adalah database vektor Milvus, yang dapat melakukan cache antara hasil yang dihasilkan melalui pengambilan vektor, mirip dengan cache Redis yang biasa kita gunakan. Karena karakteristik mekanisme generasi cloze, meskipun gaya spesifik dari setiap generasi mungkin berbeda, namun makna umumnya sama. Untuk mengurangi biaya online, kita dapat mengadopsi mekanisme seperti itu. Pada saat yang sama, satu set lengkap solusi juga diperlukan untuk sistem peninjauan konten, sistem persiapan data pelatihan, dan sistem pelabelan.

Secara umum, melatih model besar belum tentu buruk, tetapi dapat meningkatkan persyaratan tumpukan teknologi kami sebelumnya, tetapi peningkatan ini juga dapat diatasi, tetapi mungkin sedikit sulit, tetapi kami dapat sepenuhnya belajar dan berlatih untuk memenuhi ini tantangan.

***Xu Wenhao: Pelatihan model itu sendiri hanyalah sebagian dari keseluruhan proses, dan langkah-langkah pendukung di sekitarnya juga penting. Misalnya, database vektor, sistem cache, sistem pelabelan, dll. Alat dan sistem pendukung ini sangat penting untuk iterasi dan pengembangan produk yang berkelanjutan. Selama proses penelitian dan pengembangan, kami membutuhkan rantai alat dan solusi yang lengkap untuk mendukung pengumpulan data, pemrosesan awal, pelabelan, dan pelatihan model, pengoptimalan, dan penerapan. Tuan Chao Wang, apakah Anda memiliki sesuatu untuk ditambahkan? ***

Wang Chao: Dalam pertanyaan ini, saya dapat membagikan beberapa informasi tentang model besar yang sedang dikembangkan. Kami sedang mengembangkan model industri kami sendiri dan berharap dapat bekerja sama dengan perusahaan dan kolega. Informasi lebih lanjut tentang peluang kemitraan akan diumumkan setelah Juli. Sebutkan juga cara memverifikasi model besar mana yang lebih baik. Dalam hal ini, kami lebih peduli tentang bagaimana berhasil menerapkan model skala besar yang telah terbukti di platform, seperti Baichuan dan model lainnya, dan mendorong semua orang untuk memperhatikan dan memahaminya.

***Xu Wenhao: Dalam hal efisiensi Litbang, pengalaman apa yang Anda miliki untuk berbagi dalam hal ukuran tim, input daya komputasi, dan estimasi waktu untuk mengembangkan dan menerapkan model skala besar? ***

Wang Suwen: Seluruh proses pengembangan dan penerapan model besar memang membutuhkan waktu tertentu. Khususnya dalam kompresi, akselerasi, dan optimalisasi model, diperlukan eksperimen berulang dan penyetelan, yang bisa sangat memakan waktu. Misalnya, kami pernah mengembangkan model dengan skala 7B. Setelah pengoptimalan, pada konfigurasi tipe-b 4 kartu di server A800, kecepatan inferensi berkurang dari sebelumnya 28 milidetik menjadi sekitar 5 milidetik. Total usaha manusia tergantung pada pekerjaan yang Anda lakukan.

Pertama, seluruh kerangka dasar perlu dibangun, dan model harus dikompresi dan dikuantisasi, termasuk optimalisasi operator. Kami mengoptimalkan berdasarkan FastarTransformer Nvidia, jadi kami perlu menyesuaikan operator pengoptimalan, memilih mesin inferensi yang sesuai dengan kebutuhan, seperti Triton Nvidia, dan menyediakan layanan sesuai dengan backend yang berbeda. Akhirnya, pengujian kinerja keseluruhan diperlukan untuk menentukan kinerja terbaik model pada perangkat yang berbeda dan untuk penyebaran akhir. Menurut pengalaman kami, seluruh proses adaptasi memakan waktu setidaknya satu bulan. Selain itu, perlu waktu untuk mengoptimalkan tugas menyesuaikan instruksi, yang bergantung pada kebutuhan bisnis spesifik dan jumlah instruksi. Bergantung pada jenis bisnisnya, tim yang terdiri dari lebih dari selusin orang biasanya diperlukan untuk melakukannya.

***Xu Wenhao: Sepertinya dibutuhkan tim yang terdiri dari sekitar sepuluh orang, dan akan memakan waktu satu atau dua bulan untuk menyelesaikan pengoptimalan penalaran dan proses pelatihan model ini. Ini bukan jenis model besar dengan ratusan, ribuan, atau ratusan juta parameter yang sedang kita bicarakan. ***

Wang Suwen: Ya, model yang terlatih dan dioptimalkan dengan baik di industri tertentu dapat diterapkan dan direplikasi dengan cepat ke pelanggan di industri tersebut. Dengan cara ini, kami dapat memanfaatkan pekerjaan kami sebelumnya dan memberikan solusi khusus kepada klien kami. Misalnya, kami telah mengoptimalkan model di bidang keuangan, asuransi, pengelolaan kekayaan, dan industri ritel, sehingga kami dapat dengan cepat mereplikasi model yang dioptimalkan ini dan memberikan layanan kepada pelanggan dengan cepat. Kemampuan untuk menggunakan kembali ini dapat sangat meningkatkan efisiensi dan mempercepat pengiriman solusi.

***Xu Wenhao: Saya mengerti. Faktanya, ini hanyalah proses pengembangan produk saat ini, bukan proses pendaratan proyek. Sebuah produk telah dikembangkan yang dapat digunakan oleh banyak pelanggan. Apa pendapat Guru Jia tentang masalah ini? ***

Jia Haowen: Untuk pengembangan model domain besar, pengumpulan data sangat penting untuk model khusus domain. Untuk bidang yang sangat terspesialisasi (seperti hukum), pengumpulan data mungkin memakan waktu lama, mungkin setengah bulan atau bahkan sebulan. Setelah pengumpulan data dan pemrosesan terstruktur selesai, tautan berikut dapat dimulai, seperti penyetelan set instruksi dan proses pelatihan multi-level dan multi-kartu. Setelah menyelesaikan langkah-langkah ini, beberapa putaran evaluasi efek model biasanya dilakukan, karena hasil yang dihasilkan oleh mekanisme Transformer mungkin tidak cukup andal, dan sejumlah besar uji efek diperlukan untuk memastikan keandalan model. Ketika pelatihan model pada dasarnya selesai dan siap untuk penggunaan komersial awal, kami dapat melakukan pekerjaan produksi lebih lanjut sesuai dengan kebutuhan pelanggan, dan mengemasnya menjadi produk lengkap untuk memberikan layanan komprehensif kepada pengguna.

Dari sudut pandang biaya, pengumpulan data mungkin memakan waktu setengah bulan hingga satu bulan untuk melatih model yang relatif kecil dengan skala 6B atau 7B. Namun, ini juga memerlukan prasyarat penting, yaitu tim yang bertanggung jawab untuk pelatihan model harus terbiasa dengan metode dan metode pelatihan multi-mesin multi-kartu, dan terbiasa dengan berbagai strategi akselerasi data dan strategi akselerasi memori. Selain itu, penyiapan lingkungan juga penting. Untuk beberapa perusahaan kecil, jika ingin melatih model besar, mereka mungkin perlu menyewa mesin di platform seperti Alibaba Cloud atau Tencent Cloud dan membangun lingkungan mereka sendiri. Biaya tambahan ini juga perlu dipertimbangkan.

Kembangkan model besar, berapa rasio input-output?

***Xu Wenhao: Berdasarkan pandangan kedua guru, jika kondisi tim sudah matang, pengembangan model miniatur skala 7B mungkin memerlukan setidaknya tim yang terdiri lebih dari sepuluh orang, dan pengembangan akan memakan waktu sekitar tiga bulan. Dengan cara ini, mengembangkan model kecil sekalipun membutuhkan investasi yang besar. Berapa perkiraan rasio input-output untuk mengembangkan model besar? Bagaimana mengatasi risiko peraturan dan masalah keselamatan? ***

Jia Haowen: Untuk mengevaluasi rasio input-output, skenario dan kebutuhan bisnis tertentu perlu dipertimbangkan. Untuk copywriting tradisional, periklanan, dan industri film dan televisi seperti pembuatan skrip kreatif, AIGC dan model besar lainnya dapat dengan cepat menghasilkan materi dalam jumlah besar. Meskipun keandalan mungkin kurang, ini dapat meningkatkan efisiensi produksi secara signifikan. Untuk tugas produksi kreatif ini, input Rasio output bisa sangat hemat biaya. Namun, untuk bidang lain seperti pembuatan pengetahuan hukum, analisis kasus, analisis polis asuransi, dll., Karena hasil keluarannya mungkin tidak sempurna, perlu menginvestasikan banyak sumber daya manusia dan melalui beberapa putaran penyetelan model untuk mencapai keluaran yang lebih ideal. Oleh karena itu, rasio input-output mungkin lebih tinggi.

Untuk pengawasan, kita juga perlu mempertimbangkan kebijakan peraturan yang baru-baru ini diperkenalkan terkait dengan pembangkitan dalam. Ini terutama melibatkan beberapa aspek. Pertama-tama, kita perlu memperhatikan apakah itu akan melanggar kekayaan intelektual atau hak cipta dari komposer, penulis, pelukis, dll., Dan apakah mudah menghasilkan informasi palsu. Dalam hal pengaturan hasil yang dihasilkan, kami perlu memastikan dukungan peninjauan konten dan mekanisme manajemen untuk memastikan bahwa teks dan gambar yang dihasilkan tidak melanggar hak kekayaan intelektual. Pada saat yang sama, untuk industri tradisional, kepatuhan dan pengendalian risiko juga menjadi pertimbangan penting. Saat eksperimen berkembang, rantai industri model besar dapat terbentuk, dengan beberapa bekerja pada alat produksi untuk pembuatan model besar dan yang lain mengerjakan langkah-langkah untuk mencegah pembuatan model besar yang tidak terkendali. Pembentukan korespondensi ini akan diulang dari waktu ke waktu untuk mencapai keseimbangan yang baik antara generasi dan pengawasan model besar di bawah kerangka hukum, peraturan dan etika.

***Xu Wenhao: Kami tidak hanya akan memiliki perusahaan AI, tetapi juga perusahaan keamanan AI, seperti halnya banyak perusahaan keamanan di Internet. Saya ingin menanyakan pandangan Guru Wang Suwen tentang masalah keamanan dan pengawasan AI. ***

Wang Suwen: Pertama-tama, saat kita melatih model domain atau model besar, kepatuhan dan legalitas data sangat penting. Kita harus mendapatkan data melalui jalur formal dan memastikan keamanan dan kerahasiaan data.

Kedua, ketika kami melakukan pelatihan model domain untuk pelanggan, kami harus memastikan keamanan dan kepatuhan data dalam perusahaan, dan data antara perusahaan yang berbeda harus diisolasi dan tidak dapat digunakan kembali atau digunakan dalam pelatihan sesuka hati. Selain itu, saat melatih model domain untuk pelanggan, kami juga perlu melakukan penyempurnaan dan penyelarasan untuk memastikan bahwa model keluaran memenuhi persyaratan kepatuhan.

Dari perspektif peraturan, departemen pemerintah membutuhkan pengetahuan ahli interdisipliner dan lintas bidang saat merumuskan kerangka peraturan. Kami bekerja sama dengan Akademi Teknologi Informasi untuk bersama-sama membangun kerangka peraturan yang baik dan melakukan kerja sama yang mendalam dengannya. Kami juga melakukan sertifikasi keselamatan dengan Academy of Science and Technology untuk memastikan bahwa model besar kami telah diuji dan diverifikasi secara ketat.

Hanya melalui kerja sama pemerintah, pakar, dan perusahaan, kami dapat mempromosikan pengembangan AIGC yang sehat, memenuhi kebutuhan pengguna, dan memastikan penggunaan model besar yang aman.

Di bidang layanan pelanggan yang cerdas, apa hambatan utama bagi perusahaan?

***Xu Wenhao: Di bidang layanan pelanggan yang cerdas, setiap orang melakukan beberapa dialog dan analisis sentimen, jadi apa hambatan utama perusahaan? ***

Wang Chao: Untuk industri layanan pelanggan cerdas, masalah homogenisasi terkait erat dengan tujuan pembelian layanan pelanggan cerdas dan ROI yang diharapkan. Di JD.com, saat membangun layanan pelanggan yang cerdas, perusahaan harus membagi tujuan pengembangan mereka menjadi tiga tahap: primer, menengah, dan tinggi (atau matang). Jika tujuan pelanggan masih dalam masa pertumbuhan, yaitu hanya fungsi tanya jawab dan pertanyaan sederhana, kebutuhan pembelian layanan pelanggan yang cerdas mungkin serupa. Dalam hal ini, tingkat homogenitas mungkin lebih tinggi. Namun, jika kebutuhan pelanggan diposisikan pada tingkat yang lebih tinggi, seperti menyediakan layanan proaktif, tindak lanjut penuh, dan layanan skenario penuh, maka perlu dipertimbangkan apakah penyedia layanan pelanggan yang cerdas memiliki metodologi operasi yang cocok dan kelengkapan terkait. sistem alat operasi. Berdasarkan logika ini, menurut saya salah satu hambatan utama dari produk layanan pelanggan cerdas generasi saat ini adalah apakah pemasok memiliki pengalaman proyek robot yang kompleks dan matang serta pengalaman operasi yang kaya.

Poin kunci lainnya adalah apakah perusahaan layanan pelanggan yang cerdas dapat menyediakan metodologi pengoperasian dan panduan perencanaan jangka panjang, serta sistem alat operasi pendukung terkait, selain menyediakan produk dan teknologi yang relevan. Pada saat yang sama, apakah kami dapat membantu pelanggan membangun eselon bakat dan memberikan layanan pelatihan. Faktor-faktor ini sangat penting dalam generasi bot saat ini.

Untuk masa depan, model besar akan menjadi penghalang penting. Untuk produk yang Anda sebutkan, apakah berbagai jenis model besar dapat diintegrasikan secara efektif dengan kemampuan produk asli akan menjadi faktor kunci. Pada saat yang sama, kemampuan mengembangkan model besar juga akan menjadi keunggulan kompetitif yang unik.

***Xu Wenhao: Saya percaya bahwa setiap perusahaan akan merasa memiliki keunggulan unik dalam layanan pelanggan yang cerdas atau produk serupa. Tuan Jia, sejauh menyangkut produk perusahaan Anda, di mana hambatannya? ***

**Jia Haowen:**Dari layanan pelanggan tradisional hingga layanan pelanggan model skala besar, seluruh proses dapat dianggap sebagai penghalang persaingan. Meskipun kami mungkin tidak dapat bersaing dengan perusahaan besar dalam hal daya komputasi dan volume data, kami mungkin dapat bersaing dalam bidang interdisipliner, seperti penerapan pengetahuan psikologis dalam pelatihan model berskala besar, dan persimpangan kecerdasan kognitif dan aplikasi model berskala besar.Memiliki keunggulan penggerak pertama. Untuk perusahaan lain, mereka juga dapat menggabungkan karakteristik mereka sendiri untuk menonjol dalam proses layanan dan pelatihan model besar yang semakin homogen.

Wang Suwen: Masalah ini sebenarnya bermuara pada dua poin inti: Perusahaan layanan pelanggan yang cerdas perlu mempertimbangkan cara menghasilkan keuntungan dan meningkatkan margin laba kotor. Untuk mencapai ini, ada dua aspek yang harus difokuskan terlebih dahulu. Pertama, Anda perlu menyediakan layanan pelanggan cerdas berkualitas tinggi untuk memuaskan pelanggan, sehingga bisnis Anda dapat berkembang dalam waktu yang lama. Oleh karena itu, sangat penting untuk memperhatikan efek produk, termasuk peningkatan kekuatan produk dan efek cerdas, sehingga dapat meningkatkan pengalaman dan kepuasan pengguna. Kedua, fokus pada peningkatan efisiensi, pertimbangkan masalah rasio input-output, kurangi biaya dan tingkatkan margin laba kotor proyek. Peningkatan pengiriman proyek dan efisiensi operasional adalah kuncinya, dan kepuasan produk, penerapan dan efisiensi implementasi, serta integrasi cepat dengan sistem bisnis pelanggan dan docking konten operasional harus dipertimbangkan. Anda perlu memiliki metodologi pengiriman yang lengkap dan alat operasional untuk meningkatkan margin laba kotor proyek untuk mencapai profitabilitas dan mempertahankan pembangunan berkelanjutan.

Perusahaan layanan pelanggan yang cerdas dapat dibagi menjadi dua kategori, satu adalah produsen profesional di bidang vertikal, dan yang lainnya adalah produsen tujuan umum. Vendor layanan pelanggan yang cerdas di bidang vertikal fokus pada bidang tertentu, seperti e-commerce atau asuransi.Keunggulan dan hambatan mereka terletak pada fokus industri, optimalisasi peta dan data pengetahuan industri secara terus-menerus, dan penyediaan solusi khusus dan daya saing inti. Zhongguancun Kejin adalah penyedia solusi AI percakapan. Kami fokus pada keuangan, urusan pemerintahan, ritel, dan industri lainnya. Kami telah memberikan layanan kepada lebih dari 900 pemimpin industri dan mengumpulkan pengetahuan industri yang kaya. Kami juga berencana untuk meluncurkan model domain tujuan umum dan skala besar, dan meningkatkan produk seperti layanan pelanggan yang cerdas, robot panggilan keluar, sparring dan asisten inspeksi kualitas dengan mengintegrasikan mesin dialog untuk meningkatkan daya saing kami di industri.

Kedua, meningkatkan pengiriman dan efisiensi operasional juga penting. Kepuasan produk sangat penting untuk mengurangi biaya pengiriman proyek, dan penyebaran dan implementasi yang efisien, serta integrasi cepat dengan sistem bisnis pelanggan dan docking konten operasional, akan meningkatkan efisiensi operasional. Anda perlu memiliki seperangkat metodologi pengiriman dan alat operasional untuk memastikan margin laba kotor maksimum dari proyek tersebut. Melakukan hal itu akan memungkinkan Anda untuk menjadi menguntungkan dan berkelanjutan dalam jangka panjang.

*Akankah AIGC sepenuhnya menggantikan staf layanan pelanggan tradisional? *

***Xu Wenhao: Tiga guru menyebutkan tiga hambatan inti: yang pertama adalah fokus pada bidang vertikal, yang kedua adalah mencari diferensiasi di tingkat produk, dan yang ketiga adalah desain interdisipliner. Langkah-langkah ini akan membantu bisnis menonjol di pasar yang sangat kompetitif dan memberikan nilai unik kepada pelanggan. Pertanyaan terakhir untuk hari ini, tolong gunakan bahasa sederhana untuk membayangkan perkembangan AIGC di masa depan di bidang ini.Apakah AIGC akan sepenuhnya menggantikan personel layanan pelanggan tradisional? ***

Wang Chao: Sebagai seorang praktisi, saya optimis tentang prospek AIGC, dan masalah penggantian melibatkan perspektif yang berbeda. Satu sudut pandang adalah dari perspektif pasar saham, dan percaya bahwa ruang pasar industri layanan pelanggan terbatas, sehingga AIGC dapat menggantikan tenaga kerja tradisional. Namun, saya lebih suka memikirkannya dari perspektif inkremental.

Pertama-tama, layanan pelanggan yang cerdas masih memerlukan dukungan operasi manusia, dan operator masih memainkan peran penting dalam proses transformasi dari layanan pelanggan tradisional menjadi layanan pelanggan yang cerdas. Kedua, mode operasi masa depan dapat berubah, dan kerja sama antara layanan pelanggan yang cerdas dan personel operasi manual akan membentuk mode operasi baru. Dalam model ini, sejumlah kecil operator dapat membawa robot layanan pelanggan yang cerdas untuk menyediakan layanan 24 jam berkualitas tinggi dengan biaya lebih rendah, yang akan memungkinkan lebih banyak usaha kecil dan mikro menyediakan layanan pelanggan dengan cara baru dan memperluas ukuran pasar. Singkatnya, dari sudut pandang tambahan, layanan pelanggan yang cerdas tidak akan sepenuhnya menggantikan layanan pelanggan tradisional, tetapi melengkapinya, membawa peluang dan ruang baru untuk pengembangan ke pasar.

Wang Suwen: Di masa mendatang, layanan pelanggan manusia tidak akan sepenuhnya tergantikan, karena mereka memiliki keunggulan unik dalam menghadapi masalah yang kompleks, pemikiran, dan emosional. Terutama dalam menangani pelanggan bernilai tinggi, pelanggan potensial, dan meningkatkan tingkat konversi pelanggan, layanan pelanggan manusia masih memainkan peran penting. Karena tingginya biaya untuk mendapatkan pelanggan, banyak perusahaan masih berharap untuk secara efisien menindaklanjuti dan memastikan transaksi melalui layanan pelanggan manusia. Oleh karena itu, hubungan antara layanan pelanggan manusia dan layanan pelanggan yang cerdas lebih merupakan model kerja sama yang menggabungkan satu sama lain. Perusahaan perlu mempertimbangkan keunggulan layanan pelanggan manusia dan layanan pelanggan cerdas sesuai dengan kondisi mereka sendiri, dan merumuskan model layanan pelanggan terbaik.

Secara keseluruhan, menurut saya ruang pengembangan AIGC di masa depan sangat luas, dan seluruh industri juga telah melihat hal ini. Dalam dua hingga tiga tahun ke depan, AIGC dan teknologi seperti ChatGPT akan berkembang dengan kecepatan tinggi dan mempromosikan peningkatan seluruh industri layanan perusahaan. Baik industri layanan Internet maupun perusahaan akan mengalami peningkatan dan perubahan berskala besar, termasuk peningkatan fasilitas pendukung. Saat ini, masih ada beberapa masalah di AIGC, seperti kualitas konten, biaya investasi, keamanan data, dan hak cipta. Oleh karena itu, kami masih membutuhkan pengembangan jangka panjang, termasuk mengeksplorasi metode pemodelan yang lebih canggih dan efektif, untuk memperbaiki masalah ini. Saya yakin dengan kemajuan teknologi, ruang pengembangan model besar akan menjadi sangat luas.

**Jia Haowen: **Memang, kita tidak boleh terlalu menekankan pada substitusi, tetapi fokus pada perubahan model kerja dan bisnis yang akan dibawa di masa depan. Dalam proses mempromosikan bisnis, kita perlu mengukur rasio input terhadap output, terutama dalam promosi layanan pelanggan, kita perlu mempertimbangkan keamanan privasi data pengguna, kepatuhan terhadap hukum dan peraturan, dan lintas skenario dan lintas layanan antropomorfik industri. Model besar dapat memberikan nilai tinggi bagi personel layanan pelanggan tradisional. Mereka akan membawa perubahan kualitatif, tetapi tidak berarti menggantikan layanan pelanggan manusia. Secara keseluruhan, meskipun model besar memiliki beberapa masalah saat ini, namun memiliki prospek yang bagus di masa depan. Singkatnya, pengembangan model besar akan berubah dari mimpi menjadi kenyataan dalam waktu dekat, dan kita akan segera dapat mengalaminya sendiri.

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Bagikan
Komentar
0/400
Tidak ada komentar
Perdagangkan Kripto Di Mana Saja Kapan Saja
qrCode
Pindai untuk mengunduh aplikasi Gate
Komunitas
Bahasa Indonesia
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)