Combinado com a lógica técnica subjacente do ChatGPT, existem aproximadamente quatro direções para a industrialização do ChatGPT no curto e médio prazo no futuro: atendimento ao cliente inteligente, aplicativos AIGC em modo de texto, trabalho relacionado ao desenvolvimento de código e geração de imagens. Dentre eles, o projeto mais indicado para implantação direta é o trabalho de atendimento inteligente.
O atendimento ao cliente inteligente baseado na tecnologia de modelo grande está mudando fundamentalmente o processo tradicional de interação humano-computador. O modelo grande gera automaticamente o processo de diálogo para tornar a operação do atendimento ao cliente inteligente mais eficiente, o que pode melhorar a taxa de resolução de problemas complexos, percepção e intenção da interação humano-computador A eficiência do conteúdo operacional, como compreensão, construção de processos e geração de conhecimento.
Apenas da perspectiva da taxa de penetração do produto, o atendimento inteligente ao cliente foi gradualmente popularizado no comércio eletrônico, finanças e outros campos nos últimos sete ou oito anos. As duas principais mudanças trazidas pelo modelo grande, uma é que o custo de desenvolvimento de produtos inteligentes de atendimento ao cliente foi bastante reduzido e a outra é a melhoria da experiência do usuário.
Portanto, se você deseja combinar o modelo de linguagem grande LLM com produtos inteligentes de atendimento ao cliente ou colocar o primeiro no campo do software de aplicativo ToB SaaS, como deve começar a construir uma pilha de tecnologia? Como os modelos de produtos em grande escala fortalecerão os produtos inteligentes de atendimento ao cliente? Nesta edição de "A Date with Geeks", convidamos especialmente Xu Wenhao, fundador da bothub, fundador e CTO da Buqituo Network Technology, como moderador, e Jia Haowen, diretor de tecnologia de computação da Huayuan e co- chefe do departamento de negócios humanos digitais e Zhongguancun Kejin Wang Suwen, diretor de pesquisa e desenvolvimento de interação inteligente, chefe da equipe técnica de atendimento ao cliente inteligente Zhongguancun Kejin e Wang Chao, chefe do produto JD Yunyanxi KA, discutiram a implementação e a tendência de desenvolvimento futuro da AIGC em produtos inteligentes de atendimento ao cliente.
A seguir, a transcrição da entrevista.
***Xu Wenhao: Audiência amigos, olá a todos! Bem-vindo ao InfoQ "Um Encontro com Geeks". O tópico de hoje é o planejamento especial da "Publicação AIGC de Tiangong". Esperamos que, por meio deste plano, todos possam entender completamente todos os aspectos do AIGC no campo do atendimento inteligente ao cliente e perceber profundamente essa mudança. ***
***Neste programa, convidamos três convidados para discutir a aplicação do AIGC na área de atendimento inteligente ao cliente. No geral, dividiremos a discussão em três partes. O primeiro é a aplicação do grande modelo AIGC em produtos inteligentes de atendimento ao cliente; o segundo é a implantação da arquitetura AIGC e o design e seleção de aplicativos de ferramentas no atendimento inteligente ao cliente; o último é o método de construção de um sistema de diálogo de alta qualidade. ***
***Os três convidados de hoje são todos especialistas experientes na área de atendimento ao cliente inteligente e produtos interativos inteligentes. O primeiro convidado é Wang Chao, responsável pelo produto JD Yunyanxi KA. O segundo convidado é o Sr. Wang Suwen, diretor da Zhongguancun Kejin Intelligent Interactive Research and Development. O terceiro convidado é o Sr. Jia Haowen, Diretor de Tecnologia de Computação da Academia Huayuan e Co-Diretor da Divisão Humana Digital. ***
***Vamos começar com a primeira pergunta, estou muito curioso: Que mudanças o surgimento do AIGC trouxe para o atendimento inteligente? Gostaria de convidar o Sr. Wang da JD Cloud para compartilhar suas opiniões. Em sua observação, quais inovações o surgimento do AIGC trouxe para o atendimento inteligente ao cliente? ***
Wang Chao: O surgimento do AIGC despertou uma preocupação generalizada em todo o campo de atendimento ao cliente inteligente e levou colegas relevantes a realizar muita exploração. Em relação à cognição e às mudanças futuras do atendimento inteligente ao cliente, essas mudanças cognitivas estão mudando a cada dia que passa.
A equipe JD Cloud Yanxi tem prestado muita atenção ao progresso dos aplicativos inteligentes de atendimento ao cliente no país e no exterior. Além disso, o modelo em grande escala Yanxi que estamos desenvolvendo será lançado em julho e também continuamos a conduzir vários experimentos de modelo em grande escala no setor de atendimento ao cliente. Nos últimos meses, minha compreensão pessoal da AIGC tem sido completamente diferente daquela de 3 meses atrás, então as opiniões que quero compartilhar hoje representam opiniões mais pessoais e atuais.
O impacto do AIGC no atendimento inteligente ao cliente pode ser visto em dois níveis. Primeiro, do ponto de vista dos problemas comuns de gerenciamento e dificuldades técnicas em nosso setor, o AIGC tem potencial para resolvê-los. Todos sabemos que modelos grandes irão melhorar muito o nível de resposta, o antropomorfismo e a experiência de serviço do atendimento ao cliente inteligente e podem reduzir bastante os custos operacionais.
Em termos de robótica, acho que não precisa ser muito discutido, porque já focamos muita atenção em robôs. O que quero dizer é que o modelo grande é usado em uma ampla gama de campos de atendimento ao cliente inteligente, especialmente as informações de verificação na direção do gerenciamento de atendimento ao cliente inteligente. Por exemplo, em nossa prática de atendimento inteligente, algumas tecnologias anteriores recomendaram alguns pontos-chave e extraíram informações-chave em conversas.Embora existam soluções, geralmente é difícil conseguir um bom equilíbrio entre custo e efeito. Porém, através da verificação do modelo grande, verificamos que ele possui boa resolutividade e potencial para lidar com esses problemas. Além disso, para o trabalho de inspeção de qualidade, métodos como regularização de palavras-chave ou métodos inteligentes de inspeção de qualidade comumente usados na indústria têm certos efeitos, mas a taxa de precisão geralmente é baixa, a carga de trabalho também é pesada e o período para melhorar a taxa de precisão é longo. .
No entanto, praticando com modelos grandes, descobrimos que ele funciona bem para entender os critérios abstratos de controle de qualidade e realizar o trabalho de controle de qualidade. Além disso, em termos de treinamento de funcionários, vimos alguns exemplos de bancos líderes que introduziram robôs de diálogo para treinamento. Além do exposto, também realizamos análises de negócios no centro de atendimento ao cliente e precisamos resumir as informações sobre as necessidades do cliente, retratos do cliente e riscos na consulta ao cliente.No experimento, o efeito do modelo grande também é muito bom. Acho que no campo do atendimento ao cliente pan-smart, o potencial de aplicação de modelos grandes é enorme. Acreditamos que em cerca de meio ano, os principais produtos do mercado darão início a uma atualização importante.
Com base no que é atualmente entendido sobre o setor e o domínio, podemos explorar se o domínio mais amplo está prestes a mudar. Por exemplo, que mudanças ele pode trazer para o atendimento ao cliente e atendimento ao cliente? Acho que essa questão poderia ser mais desafiadora e, nesse estágio, ninguém consegue apontar mudanças específicas. Mas acreditamos que fará uma grande diferença, pelo menos em algumas direções, como serviços proativos. Por exemplo, as empresas de comércio eletrônico geralmente realizam várias atividades, e o trabalho de promover e explicar as atividades geralmente não recai sobre o centro de atendimento ao cliente. Porque é muito difícil realizar uma gama tão ampla de atividades por métodos manuais ou máquinas tradicionais. Mas podemos imaginar um futuro em que nosso atendimento ao cliente possa explicar bem muitas atividades por meio da introdução de um grande modelo e da entrada de informações básicas, o que representa o possível potencial do futuro atendimento ao cliente em termos de transformação ativa e atualização.
***Xu Wenhao: Deixe-me resumir, de fato, o surgimento do AIGC ampliou o escopo da inteligência aplicável no campo do atendimento inteligente ao cliente. Não apenas no campo inteligente tradicional de responder às perguntas do pós-venda, mas em todos os aspectos de todo o link de atendimento ao cliente, o modelo grande pode ser aplicado e pode ser estendido até o campo do marketing. Professor Wang Suwen, que tipo de fenômeno você vê de sua perspectiva? ***
Wang Suwen: Conforme mencionado há pouco, o escopo do atendimento inteligente ao cliente é muito amplo. Tecnologias como atendimento inteligente ao cliente e robôs podem realmente mudar o processo tradicional de interação humano-computador. Através do uso de modelos grandes, especialmente o uso de geração automática de processos de diálogo, a operação do atendimento ao cliente inteligente tradicional pode se tornar mais eficiente. Na maneira tradicional, geralmente precisamos configurar a base de conhecimento manualmente, mas o efeito não é óbvio. No entanto, a capacidade de resolver problemas complexos e a taxa de resposta direta das perguntas podem ser melhoradas diretamente por meio da geração automática de processos de diálogo por meio de grandes modelos, o que é um impacto disruptivo significativo.
O segundo ponto é que modelos grandes também podem atingir os objetivos de reduzir custos e melhorar a eficiência. Do ponto de vista da inteligência, os custos de mão de obra sempre foram relativamente altos, porque requer máquinas assistidas por humanos. Através da aplicação de grandes modelos, pode auxiliar na melhoria da eficiência da construção e operação da base de conhecimento, obtendo assim um efeito significativo de redução de custos e aumento de eficiência.
O terceiro ponto é sobre o antropomorfismo e a experiência do usuário do robô. Os robôs tradicionais geralmente ficam aquém dessas formas. No entanto, o surgimento de grandes modelos torna o diálogo mais suave, mais antropomórfico e mais parecido com a comunicação entre humanos. Este é um efeito perturbador muito poderoso.
Obviamente, para atendimento geral ao cliente, incluindo inspeção de qualidade, assistentes e sparring, o modelo grande também terá um impacto subversivo correspondente e produtos diferentes terão impactos diferentes.
***Xu Wenhao: Percebi que o Sr. Jia é o co-chefe da Divisão Humana Digital.Do seu ponto de vista, se a combinação de atendimento ao cliente inteligente e humano digital trará algumas inovações? ***
**Jia Haowen:**Antes de responder a esta pergunta, gostaria de voltar ao campo do atendimento inteligente ao cliente. O desenvolvimento do atendimento inteligente ao cliente remonta à história da inteligência artificial, baseada no acúmulo de linguagem. Lembro-me de que, cerca de dez anos atrás, havia vários andares cheios de pessoas de atendimento ao cliente que passavam a maior parte de suas horas de trabalho resolvendo os problemas dos usuários. Naquela época, mesmo as ferramentas como a base de conhecimento mencionada pelos dois professores não eram muito completas.
Olhando para trás agora, o Alipay e outros produtos de atendimento ao cliente se expandiram gradualmente da base de conhecimento inicial para assistentes seniores posteriores e ferramentas derivadas, como a estrutura Rasa para simular várias rodadas de cenários de diálogo. No entanto, como os dois professores disseram há pouco, todos esses diálogos ainda carecem de personificação. Todas as ferramentas anteriores de atendimento ao cliente basicamente falharam nos testes padrão da indústria de computadores. Mas quando grandes modelos aparecem, especialmente coisas como ChatGPT ou Vicuna, elas têm um nível de personalidade, embora talvez no nível de uma criança de 10 ou 11 anos. De certa forma, eles são capazes de passar no teste de Turing.
Agora, voltando à sua pergunta anterior, a combinação de atendimento inteligente e humano digital trará algumas inovações. No estágio inicial do campo humano digital, perguntas e respostas antropomórficas com humanos baseadas em bases de conhecimento e grandes modelos não podem ser concluídas em tempo real. No entanto, com a expansão da tecnologia, conseguimos alcançar figuras antropomórficas, combinadas com grandes modelos para simular cenas reais. Quando o aplicamos a cenários como bases de conhecimento, atendimento ao cliente e funcionários digitais, o campo dos humanos digitais pode enfrentar dois desafios. A primeira é a integridade dos dados. Embora ChatGPT e similares pareçam legais, eles são essencialmente gerados com base em dados históricos anteriores, semelhantes à geração de cloze. Embora essa abordagem aumente a eficiência e reduza os custos de script, a qualidade do conteúdo gerado é praticamente incontrolável. No conteúdo de saída de campos abrangentes, como atendimento ao cliente digital humano e inteligente, não podemos ter certeza absoluta do conteúdo gerado. Portanto, podemos precisar introduzir diferentes verificações e salvaguardas para garantir que o que um humano digital ou ChatGPT etc. diz seja mais como um humano falando do que sem sentido.
Resumindo, embora o modelo grande possa ser relativamente popular agora e as perspectivas futuras também sejam brilhantes, ele ainda está em um estado de 0 a 1 no estágio atual. No futuro, podemos esperar que ela se torne uma árvore imponente, mas agora, seja para toda a indústria ou para as expectativas de todos, ainda é necessário deixá-la crescer gradualmente em um solo melhor e realmente poder fornecer atendimento ao cliente inteligente. , Trazer melhorias de eficiência para campos como humanos digitais.
***Xu Wenhao: Eu quero explorar esta questão em profundidade. Gostaria de perguntar ao Sr. Jia, de acordo com o seu ponto de vista, se introduzirmos um modelo de grande escala na área de atendimento inteligente ao cliente, isso trará benefícios? Quero dizer em termos da situação atual, independentemente do desenvolvimento em dois ou três anos. Olhando agora, há um benefício da perspectiva de seus clientes ou de seu produto interno do ponto de vista de trazer o grande modelo? ***
Jia Haowen: A introdução de um modelo grande depende de cenários de negócios específicos e das necessidades do usuário. Para grandes empresas como Ant Financial ou JD.com com sistemas grandes e maduros, a introdução cega de um modelo grande pode aumentar os custos adicionais. Precisamos tomar algumas medidas de compatibilidade para evitar a incerteza causada pelo conteúdo gerado por IA. Para empresas menores, usar grandes modelos como complemento à sua base de conhecimento, com algum nível de revisão humana, pode ser uma boa maneira de aumentar a eficiência. Ele pode ajudar o atendimento ao cliente inteligente a entender melhor a semântica do usuário, melhorar a qualidade da base de conhecimento e até melhorar a experiência do usuário. Além disso, para aplicativos de alto nível, como inteligência cognitiva, a introdução de modelos grandes pode ajudar a entender e reconhecer melhor os usuários. Na indústria da Internet, existe um conceito importante chamado "milhares de pessoas, milhares de rostos", o que significa que cada atendimento ao cliente pode fornecer serviços personalizados. Portanto, precisamos analisar se devemos introduzir um grande modelo do ponto de vista dialético e tomar decisões com base em circunstâncias específicas.
***Xu Wenhao: O ponto de vista do Sr. Jia é que as grandes empresas precisam ser cautelosas na introdução de grandes modelos. A introdução de grandes modelos pode aumentar os custos e aumentar vários riscos, e elas precisam confiar nos métodos ou modelos originais como medida de retaguarda. Então, gostaria de perguntar ao professor Wang Chao, o atendimento ao cliente JD Cloud introduziu o AIGC? Quais serão os benefícios após a introdução? ***
**Wang Chao: **Para grandes empresas, aplicar modelos grandes com cautela em produtos C-end é uma questão de garantir a experiência do cliente e a segurança do serviço. Em um negócio voltado para o consumidor, o cuidado é fundamental. Nesse sentido, tanto a validação quanto a experimentação estão ocorrendo com muito cuidado.
No campo de negócios ou orientado para a operação, você é mais "corajoso" na experimentação e verificação. Apresentamos modelos de grande escala para ajudar as operações a criar direitos autorais e scripts, o que fornece um bom suporte para as operações resolverem problemas de criatividade e eficiência. Além disso, também é muito atuante na direção da gestão de funcionários, como inspeção de qualidade, assistência e treinamento.
O modelo grande é "apenas necessário" ou "segue a tendência"?
***Xu Wenhao: Quanto isso pode aumentar a eficiência dos funcionários comuns? Você mediu ou tem algum dado específico? ***
Wang Chao: Ainda não fizemos cálculos específicos sobre esse problema, porque a aplicação de grandes modelos se comporta de maneira diferente em diferentes projetos de trabalho. Por exemplo, pode ser várias vezes mais rápido na geração de scripts e direitos autorais. No entanto, em termos de análise diária e construção de inspeção de qualidade, o efeito pode variar de caso para caso. Portanto, no estágio atual, é difícil quantificar e tirar uma conclusão precisa, mas temos certeza de que a aplicação de grandes modelos realmente melhorou a eficiência.
***Xu Wenhao: Sr. Wang Suwen, você apresentou AIGC para seus clientes ou produtos? Você pode ver benefícios específicos? ***
Wang Suwen: Em nosso campo de negócios, visamos principalmente o mercado ToB e atendemos clientes em vários campos, como os setores financeiro e de seguros. Estes clientes têm várias necessidades em termos de inovação, incluindo incentivos para reduzir custos e melhorar a eficiência. Realizamos alguma cooperação de co-criação com clientes e os verificamos. Por exemplo, criamos um assistente de marketing para um cliente que gera automaticamente alguma cópia. Tradicionalmente, o nível de cada funcionário é desigual, inclusive pela falta de padronização e unidade em termos de habilidades de marketing. Por meio de nosso assistente de marketing, podemos primeiro ajudá-los a gerar uma cópia unificada e copiá-la com base na excelente experiência da história. A segunda é reduzir custos e melhorar a eficiência, pois eles não precisam mais gastar muito tempo com treinamento, aprendizado e memória. Nossos modelos grandes são amplamente utilizados na indústria.
Também desenvolvemos bots de telemarketing que podem responder diretamente a algumas perguntas. Obviamente, temos que levar em consideração as questões de conformidade, incluindo o cumprimento das leis relevantes e a proteção da segurança dos dados. Estamos trabalhando com o Instituto Xinchuang para resolver esses problemas de padronização.
***Xu Wenhao: Todo mundo está realmente tentando usar a habilidade do grande modelo. No entanto, ainda existem muitos problemas específicos a serem resolvidos, principalmente os desafios de controlabilidade e segurança. Do ponto de vista do atendimento inteligente ao cliente, o setor de comércio eletrônico foi o primeiro a introduzir o atendimento inteligente ao cliente, porque existem atividades promocionais em grande escala, como "618" e "Double Eleven", e os picos de tráfego durante essas atividades são muito grande. ***
***Nos últimos anos, os provedores de serviços domésticos também desenvolveram vários produtos inteligentes de atendimento ao cliente para várias instituições financeiras, como bancos, seguradoras e instituições de gestão de patrimônio. Nesse caso, parece que as instituições financeiras ficarão para trás se não usarem os robo-advisors. No entanto, instituições como o serviço de atendimento bancário não têm períodos de pico como "618" e "Double Eleven". ? Se é uma demanda rígida, de onde veio originalmente essa demanda? ***
Wang Chao: Impulsionado pela onda da digitalização, é mais fácil para as instituições financeiras realizar a implementação do atendimento inteligente ao cliente. Na área financeira, o atendimento inteligente tem sido amplamente utilizado e se tornou um dos produtos mais comuns das instituições financeiras. Para as instituições financeiras, as principais necessidades do atendimento inteligente ao cliente são principalmente reduzir custos e melhorar a eficiência, o que pode liberar os recursos humanos do trabalho tedioso. Especialmente em cenários de negócios, como perguntas e respostas automáticas, notificação e visitas de retorno para algumas perguntas de alta frequência, o atendimento ao cliente inteligente pode economizar recursos humanos e permitir que eles se concentrem em um trabalho mais profissional e criativo, em vez de um trabalho repetitivo, frequente e de baixo valor . Deixe que eles tenham recursos para investir no desenvolvimento e manutenção de clientes de alto patrimônio líquido e se concentrem mais na execução de tarefas mais valiosas. Além disso, com uma nova geração de avanços básicos, como o surgimento de modelos grandes, o atendimento ao cliente inteligente também pode obter recursos poderosos de geração de linguagem natural, tornando-o mais inteligente e eficiente.
***Xu Wenhao: Então é uma necessidade rígida, porque há muito trabalho repetitivo para reduzir custos e aumentar a eficiência. Sr. Jia, seus clientes na área financeira ou em outras áreas prestam atenção ao atendimento ao cliente inteligente? ***
**Jia Haowen: **Além da área financeira, também há demanda por grandes modelos em áreas verticais como seguros, direito e saúde. Principalmente do ponto de vista corporativo, a necessidade de gerar e extrair conhecimento é cada vez mais evidente. Quando conversamos com bancos ou seguradoras ou discutimos questões com advogados, as informações que eles fornecem são de natureza factual. Por meio do modelo grande, podemos identificar melhor a intenção da pergunta do usuário e realizar agrupamento ou divisão.
Como disse o Sr. Wang Su, setores como finanças, seguros e direito têm grande potencial para melhorar a eficiência, um processo de redução de custos e melhoria da eficiência. Do meu ponto de vista pessoal, essa é uma necessidade rígida, principalmente em termos de eficiência. No entanto, essas indústrias podem não adotar uma abordagem excessivamente agressiva, pois os negócios relacionados a finanças, seguros e direito são altamente sensíveis e exigem um forte grau de especialização. Nesse sentido, surge outra questão, que é a avaliação da maturidade dos resultados gerados pelos grandes modelos. Embora modelos grandes como o GPT-4 tenham um bom desempenho em alguns exames profissionais nos Estados Unidos, ainda é um problema se eles podem passar nos exames correspondentes na China, especialmente em um contexto semântico grande e complexo como o chinês, que pode exigir mais pesquisas. Pesquisar. Nesse sentido, nossa empresa planeja cooperar com a Universidade de Zhejiang em julho para lançar um grande modelo do campo jurídico vertical para fornecer melhores soluções para esse campo específico.
***Xu Wenhao: Grandes modelos na área jurídica são semelhantes aos da área financeira, e os requisitos de qualidade de geração são muito rígidos. No campo jurídico, um pequeno erro pode impactar negativamente na experiência do consumidor, podendo até causar prejuízos ao lojista (lado B), o que exige maior precisão e confiabilidade dos resultados gerados. Sobre esta questão, o que pensa o professor Wang Chao? ***
Wang Chao: Acho que, seja no comércio eletrônico ou no setor financeiro, os requisitos para atendimento inteligente ao cliente são muito rígidos. Além disso, para o atendimento ao cliente inteligente de comércio eletrônico, o grande período de promoção e a consulta diária são muito impressionantes. No negócio autônomo da nossa equipe no JD.com, o volume diário de consultas representa 70% e 90% no período de pico. Esses 70% do volume de consultas já são de grande valia. Acredito que essa lógica também se aplica a várias instituições como bancos. Também notamos que os recursos inteligentes de atendimento ao cliente de alguns bancos ainda são insuficientes. Portanto, precisamos pensar em como melhorar a maturidade do atendimento inteligente ao cliente, e ele precisa se adaptar ao estágio de desenvolvimento da empresa ou banco. Atualmente, muitos bancos estão no estágio inicial de atendimento inteligente ao cliente, concentrando-se principalmente em perguntas frequentes e na construção simples de diálogos multi-rodados, enquanto os recursos de serviço e a experiência do usuário ainda não atingiram um nível satisfatório.
Com base em nossa experiência na área de comércio eletrônico, acreditamos que o atendimento inteligente do banco precisa ser mais desenvolvido, principalmente no sistema operacional, que precisa ser bastante atualizado. Por exemplo, exigimos que o atendimento ao cliente de base esteja próximo a níveis artificiais em termos de padrões e habilidades de serviço, o que tem um grande impacto na reforma de nosso sistema operacional. No entanto, no processo de cooperação com os bancos, descobrimos que muitos bancos enfrentam desafios na construção de um atendimento inteligente ao cliente. A cooperação entre fornecedores de tecnologia e bancos é mais parecida com a relação entre a Parte B e a Parte A, que é diferente do nosso modelo de cooperação. Ainda existe uma lacuna entre os bancos e nossas exigências em termos de estrutura organizacional e treinamento de pessoal. Conversamos com muitos de nossos parceiros bancários e achamos comum que eles concordassem com nossa metodologia de desenvolvimento, mas também achassem difícil. Levar adiante reformas internas é complexo para os bancos e exige mais esforço. Acredito que o modelo grande é uma oportunidade, pois pode reduzir a dificuldade operacional do atendimento inteligente e simplificar a estrutura organizacional, estou ansioso por isso.
***Xu Wenhao: Acredito que o grande modelo é uma grande oportunidade para todos aqui e para a maioria das pessoas na área de atendimento ao cliente inteligente e processamento de linguagem natural. Compartilhamos uma visão semelhante de que modelos grandes podem nos ajudar a alcançar experiências de conversação mais antropomórficas e personalizadas. No entanto, quando se trata de fornecer serviços para usuários C-end, seja e-commerce ou bancos, todos serão mais cautelosos. Todos nós queremos garantir que o resultado final seja controlável, seja um certificado de depósito de 10.000 yuans ou um pedido de 1.000 yuans, isso é algo que precisa ser levado a sério. ***
*** Acabamos de falar também sobre outro tema importante, a experiência do usuário. Podemos observar que na geração anterior de robôs inteligentes de atendimento e diálogo, suas respostas são modelos pré-escritos, por exemplo, a resposta sobre o endereço de entrega costuma ser fixa, com apenas pequenas alterações. Existe uma certa lacuna entre a resposta desse modelo fixo e o atendimento ao cliente humano real. Agora todos estão trabalhando duro para melhorar o nível antropomórfico dos robôs de diálogo, para que o atendimento ao cliente inteligente por trás deles possa ser mais emocional, mais capaz de entender as emoções do usuário e realizar cálculos multimodais. Nesse sentido, você tem investido em pesquisa e desenvolvimento? ***
Wang Suwen: Acho que pode ser discutido sob três aspectos: personificação, humanização e individualização.
A primeira é o antropomorfismo. No campo do atendimento inteligente ao cliente, o antropomorfismo sempre foi um ponto problemático, porque o desempenho dos robôs tradicionais nessa área precisa ser melhorado. Temos explorado como construir interações antropomórficas de diálogo. Isso envolve como projetar diálogos situacionais, como desmontar problemas, como herdar o contexto e como entender várias rodadas de diálogo. No geral, esperamos que os bots possam fornecer modos de conversa e interação mais relevantes e naturais.
Seguido por serviços humanos. Com base na identificação precisa da cena ou intenção, também precisamos melhorar ainda mais o serviço com base no antropomorfismo. Acho que a computação afetiva multimodal é uma maneira eficaz de atingir esse objetivo. Por exemplo, nossa empresa desenvolveu um atendimento ao cliente humano digital virtual, que pode conduzir diálogos interativos humano-computador, combinados com computação emocional, e reconhecer expressões emocionais do usuário por meio de métodos multimídia, como vídeo, voz e texto. Dessa forma, o atendimento inteligente ao cliente pode fornecer feedback emocional correspondente aos usuários, criar interação humano-computador com compreensão e cordialidade emocional e realizar serviços mais humanizados. Em termos de computação afetiva, os métodos tradicionais têm dois modos: regras e aprendizado de máquina. Por meio do aprendizado de máquina, podemos treinar modelos para aprender automaticamente estados emocionais e atingir padrões de classificação, para melhor se adaptar a diferentes campos e contextos. Dessa forma, podem-se obter melhores efeitos de expressão emocional e prestar serviços mais humanizados.
Por fim, há o atendimento personalizado. Precisamos implementar serviços personalizados com base no retrato do usuário para obter o efeito de "milhares de pessoas com milhares de rostos". Por exemplo, desenvolvemos uma plataforma de percepção do usuário, que pode marcar usuários e acumular retratos por meio de informações básicas de retrato do usuário e análise de percepção durante conversas históricas. No diálogo de acompanhamento, podemos fornecer diferentes processos de diálogo, métodos de resposta e recomendações de acordo com o retrato do usuário, de modo a obter serviços personalizados mais precisos e melhorar a satisfação dos usuários e empresas.
***Xu Wenhao: O professor Wang Suwen forneceu muita experiência valiosa, que pode ser usada para referência e imitação por aqueles envolvidos no trabalho inteligente de atendimento ao cliente. JD.com é uma plataforma com um grande número de usuários e produtos, todos esperam que, ao usar o atendimento ao cliente inteligente, haja a sensação de que existe uma pessoa real por trás dele. Gostaria de perguntar ao Sr. Wang Chao, que trabalho a JD.com fez em P&D e produtos para realizar a capacidade de "milhares de pessoas, milhares de rostos"? Existe alguma experiência para compartilhar com você? ***
Wang Chao: Fizemos muitos investimentos para melhorar a experiência e o atendimento personalizado. O atendimento ao cliente com inteligência emocional desenvolvido pela equipe Yanxi é o primeiro atendimento ao cliente com inteligência emocional comercial em larga escala do setor. Desde 2018, introduzimos a capacidade de reconhecimento e resposta de emoções na capacidade de resposta do robô. Esta tecnologia não é utilizada apenas na área de atendimento ao cliente, mas também em serviços de inspeção de qualidade e gestão de pessoal.
Responder a esta pergunta envolve dois aspectos. A primeira direção é a tecnologia, como tecnologias de ponta, como o diálogo multi-round, que são as principais direções de desenvolvimento da atual tecnologia inteligente de atendimento ao cliente. Outra direção importante é a operação, ou seja, como conduzir o desmantelamento detalhado da cena, analisar as diferenças homem-máquina e realizar a descoberta automatizada de problemas e a comparação das diferenças de serviço homem-máquina por meio de monitoramento e sistemas de ferramentas por meio de benchmarking com atendimento humano ao cliente. Dessa forma, gradualmente realizamos uma análise refinada da experiência de serviço da multidão a partir da análise geral da diferença da experiência geral e da experiência do serviço da multidão. Com esse sistema, podemos continuar a otimizar a experiência geral do serviço e, finalmente, realizar a cobertura do serviço de máquina do atual volume diário de recepção de máquina da JD.com de 70% e 90% durante o período da promoção.
**Jia Haowen:**O tema da transmissão ao vivo desta noite é sobre a compreensão do atendimento ao cliente humano digital e modelos grandes. Nossa compreensão do atendimento ao cliente tradicional, seja atendimento ao cliente manual ou FAQ, pode ser considerada como atendimento ao cliente inteligente de baixo custo. Como usuários, esperamos que o atendimento ao cliente seja competente e capaz de fornecer assistência na solução de problemas. Ao mesmo tempo, se o atendimento ao cliente puder apresentar características antropomórficas e oferecer serviços personalizados, a experiência do usuário será melhor.
No campo dos grandes modelos, o antropomorfismo e a personificação são muito importantes. Nossa empresa está mais inclinada para a direção de pesquisa de inteligência cognitiva e psicologia. Nós nos concentramos em como obter rapidamente as tags psicológicas dos usuários e julgar os usuários de uma perspectiva psicológica, a fim de fornecer melhores serviços. Podemos imaginar uma cena, como Jarvis no filme da Marvel "Homem de Ferro". Seria um estado ideal se a grande modelo do futuro pudesse ser como um assistente que pudesse dar as respostas e recomendações mais adequadas de acordo com nosso humor e preferências naquele dia.
Atualmente, ainda estamos na fase preliminar da pesquisa sobre a combinação de grandes modelos e humanos digitais. No entanto, com o surgimento de resultados de pesquisas acadêmicas no campo da multimodalidade, alguns produtos de experiência melhores e de menor custo podem surgir.
***Xu Wenhao: Todos mencionaram a busca pela emoção, e parece que todos estão se movendo em uma direção mais próxima das pessoas reais. A maior parte do público na sala de transmissão ao vivo são estudantes envolvidos em trabalhos técnicos. Esperamos compartilhar alguma experiência sobre como construir um sistema de diálogo de alta qualidade, seja atendimento inteligente ao cliente, serviço pós-venda ou guia de compras pré-venda . Por onde devo começar ao entrar neste campo? ***
Jia Haowen: Se quisermos construir um sistema de diálogo de alta qualidade, na verdade isso envolve a questão da aprovação tradicional de projetos de Internet. Nesse processo, precisamos considerar a seleção da arquitetura do produto de negócios, arquitetura técnica e a forma de aterrissagem real do produto. Ao mesmo tempo, também precisamos levar em consideração que muitas grandes empresas ou empresas de médio porte já possuem muitos produtos de atendimento ao cliente existentes. Se quisermos melhorar os recursos desses produtos existentes de atendimento ao cliente por meio de modelos grandes, talvez seja necessário adotar uma abordagem mais conservadora. Por exemplo, modelos grandes podem ser usados como uma ferramenta de base de conhecimento externa para fornecer entrada de conhecimento. Voltando ao aspecto arquitetônico que acabamos de mencionar, tanto a arquitetura do produto quanto a seleção de ferramentas são considerações importantes. Para o ponto de entrada inicial, ferramentas como sistemas de marcação de palavras-chave e expressões regulares tradicionais podem estar envolvidas. Porém, não existe um paradigma padrão geral para a escolha específica desse paradigma, pois está relacionado às características de cada negócio.
***Xu Wenhao: Do ponto de vista dos profissionais, seja uma empresa de atendimento ao cliente inteligente ou um SaaS de atendimento ao cliente inteligente ou plataforma de nuvem, eles podem pensar em como melhorar ainda mais o sistema de diálogo para fornecer serviços de maior qualidade. Embora tenhamos discutido muito sobre grandes modelos hoje, na verdade, quando se trata de atendimento ao cliente inteligente tradicional, seja no setor bancário ou no comércio eletrônico, os consumidores sentirão mais ou menos que não há uma pessoa real por trás deles para fornecer serviços. Precisamos pensar em como melhorar a experiência do usuário e investir mais esforços para melhorar o status quo. ***
Jia Haowen: Se restringirmos o escopo do problema e nos concentrarmos em fornecer uma saída de conteúdo de atendimento ao cliente inteligente mais eficiente e de alta qualidade, poderemos considerar o modelo grande como um serviço de diálogo aprimorado. Em produtos inteligentes de atendimento ao cliente, o que os usuários esperam encontrar é um robô inteligente, empático e comunicativo, ao mesmo tempo em que esperam que o conteúdo das respostas possa se concentrar em áreas específicas do negócio, como marketing de atendimento e outros cenários. Nesse caso, podemos combinar os recursos de reconhecimento de intenção, fluxo de diálogo e diálogo multiturno do modelo grande com fontes de dados externas, como as perguntas frequentes tradicionais. Isso significa que precisamos convergir todo o processo de processamento de linguagem, como resumir os dados das perguntas dos visitantes e compará-los com as perguntas dos usuários, e até inserir uma grande quantidade de dados privatizados enquanto os usuários fazem perguntas, de modo a complementar os robôs inteligentes tradicionais, voz robôs e capacidades de conteúdo de bases de conhecimento externas. Por meio dessa combinação, a eficiência da experiência do usuário pode ser significativamente melhorada em um curto período de tempo. Além disso, podemos considerar a melhoria das capacidades antropomórficas, mas para empresas que desejam atualizar suas capacidades de sistema de diálogo, os desafios podem ser maiores, por isso é recomendável apresentá-los com cuidado. Como ponto de entrada, considerar grandes modelos como parte da entrada de conhecimento externo pode ser um ponto de entrada rápido e de baixo custo.
Como melhorar a qualidade do diálogo de modelos grandes
***Xu Wenhao: Professor Wang Suwen, se quisermos construir um sistema de diálogo de alta qualidade para melhorar a situação atual, em quais áreas devemos investir em pesquisa e desenvolvimento? ***
Wang Suwen: Podemos considerar os seguintes pontos para melhorar a qualidade do sistema de diálogo.
Redução dos custos de rotulagem de dados: Os métodos tradicionais de rotulagem de dados exigem muita rotulagem manual, o que trará tempo e custos de recursos. Para reduzir essa dependência, podemos estudar como usar uma grande quantidade de dados não rotulados para treinamento não supervisionado, reduzindo assim a necessidade de dados rotulados manualmente. Tal abordagem pode melhorar a eficiência da aquisição de dados e reduzir custos.
Melhoria da capacidade de generalização: Não basta responder a uma única pergunta, o sistema de diálogo precisa ter uma certa capacidade de generalização para se adaptar a diferentes cenários e necessidades do usuário. Ao aprender a diversidade e regularidade da linguagem, podemos melhorar a capacidade de generalização do modelo para que ele possa lidar com mais problemas e situações.
Construção e seleção de modelos de diálogo: Ao escolher um modelo de diálogo, precisamos considerar a aplicabilidade do modelo em diferentes cenários. Atualmente, existem muitos modelos grandes para escolher, por isso precisamos escolher um modelo adequado de acordo com as necessidades específicas para obter maior precisão e efeito.
Aprendizado e otimização contínuos: O sistema de diálogo precisa de aprendizado e otimização contínuos, porque o efeito do modelo online inicial não é perfeito. O sistema deve ter a capacidade de auto-interação e auto-otimização e melhorar gradualmente o efeito e o desempenho por meio do uso e feedback contínuos. Esse processo de aprendizado e otimização contínuos pode atender às necessidades dos clientes e tornar o sistema cada vez mais inteligente e eficiente.
***Xu Wenhao: Professor Wang Chao, você tem algum comentário a acrescentar à discussão anterior? ***
**Wang Chao:**Acho que a chave para essa pergunta é que, do ponto de vista dos clientes e grupos de negócios, bem como de nossa perspectiva como desenvolvedores e designers de produtos de plataforma, todos apontam para o mesmo objetivo. Seja qual for o ponto de vista, precisamos estar atentos às necessidades centrais do negócio e às expectativas do sistema inteligente de atendimento ao cliente na prestação de serviços. Sob diferentes formas e modelos de serviço, a arquitetura técnica do produto e as capacidades técnicas introduzidas podem ser diferentes, mas no geral não há muita diferença.
Por exemplo, para algumas partes de negócios, eles podem esperar que os robôs possam fornecer recursos básicos de perguntas e respostas e consulta de informações. No momento, talvez seja necessário fornecer apenas algumas perguntas frequentes e algumas ferramentas de diálogo simples e modelos de algoritmo para atender às necessidades . Para algumas partes de negócios, eles esperam que os robôs tenham a capacidade de lidar e acompanhar os negócios em seu nome e até mesmo fornecer serviços de diálogo baseados em cenários e escolta completa. Em resposta a diferentes níveis de necessidades do cliente, precisamos projetar produtos e construir arquitetura técnica de acordo e introduzir os recursos correspondentes. Portanto, acho muito importante acompanhar o lado comercial, ajudar o negócio com consultoria e obter um entendimento profundo do seu negócio. De acordo com as diferentes necessidades dos clientes, realize o design do produto e a construção da arquitetura técnica e introduza os recursos correspondentes para atender às suas necessidades.
***Xu Wenhao: Qual modelo tem o melhor efeito depois de experimentá-lo? Quais são as ferramentas e aplicações necessárias, como escolher a arquitetura, etc.? ***
Wang Suwen: Ao usar ChatGPT ou modelos grandes semelhantes, você pode aplicá-los e implantá-los de acordo com as etapas a seguir.
Treinamento e ajuste do modelo: Escolha um modelo grande de código aberto comercialmente disponível, como Zhipu ChatGLM, modelo grande Baichuan, etc. Verifique e teste o desempenho do modelo de acordo com suas necessidades e negócios. Colete dados relacionados ao domínio e use esses dados para conduzir o treinamento de domínio em modelos grandes de código aberto e também pode executar a geração semiautomática de conjuntos de instruções. Ao ajustar e rastrear várias rodadas de dados de diálogo, a capacidade de diálogo de modelos de domínio grande é aprimorada. Certifique-se de que o modelo atende aos requisitos de segurança, ajuste fino e pós-processamento de acordo com as especificações e valores.
Engenharia de modelo e otimização de desempenho: Para modelos generativos, considere a velocidade, capacidade e compressão do raciocínio do modelo. Se o modelo for muito grande para ser acomodado por um único cartão, pode ser considerado o raciocínio paralelo com vários cartões em uma única máquina ou vários cartões em várias máquinas. Execute otimizações de desempenho em modelos, incluindo despressurização, compressão e aceleração para melhor desempenho.
***Xu Wenhao: Professor Wang Suwen, você tem algum modelo comercial básico chinês recomendado? ***
Wang Suwen: Acredito que todos farão compensações de acordo com suas próprias necessidades e padrões ao escolher um modelo. Cada modelo tem suas próprias características e vantagens. Em nossos requisitos de negócios, testamos vários modelos e, finalmente, escolhemos os dois modelos grandes de Zhipu e Baichuan, porque os modelos grandes de Zhipu e Baichuan atingiram uma certa maturidade na comercialização. Eles lançaram recentemente um novo modelo, que também mostra que estão constantemente otimizando e iterando. Acredito que com a melhoria contínua desses modelos, o desenvolvimento de modelos de domínio baseados nesses grandes modelos trará melhores resultados.
***Xu Wenhao: Em termos de teste de modelos grandes, o Sr. Jia recomenda alguma arquitetura de ferramenta ou algum aplicativo particularmente crítico? ***
**Jia Haowen:**Para empresas de pequeno e médio porte, pode ser difícil desenvolver do zero ou executar o ajuste do conjunto de instruções em modelos existentes. Os modelos geralmente são muito grandes para caber em uma única placa gráfica ou máquina. Além disso, a coleta de dados estruturados, especialmente dados relacionados a domínios de negócios específicos, também é crítica. Porque no processo de treinamento original do ChatGPT, muita coleta e organização de dados foram feitas, o que requer o uso de dados em seu próprio campo para ajustar o modelo no processo de ajuste do conjunto de instruções. Isso envolve alguma computação paralela de várias máquinas e vários cartões, que pode exigir que os treinadores de algoritmos e modelos tenham um alto nível de conhecimento, como medidas de aceleração de tensor e medidas de acumulação de gradiente.
No processo de implantação e operação de modelos, pode ser necessário considerar velocidade de rede para treinamento de modelo, seleção de disco rígido (como Zata ou SSD), armazenamento e ferramentas de aceleração de transmissão de dados, que possuem altos requisitos para o ambiente de operação e manutenção . De um modo geral, o processo de treinamento do modelo grande atual pode ser relativamente difícil, mas para o processo simples de implantação e inferência, é basicamente viável implantá-lo no V100 com base em um modelo grande como 6B ou 13B.
Se o ajuste e o treinamento do modelo forem concluídos e implantados no sistema online, geralmente consideramos a atualização de toda a arquitetura. Atualmente, o mais popular na indústria é o banco de dados de vetores Milvus, que pode armazenar em cache intermediário os resultados gerados por meio da recuperação de vetores, semelhante ao cache Redis que costumamos usar. Devido às características do mecanismo de geração de cloze, embora o estilo específico de cada geração possa ser diferente, o significado geral é o mesmo. A fim de reduzir os custos online, podemos adotar tal mecanismo. Ao mesmo tempo, também é necessário um conjunto completo de soluções para o sistema de revisão de conteúdo, sistema de preparação de dados de treinamento e sistema de rotulagem.
Em geral, treinar um modelo grande não é necessariamente terrível, mas pode aumentar os requisitos de nossa pilha de tecnologia anterior, mas essa melhoria também pode ser superada, mas pode ser um pouco difícil, mas podemos aprender e praticar completamente para atender a esses desafios.
***Xu Wenhao: O treinamento modelo em si é apenas uma parte de todo o processo, e as medidas de apoio também são cruciais. Por exemplo, banco de dados de vetores, sistema de cache, sistema de rotulagem, etc. Essas ferramentas e sistemas de suporte são cruciais para a iteração contínua e o desenvolvimento de produtos. Durante o processo de pesquisa e desenvolvimento, precisamos de uma cadeia de ferramentas e soluções completas para oferecer suporte à coleta de dados, pré-processamento, rotulagem e treinamento, otimização e implantação de modelos. Sr. Chao Wang, tem algo a acrescentar? ***
Wang Chao: Nesta pergunta, posso compartilhar algumas informações sobre o modelo grande em desenvolvimento. Estamos desenvolvendo nosso próprio modelo industrial e esperamos cooperar com empresas e colegas. Mais informações sobre oportunidades de parceria serão anunciadas após julho. Além disso, mencione como verificar quais modelos grandes são melhores. A esse respeito, estamos mais preocupados em como aplicar com sucesso modelos comprovados de grande escala na plataforma, como Baichuan e outros modelos, e incentivamos todos a prestar atenção e entendê-los.
***Xu Wenhao: Em termos de eficiência de P&D, que experiência você tem para compartilhar em termos de tamanho de equipe, entrada de poder de computação e estimativa de tempo para desenvolver e implantar modelos de grande escala? ***
Wang Suwen: Todo o processo de desenvolvimento e implantação de grandes modelos leva um certo tempo. Especialmente na compressão, aceleração e otimização de modelos, experimentos iterativos e ajustes são necessários, o que pode consumir muito tempo. Por exemplo, uma vez desenvolvemos um modelo com uma escala de 7 B. Após a otimização, na configuração tipo b de 4 cartões no servidor A800, a velocidade de inferência foi reduzida dos 28 milissegundos anteriores para cerca de 5 milissegundos. O esforço humano total depende do trabalho que você faz.
Primeiro, toda a estrutura básica precisa ser construída e o modelo deve ser compactado e quantizado, incluindo a otimização do operador. Otimizamos com base no FastarTransformer da Nvidia, então precisamos personalizar o operador de otimização, escolher um mecanismo de inferência que atenda às necessidades, como o Triton da Nvidia, e fornecer serviços de acordo com diferentes back-ends. Por fim, o teste de desempenho geral é necessário para determinar o melhor desempenho do modelo em diferentes dispositivos e para a implantação final. Segundo a nossa experiência, todo o processo de adaptação leva pelo menos um mês. Além disso, levará algum tempo para otimizar a tarefa de ajuste de instruções, que depende das necessidades específicas do negócio e do número de instruções. Dependendo do tipo de negócio, geralmente é necessária uma equipe de mais de uma dezena de pessoas para realizá-lo.
***Xu Wenhao: Parece que será necessária uma equipe de cerca de dez pessoas e levará um ou dois meses para concluir a otimização do raciocínio e o processo de treinamento desses modelos. Este não é o tipo de modelo grande com centenas, milhares ou centenas de milhões de parâmetros de que estamos falando. ***
Wang Suwen: Sim, um modelo bem treinado e otimizado em um setor específico pode ser implantado e replicado rapidamente para os clientes desse setor. Desta forma, podemos alavancar nosso trabalho anterior e fornecer aos nossos clientes soluções personalizadas. Por exemplo, otimizamos modelos na área financeira, seguros, gestão de patrimônio e setores de varejo, para que possamos replicar rapidamente esses modelos otimizados e fornecer serviços aos clientes rapidamente. Essa capacidade de reutilização pode melhorar muito a eficiência e acelerar a entrega de soluções.
***Xu Wenhao: Entendo. Na verdade, é apenas um processo de desenvolvimento de produto no momento, não um processo de lançamento de projeto. Foi desenvolvido um produto que pode ser usado por muitos, muitos clientes. Qual é a opinião do professor Jia sobre esta questão? ***
Jia Haowen: Para o desenvolvimento de modelos de domínio grande, a coleta de dados é essencial para modelos específicos de domínio. Para áreas altamente especializadas (como direito), a coleta de dados pode levar muito tempo, talvez meio mês ou até um mês. Após a conclusão da coleta de dados e do processamento estruturado, os links a seguir podem ser iniciados, como o ajuste do conjunto de instruções e o processo de treinamento de vários níveis e cartões múltiplos. Depois de concluir essas etapas, geralmente são realizadas várias rodadas de avaliação do efeito do modelo, porque os resultados gerados pelo mecanismo do Transformer podem não ser confiáveis o suficiente e um grande número de testes de efeito é necessário para garantir a confiabilidade do modelo. Quando o treinamento do modelo estiver basicamente concluído e pronto para uso comercial inicial, podemos realizar mais trabalhos de produção de acordo com as necessidades dos clientes e empacotá-lo em um produto completo para fornecer serviços abrangentes aos usuários.
Do ponto de vista do custo, a coleta de dados pode levar de meio a um mês para treinar um modelo relativamente pequeno com uma escala de 6B ou 7B. No entanto, isso também requer um pré-requisito importante, ou seja, a equipe responsável pelo treinamento do modelo deve estar familiarizada com métodos e métodos de treinamento multimáquina e multicartão e estar familiarizada com várias estratégias de aceleração de dados e estratégias de aceleração de memória. Além disso, a preparação do ambiente também é fundamental. Algumas pequenas empresas, se quiserem treinar grandes modelos, podem precisar alugar máquinas em plataformas como Alibaba Cloud ou Tencent Cloud e construir seu próprio ambiente. Esse custo adicional também deve ser levado em consideração.
Desenvolva um modelo grande, qual é a relação entrada-saída?
***Xu Wenhao: Com base nas opiniões dos dois professores, se as condições da equipe estiverem maduras, o desenvolvimento de um modelo em miniatura em escala 7B pode exigir pelo menos uma equipe de mais de dez pessoas, e o desenvolvimento levará cerca de três meses. Dessa forma, mesmo o desenvolvimento de um modelo pequeno requer um investimento considerável. Qual é a relação entrada-saída aproximada do desenvolvimento de um modelo grande? Como resolver riscos regulatórios e questões de segurança? ***
Jia Haowen: Para avaliar a relação entrada-saída, é necessário considerar cenários de negócios específicos e necessidades. Para as indústrias tradicionais de redação, publicidade e cinema e televisão, como geração de roteiro criativo, o AIGC e outros modelos grandes podem gerar rapidamente uma grande quantidade de material. Embora a confiabilidade possa faltar, pode melhorar significativamente a eficiência da produção. Para essas tarefas de produção criativa , a taxa de entrada A saída pode ser muito econômica. No entanto, para outros campos, como geração de conhecimento jurídico, análise de caso, análise de apólice de seguro, etc., porque os resultados de saída podem não ser perfeitos, é necessário investir muitos recursos humanos e passar por várias rodadas de ajuste de modelo para alcançar um saída mais ideal. Portanto, a relação entrada-saída pode ser maior.
Quanto à supervisão, também precisamos considerar as políticas regulatórias recentemente introduzidas relacionadas à geração profunda. Envolve principalmente vários aspectos. Antes de mais nada, precisamos prestar atenção se isso infringirá a propriedade intelectual ou os direitos autorais de compositores, escritores, pintores etc., e se é fácil gerar informações falsas. Em termos de regulamentação dos resultados gerados, é necessário garantir mecanismos de suporte à revisão e gestão de conteúdos para garantir que os textos e imagens gerados não violem os direitos de propriedade intelectual. Ao mesmo tempo, para as indústrias tradicionais, conformidade e controle de risco também são considerações importantes. À medida que os experimentos se desenvolvem, uma cadeia industrial de modelos grandes pode se formar, com alguns trabalhando em meios de produção para geração de modelos grandes e outros trabalhando em medidas para evitar a geração descontrolada de modelos grandes. O estabelecimento desta correspondência será iterado ao longo do tempo, a fim de alcançar um bom equilíbrio entre a geração e a supervisão de grandes modelos no âmbito das leis, regulamentos e ética.
***Xu Wenhao: Não teremos apenas empresas de IA, mas também empresas de segurança de IA, assim como existem muitas empresas de segurança na Internet. Gostaria de pedir a opinião do professor Wang Suwen sobre questões de segurança e supervisão de IA. ***
Wang Suwen: Em primeiro lugar, quando estamos treinando modelos de domínio ou modelos grandes, a conformidade e a legalidade dos dados são muito importantes. Devemos obter os dados por meio de canais formais e garantir a segurança e a confidencialidade dos dados.
Em segundo lugar, quando conduzimos treinamento de modelo de domínio para clientes, devemos garantir a segurança e a conformidade dos dados dentro da empresa, e os dados entre diferentes empresas devem ser isolados e não podem ser reutilizados ou usados em treinamento à vontade. Além disso, ao treinar modelos de domínio para clientes, também precisamos realizar ajustes e alinhamentos para garantir que os modelos de saída atendam aos requisitos de conformidade.
Do ponto de vista regulatório, os departamentos governamentais precisam de conhecimento especializado interdisciplinar e multicampo ao formular estruturas regulatórias. Cooperamos com a Academy of Information Technology para estabelecer em conjunto uma estrutura regulatória sólida e conduzir uma cooperação profunda com ela. Também estamos realizando certificação de segurança com a Academia de Ciência e Tecnologia para garantir que nossos modelos grandes sejam rigorosamente testados e verificados.
Somente através da cooperação do governo, especialistas e empresas podemos promover o desenvolvimento saudável do AIGC, atender às necessidades do usuário e garantir o uso seguro de modelos grandes.
No campo do atendimento inteligente ao cliente, quais são as principais barreiras para as empresas?
***Xu Wenhao: No campo do atendimento ao cliente inteligente, todos estão fazendo várias rodadas de diálogo e análise de sentimentos, então quais são as principais barreiras da empresa? ***
Wang Chao: Para o setor de atendimento ao cliente inteligente, o problema de homogeneização está intimamente relacionado à meta de adquirir atendimento ao cliente inteligente e ao ROI esperado. No JD.com, ao criar um atendimento ao cliente inteligente, as empresas devem dividir seus objetivos de desenvolvimento em três estágios: primário, intermediário e alto (ou maduro). Se o objetivo do cliente ainda estiver em sua infância, ou seja, apenas perguntas e respostas simples e funções de consulta, as necessidades de compra de atendimento ao cliente inteligente podem ser semelhantes. Neste caso, o grau de homogeneidade pode ser maior. No entanto, se as necessidades do cliente estiverem posicionadas em um nível mais alto, como fornecer serviços proativos, acompanhamento completo e serviços de cenário completo, é necessário considerar se o provedor inteligente de atendimento ao cliente possui uma metodologia operacional correspondente e os serviços completos relacionados. sistema de ferramentas operacionais. Com base nessa lógica, acho que uma das principais barreiras da geração atual de produtos inteligentes de atendimento ao cliente é se o fornecedor possui experiência complexa e madura em projetos de robôs e uma rica experiência em operação.
Outro ponto importante é se uma empresa inteligente de atendimento ao cliente pode fornecer metodologia operacional de planejamento e orientação de longo prazo, bem como sistemas de ferramentas operacionais de suporte relacionados, além de fornecer produtos e tecnologias relevantes. Ao mesmo tempo, podemos ajudar os clientes a construir um escalão de talentos e fornecer serviços de treinamento. Esses fatores são muito importantes na atual geração de bots.
Quanto ao futuro, os modelos grandes serão uma barreira importante. Para o produto que você mencionou, se diferentes tipos de modelos grandes podem ser efetivamente integrados aos recursos originais do produto será um fator chave. Ao mesmo tempo, a capacidade de desenvolver grandes modelos também se tornará uma vantagem competitiva única.
***Xu Wenhao: Acredito que toda empresa sentirá que possui vantagens exclusivas em atendimento inteligente ao cliente ou produtos similares. Sr. Jia, no que diz respeito aos produtos de sua empresa, onde estão suas barreiras? ***
**Jia Haowen:**Do atendimento ao cliente tradicional ao modelo de atendimento ao cliente em larga escala, todo o processo pode ser considerado uma barreira à concorrência. Embora não possamos competir com grandes empresas em termos de poder de computação e volume de dados, podemos competir em campos interdisciplinares, como a aplicação do conhecimento psicológico no treinamento de modelos em larga escala e a interseção da inteligência cognitiva e aplicações de modelo em grande escala. Tenha uma vantagem de pioneirismo. Para outras empresas, elas também podem combinar características próprias para se destacar no processo de atendimento e treinamento cada vez mais homogêneo de grandes modelos.
Wang Suwen: Na verdade, esse problema se resume a dois pontos principais: Empresas inteligentes de atendimento ao cliente precisam considerar como obter lucros e aumentar as margens de lucro bruto. Para conseguir isso, há dois aspectos a serem focados primeiro. Primeiro, você precisa fornecer atendimento ao cliente inteligente de alta qualidade para satisfazer os clientes, para que sua empresa possa se desenvolver por um longo tempo. Portanto, é muito importante prestar atenção ao efeito do produto, incluindo a melhoria da potência do produto e do efeito inteligente, de modo a melhorar a experiência e a satisfação do usuário. Em segundo lugar, concentre-se em melhorar a eficiência, considere a questão da relação entrada-saída, reduza custos e aumente a margem de lucro bruto do projeto. A melhoria da entrega do projeto e eficiência operacional é a chave, e a satisfação do produto, implantação e eficiência de implementação e integração rápida com sistemas de negócios do cliente e encaixe de conteúdo operacional devem ser considerados. Você precisa ter uma metodologia de entrega completa e ferramentas operacionais para melhorar a margem de lucro bruto do projeto, a fim de obter rentabilidade e manter o desenvolvimento sustentável.
As empresas inteligentes de atendimento ao cliente podem ser divididas em duas categorias, uma de fabricantes profissionais em campos verticais e a outra de fabricantes de uso geral. Fornecedores inteligentes de atendimento ao cliente em campos verticais concentram-se em áreas específicas, como comércio eletrônico ou seguros. Suas vantagens e barreiras estão no foco da indústria, otimização contínua de mapas e dados de conhecimento da indústria e fornecimento de soluções especiais e competitividade central. Zhongguancun Kejin é um provedor de soluções de IA conversacional. Nosso foco é finanças, assuntos governamentais, varejo e outros setores. Fornecemos serviços para mais de 900 líderes do setor e acumulamos um rico conhecimento do setor. Também planejamos lançar modelos de domínio de uso geral e de grande escala e atualizar produtos como atendimento inteligente ao cliente, robôs de chamadas de saída, sparring e assistentes de inspeção de qualidade, integrando mecanismos de diálogo para aumentar nossa competitividade no setor.
Em segundo lugar, melhorar a entrega e a eficiência operacional também é fundamental. A satisfação com o produto é crucial para reduzir os custos de entrega do projeto, e a implantação e implementação eficientes, bem como a rápida integração com os sistemas de negócios do cliente e o encaixe de conteúdo operacional, melhorarão a eficiência operacional. Você precisa ter um conjunto de metodologia de entrega e ferramentas operacionais para garantir a margem máxima de lucro bruto do projeto. Isso permitirá que você seja lucrativo e sustentável a longo prazo.
*O AIGC substituirá completamente a equipe tradicional de atendimento ao cliente? *
***Xu Wenhao: Os três professores mencionaram três barreiras principais: a primeira é focar em campos verticais, a segunda é buscar diferenciação no nível do produto e a terceira é o design interdisciplinar. Essas medidas ajudarão as empresas a se destacarem em um mercado altamente competitivo e a fornecer valor exclusivo aos clientes. Portanto, a última pergunta de hoje, use uma linguagem simples para imaginar o futuro desenvolvimento do AIGC neste campo. O AIGC substituirá completamente o pessoal tradicional de atendimento ao cliente? ***
Wang Chao: Como praticante, estou otimista sobre as perspectivas do AIGC, e a questão da substituição envolve diferentes perspectivas. Um ponto de vista é da perspectiva do mercado de ações e acredita que o espaço de mercado do setor de atendimento ao cliente é limitado, portanto, o AIGC pode substituir a mão de obra tradicional. No entanto, prefiro pensar nisso de uma perspectiva incremental.
Em primeiro lugar, o atendimento ao cliente inteligente ainda precisa de suporte operacional humano, e as operadoras ainda desempenham um papel importante no processo de transformação do atendimento ao cliente tradicional para o atendimento ao cliente inteligente. Em segundo lugar, o modo de operação futuro pode mudar e a cooperação entre o atendimento ao cliente inteligente e o pessoal de operação manual formará um novo modo de operação. Neste modelo, um pequeno número de operadoras pode transportar robôs inteligentes de atendimento ao cliente para fornecer serviços 24 horas de alta qualidade a um custo menor, o que permitirá que mais pequenas e microempresas forneçam atendimento ao cliente de novas maneiras e expandam o tamanho do mercado. Em suma, do ponto de vista incremental, o atendimento inteligente não substituirá totalmente o atendimento tradicional, mas o complementará, trazendo novas oportunidades e espaço para desenvolvimento ao mercado.
Wang Suwen: Num futuro próximo, o atendimento humano ao cliente não será totalmente substituído, porque eles têm vantagens únicas em lidar com questões complexas, emocionais e de pensamento. Especialmente ao lidar com clientes de alto valor, clientes em potencial e melhorar as taxas de conversão de clientes, o atendimento humano ao cliente ainda desempenha um papel importante. Devido ao alto custo de aquisição de clientes, ainda é a esperança de muitas empresas acompanhar e garantir a transação com eficiência por meio do atendimento humano. Portanto, a relação entre atendimento ao cliente humano e atendimento ao cliente inteligente é mais um modelo de cooperação que se combina. As empresas precisam considerar as vantagens do atendimento humano ao cliente e do atendimento inteligente ao cliente de acordo com suas próprias condições e formular o melhor modelo de atendimento ao cliente.
No geral, acho que o futuro espaço de desenvolvimento do AIGC é amplo e toda a indústria também viu isso. Nos próximos dois a três anos, AIGC e tecnologias como ChatGPT se desenvolverão em alta velocidade e promoverão a atualização de todo o setor de serviços corporativos. Tanto a Internet quanto os setores de serviços corporativos passarão por atualizações e mudanças em grande escala, incluindo a melhoria das instalações de suporte. Atualmente, ainda existem alguns problemas no AIGC, como qualidade de conteúdo, custo de investimento, segurança de dados e direitos autorais. Portanto, ainda precisamos de mais desenvolvimento de longo prazo, incluindo a exploração de métodos de modelagem mais sofisticados e eficazes, para melhorar esses problemas. Acredito que com o avanço da tecnologia, o espaço de desenvolvimento de grandes modelos será infinitamente amplo.
**Jia Haowen: **De fato, não devemos colocar muita ênfase na substituição, mas focar nas mudanças nos modelos de trabalho e negócios que ocorrerão no futuro. No processo de promoção de negócios, precisamos medir a proporção de entrada para saída, especialmente na promoção do atendimento ao cliente, precisamos considerar a segurança da privacidade dos dados do usuário, conformidade com leis e regulamentos e cenários cruzados e cruzados serviços antropomórficos da indústria. Modelos grandes podem agregar alto valor ao pessoal tradicional de atendimento ao cliente.Eles trarão mudanças qualitativas, mas não significam substituir o atendimento humano ao cliente. No geral, embora o modelo grande tenha alguns problemas no momento, ele tem grandes perspectivas no futuro. Em termos mais literários, o desenvolvimento de grandes modelos passará de um sonho a uma realidade em um futuro próximo, e em breve poderemos experimentá-lo nós mesmos.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Como a AIGC iniciou uma "nova revolução" no atendimento inteligente ao cliente
Fonte: infoq
Autor: Li Dongmei
Combinado com a lógica técnica subjacente do ChatGPT, existem aproximadamente quatro direções para a industrialização do ChatGPT no curto e médio prazo no futuro: atendimento ao cliente inteligente, aplicativos AIGC em modo de texto, trabalho relacionado ao desenvolvimento de código e geração de imagens. Dentre eles, o projeto mais indicado para implantação direta é o trabalho de atendimento inteligente.
O atendimento ao cliente inteligente baseado na tecnologia de modelo grande está mudando fundamentalmente o processo tradicional de interação humano-computador. O modelo grande gera automaticamente o processo de diálogo para tornar a operação do atendimento ao cliente inteligente mais eficiente, o que pode melhorar a taxa de resolução de problemas complexos, percepção e intenção da interação humano-computador A eficiência do conteúdo operacional, como compreensão, construção de processos e geração de conhecimento.
Apenas da perspectiva da taxa de penetração do produto, o atendimento inteligente ao cliente foi gradualmente popularizado no comércio eletrônico, finanças e outros campos nos últimos sete ou oito anos. As duas principais mudanças trazidas pelo modelo grande, uma é que o custo de desenvolvimento de produtos inteligentes de atendimento ao cliente foi bastante reduzido e a outra é a melhoria da experiência do usuário.
Portanto, se você deseja combinar o modelo de linguagem grande LLM com produtos inteligentes de atendimento ao cliente ou colocar o primeiro no campo do software de aplicativo ToB SaaS, como deve começar a construir uma pilha de tecnologia? Como os modelos de produtos em grande escala fortalecerão os produtos inteligentes de atendimento ao cliente? Nesta edição de "A Date with Geeks", convidamos especialmente Xu Wenhao, fundador da bothub, fundador e CTO da Buqituo Network Technology, como moderador, e Jia Haowen, diretor de tecnologia de computação da Huayuan e co- chefe do departamento de negócios humanos digitais e Zhongguancun Kejin Wang Suwen, diretor de pesquisa e desenvolvimento de interação inteligente, chefe da equipe técnica de atendimento ao cliente inteligente Zhongguancun Kejin e Wang Chao, chefe do produto JD Yunyanxi KA, discutiram a implementação e a tendência de desenvolvimento futuro da AIGC em produtos inteligentes de atendimento ao cliente.
A seguir, a transcrição da entrevista.
Wang Chao: O surgimento do AIGC despertou uma preocupação generalizada em todo o campo de atendimento ao cliente inteligente e levou colegas relevantes a realizar muita exploração. Em relação à cognição e às mudanças futuras do atendimento inteligente ao cliente, essas mudanças cognitivas estão mudando a cada dia que passa.
A equipe JD Cloud Yanxi tem prestado muita atenção ao progresso dos aplicativos inteligentes de atendimento ao cliente no país e no exterior. Além disso, o modelo em grande escala Yanxi que estamos desenvolvendo será lançado em julho e também continuamos a conduzir vários experimentos de modelo em grande escala no setor de atendimento ao cliente. Nos últimos meses, minha compreensão pessoal da AIGC tem sido completamente diferente daquela de 3 meses atrás, então as opiniões que quero compartilhar hoje representam opiniões mais pessoais e atuais.
O impacto do AIGC no atendimento inteligente ao cliente pode ser visto em dois níveis. Primeiro, do ponto de vista dos problemas comuns de gerenciamento e dificuldades técnicas em nosso setor, o AIGC tem potencial para resolvê-los. Todos sabemos que modelos grandes irão melhorar muito o nível de resposta, o antropomorfismo e a experiência de serviço do atendimento ao cliente inteligente e podem reduzir bastante os custos operacionais.
Em termos de robótica, acho que não precisa ser muito discutido, porque já focamos muita atenção em robôs. O que quero dizer é que o modelo grande é usado em uma ampla gama de campos de atendimento ao cliente inteligente, especialmente as informações de verificação na direção do gerenciamento de atendimento ao cliente inteligente. Por exemplo, em nossa prática de atendimento inteligente, algumas tecnologias anteriores recomendaram alguns pontos-chave e extraíram informações-chave em conversas.Embora existam soluções, geralmente é difícil conseguir um bom equilíbrio entre custo e efeito. Porém, através da verificação do modelo grande, verificamos que ele possui boa resolutividade e potencial para lidar com esses problemas. Além disso, para o trabalho de inspeção de qualidade, métodos como regularização de palavras-chave ou métodos inteligentes de inspeção de qualidade comumente usados na indústria têm certos efeitos, mas a taxa de precisão geralmente é baixa, a carga de trabalho também é pesada e o período para melhorar a taxa de precisão é longo. .
No entanto, praticando com modelos grandes, descobrimos que ele funciona bem para entender os critérios abstratos de controle de qualidade e realizar o trabalho de controle de qualidade. Além disso, em termos de treinamento de funcionários, vimos alguns exemplos de bancos líderes que introduziram robôs de diálogo para treinamento. Além do exposto, também realizamos análises de negócios no centro de atendimento ao cliente e precisamos resumir as informações sobre as necessidades do cliente, retratos do cliente e riscos na consulta ao cliente.No experimento, o efeito do modelo grande também é muito bom. Acho que no campo do atendimento ao cliente pan-smart, o potencial de aplicação de modelos grandes é enorme. Acreditamos que em cerca de meio ano, os principais produtos do mercado darão início a uma atualização importante.
Com base no que é atualmente entendido sobre o setor e o domínio, podemos explorar se o domínio mais amplo está prestes a mudar. Por exemplo, que mudanças ele pode trazer para o atendimento ao cliente e atendimento ao cliente? Acho que essa questão poderia ser mais desafiadora e, nesse estágio, ninguém consegue apontar mudanças específicas. Mas acreditamos que fará uma grande diferença, pelo menos em algumas direções, como serviços proativos. Por exemplo, as empresas de comércio eletrônico geralmente realizam várias atividades, e o trabalho de promover e explicar as atividades geralmente não recai sobre o centro de atendimento ao cliente. Porque é muito difícil realizar uma gama tão ampla de atividades por métodos manuais ou máquinas tradicionais. Mas podemos imaginar um futuro em que nosso atendimento ao cliente possa explicar bem muitas atividades por meio da introdução de um grande modelo e da entrada de informações básicas, o que representa o possível potencial do futuro atendimento ao cliente em termos de transformação ativa e atualização.
Wang Suwen: Conforme mencionado há pouco, o escopo do atendimento inteligente ao cliente é muito amplo. Tecnologias como atendimento inteligente ao cliente e robôs podem realmente mudar o processo tradicional de interação humano-computador. Através do uso de modelos grandes, especialmente o uso de geração automática de processos de diálogo, a operação do atendimento ao cliente inteligente tradicional pode se tornar mais eficiente. Na maneira tradicional, geralmente precisamos configurar a base de conhecimento manualmente, mas o efeito não é óbvio. No entanto, a capacidade de resolver problemas complexos e a taxa de resposta direta das perguntas podem ser melhoradas diretamente por meio da geração automática de processos de diálogo por meio de grandes modelos, o que é um impacto disruptivo significativo.
O segundo ponto é que modelos grandes também podem atingir os objetivos de reduzir custos e melhorar a eficiência. Do ponto de vista da inteligência, os custos de mão de obra sempre foram relativamente altos, porque requer máquinas assistidas por humanos. Através da aplicação de grandes modelos, pode auxiliar na melhoria da eficiência da construção e operação da base de conhecimento, obtendo assim um efeito significativo de redução de custos e aumento de eficiência.
O terceiro ponto é sobre o antropomorfismo e a experiência do usuário do robô. Os robôs tradicionais geralmente ficam aquém dessas formas. No entanto, o surgimento de grandes modelos torna o diálogo mais suave, mais antropomórfico e mais parecido com a comunicação entre humanos. Este é um efeito perturbador muito poderoso.
Obviamente, para atendimento geral ao cliente, incluindo inspeção de qualidade, assistentes e sparring, o modelo grande também terá um impacto subversivo correspondente e produtos diferentes terão impactos diferentes.
**Jia Haowen:**Antes de responder a esta pergunta, gostaria de voltar ao campo do atendimento inteligente ao cliente. O desenvolvimento do atendimento inteligente ao cliente remonta à história da inteligência artificial, baseada no acúmulo de linguagem. Lembro-me de que, cerca de dez anos atrás, havia vários andares cheios de pessoas de atendimento ao cliente que passavam a maior parte de suas horas de trabalho resolvendo os problemas dos usuários. Naquela época, mesmo as ferramentas como a base de conhecimento mencionada pelos dois professores não eram muito completas.
Olhando para trás agora, o Alipay e outros produtos de atendimento ao cliente se expandiram gradualmente da base de conhecimento inicial para assistentes seniores posteriores e ferramentas derivadas, como a estrutura Rasa para simular várias rodadas de cenários de diálogo. No entanto, como os dois professores disseram há pouco, todos esses diálogos ainda carecem de personificação. Todas as ferramentas anteriores de atendimento ao cliente basicamente falharam nos testes padrão da indústria de computadores. Mas quando grandes modelos aparecem, especialmente coisas como ChatGPT ou Vicuna, elas têm um nível de personalidade, embora talvez no nível de uma criança de 10 ou 11 anos. De certa forma, eles são capazes de passar no teste de Turing.
Agora, voltando à sua pergunta anterior, a combinação de atendimento inteligente e humano digital trará algumas inovações. No estágio inicial do campo humano digital, perguntas e respostas antropomórficas com humanos baseadas em bases de conhecimento e grandes modelos não podem ser concluídas em tempo real. No entanto, com a expansão da tecnologia, conseguimos alcançar figuras antropomórficas, combinadas com grandes modelos para simular cenas reais. Quando o aplicamos a cenários como bases de conhecimento, atendimento ao cliente e funcionários digitais, o campo dos humanos digitais pode enfrentar dois desafios. A primeira é a integridade dos dados. Embora ChatGPT e similares pareçam legais, eles são essencialmente gerados com base em dados históricos anteriores, semelhantes à geração de cloze. Embora essa abordagem aumente a eficiência e reduza os custos de script, a qualidade do conteúdo gerado é praticamente incontrolável. No conteúdo de saída de campos abrangentes, como atendimento ao cliente digital humano e inteligente, não podemos ter certeza absoluta do conteúdo gerado. Portanto, podemos precisar introduzir diferentes verificações e salvaguardas para garantir que o que um humano digital ou ChatGPT etc. diz seja mais como um humano falando do que sem sentido.
Resumindo, embora o modelo grande possa ser relativamente popular agora e as perspectivas futuras também sejam brilhantes, ele ainda está em um estado de 0 a 1 no estágio atual. No futuro, podemos esperar que ela se torne uma árvore imponente, mas agora, seja para toda a indústria ou para as expectativas de todos, ainda é necessário deixá-la crescer gradualmente em um solo melhor e realmente poder fornecer atendimento ao cliente inteligente. , Trazer melhorias de eficiência para campos como humanos digitais.
Jia Haowen: A introdução de um modelo grande depende de cenários de negócios específicos e das necessidades do usuário. Para grandes empresas como Ant Financial ou JD.com com sistemas grandes e maduros, a introdução cega de um modelo grande pode aumentar os custos adicionais. Precisamos tomar algumas medidas de compatibilidade para evitar a incerteza causada pelo conteúdo gerado por IA. Para empresas menores, usar grandes modelos como complemento à sua base de conhecimento, com algum nível de revisão humana, pode ser uma boa maneira de aumentar a eficiência. Ele pode ajudar o atendimento ao cliente inteligente a entender melhor a semântica do usuário, melhorar a qualidade da base de conhecimento e até melhorar a experiência do usuário. Além disso, para aplicativos de alto nível, como inteligência cognitiva, a introdução de modelos grandes pode ajudar a entender e reconhecer melhor os usuários. Na indústria da Internet, existe um conceito importante chamado "milhares de pessoas, milhares de rostos", o que significa que cada atendimento ao cliente pode fornecer serviços personalizados. Portanto, precisamos analisar se devemos introduzir um grande modelo do ponto de vista dialético e tomar decisões com base em circunstâncias específicas.
**Wang Chao: **Para grandes empresas, aplicar modelos grandes com cautela em produtos C-end é uma questão de garantir a experiência do cliente e a segurança do serviço. Em um negócio voltado para o consumidor, o cuidado é fundamental. Nesse sentido, tanto a validação quanto a experimentação estão ocorrendo com muito cuidado.
No campo de negócios ou orientado para a operação, você é mais "corajoso" na experimentação e verificação. Apresentamos modelos de grande escala para ajudar as operações a criar direitos autorais e scripts, o que fornece um bom suporte para as operações resolverem problemas de criatividade e eficiência. Além disso, também é muito atuante na direção da gestão de funcionários, como inspeção de qualidade, assistência e treinamento.
O modelo grande é "apenas necessário" ou "segue a tendência"?
Wang Chao: Ainda não fizemos cálculos específicos sobre esse problema, porque a aplicação de grandes modelos se comporta de maneira diferente em diferentes projetos de trabalho. Por exemplo, pode ser várias vezes mais rápido na geração de scripts e direitos autorais. No entanto, em termos de análise diária e construção de inspeção de qualidade, o efeito pode variar de caso para caso. Portanto, no estágio atual, é difícil quantificar e tirar uma conclusão precisa, mas temos certeza de que a aplicação de grandes modelos realmente melhorou a eficiência.
Wang Suwen: Em nosso campo de negócios, visamos principalmente o mercado ToB e atendemos clientes em vários campos, como os setores financeiro e de seguros. Estes clientes têm várias necessidades em termos de inovação, incluindo incentivos para reduzir custos e melhorar a eficiência. Realizamos alguma cooperação de co-criação com clientes e os verificamos. Por exemplo, criamos um assistente de marketing para um cliente que gera automaticamente alguma cópia. Tradicionalmente, o nível de cada funcionário é desigual, inclusive pela falta de padronização e unidade em termos de habilidades de marketing. Por meio de nosso assistente de marketing, podemos primeiro ajudá-los a gerar uma cópia unificada e copiá-la com base na excelente experiência da história. A segunda é reduzir custos e melhorar a eficiência, pois eles não precisam mais gastar muito tempo com treinamento, aprendizado e memória. Nossos modelos grandes são amplamente utilizados na indústria.
Também desenvolvemos bots de telemarketing que podem responder diretamente a algumas perguntas. Obviamente, temos que levar em consideração as questões de conformidade, incluindo o cumprimento das leis relevantes e a proteção da segurança dos dados. Estamos trabalhando com o Instituto Xinchuang para resolver esses problemas de padronização.
Wang Chao: Impulsionado pela onda da digitalização, é mais fácil para as instituições financeiras realizar a implementação do atendimento inteligente ao cliente. Na área financeira, o atendimento inteligente tem sido amplamente utilizado e se tornou um dos produtos mais comuns das instituições financeiras. Para as instituições financeiras, as principais necessidades do atendimento inteligente ao cliente são principalmente reduzir custos e melhorar a eficiência, o que pode liberar os recursos humanos do trabalho tedioso. Especialmente em cenários de negócios, como perguntas e respostas automáticas, notificação e visitas de retorno para algumas perguntas de alta frequência, o atendimento ao cliente inteligente pode economizar recursos humanos e permitir que eles se concentrem em um trabalho mais profissional e criativo, em vez de um trabalho repetitivo, frequente e de baixo valor . Deixe que eles tenham recursos para investir no desenvolvimento e manutenção de clientes de alto patrimônio líquido e se concentrem mais na execução de tarefas mais valiosas. Além disso, com uma nova geração de avanços básicos, como o surgimento de modelos grandes, o atendimento ao cliente inteligente também pode obter recursos poderosos de geração de linguagem natural, tornando-o mais inteligente e eficiente.
**Jia Haowen: **Além da área financeira, também há demanda por grandes modelos em áreas verticais como seguros, direito e saúde. Principalmente do ponto de vista corporativo, a necessidade de gerar e extrair conhecimento é cada vez mais evidente. Quando conversamos com bancos ou seguradoras ou discutimos questões com advogados, as informações que eles fornecem são de natureza factual. Por meio do modelo grande, podemos identificar melhor a intenção da pergunta do usuário e realizar agrupamento ou divisão.
Como disse o Sr. Wang Su, setores como finanças, seguros e direito têm grande potencial para melhorar a eficiência, um processo de redução de custos e melhoria da eficiência. Do meu ponto de vista pessoal, essa é uma necessidade rígida, principalmente em termos de eficiência. No entanto, essas indústrias podem não adotar uma abordagem excessivamente agressiva, pois os negócios relacionados a finanças, seguros e direito são altamente sensíveis e exigem um forte grau de especialização. Nesse sentido, surge outra questão, que é a avaliação da maturidade dos resultados gerados pelos grandes modelos. Embora modelos grandes como o GPT-4 tenham um bom desempenho em alguns exames profissionais nos Estados Unidos, ainda é um problema se eles podem passar nos exames correspondentes na China, especialmente em um contexto semântico grande e complexo como o chinês, que pode exigir mais pesquisas. Pesquisar. Nesse sentido, nossa empresa planeja cooperar com a Universidade de Zhejiang em julho para lançar um grande modelo do campo jurídico vertical para fornecer melhores soluções para esse campo específico.
Wang Chao: Acho que, seja no comércio eletrônico ou no setor financeiro, os requisitos para atendimento inteligente ao cliente são muito rígidos. Além disso, para o atendimento ao cliente inteligente de comércio eletrônico, o grande período de promoção e a consulta diária são muito impressionantes. No negócio autônomo da nossa equipe no JD.com, o volume diário de consultas representa 70% e 90% no período de pico. Esses 70% do volume de consultas já são de grande valia. Acredito que essa lógica também se aplica a várias instituições como bancos. Também notamos que os recursos inteligentes de atendimento ao cliente de alguns bancos ainda são insuficientes. Portanto, precisamos pensar em como melhorar a maturidade do atendimento inteligente ao cliente, e ele precisa se adaptar ao estágio de desenvolvimento da empresa ou banco. Atualmente, muitos bancos estão no estágio inicial de atendimento inteligente ao cliente, concentrando-se principalmente em perguntas frequentes e na construção simples de diálogos multi-rodados, enquanto os recursos de serviço e a experiência do usuário ainda não atingiram um nível satisfatório.
Com base em nossa experiência na área de comércio eletrônico, acreditamos que o atendimento inteligente do banco precisa ser mais desenvolvido, principalmente no sistema operacional, que precisa ser bastante atualizado. Por exemplo, exigimos que o atendimento ao cliente de base esteja próximo a níveis artificiais em termos de padrões e habilidades de serviço, o que tem um grande impacto na reforma de nosso sistema operacional. No entanto, no processo de cooperação com os bancos, descobrimos que muitos bancos enfrentam desafios na construção de um atendimento inteligente ao cliente. A cooperação entre fornecedores de tecnologia e bancos é mais parecida com a relação entre a Parte B e a Parte A, que é diferente do nosso modelo de cooperação. Ainda existe uma lacuna entre os bancos e nossas exigências em termos de estrutura organizacional e treinamento de pessoal. Conversamos com muitos de nossos parceiros bancários e achamos comum que eles concordassem com nossa metodologia de desenvolvimento, mas também achassem difícil. Levar adiante reformas internas é complexo para os bancos e exige mais esforço. Acredito que o modelo grande é uma oportunidade, pois pode reduzir a dificuldade operacional do atendimento inteligente e simplificar a estrutura organizacional, estou ansioso por isso.
Wang Suwen: Acho que pode ser discutido sob três aspectos: personificação, humanização e individualização.
A primeira é o antropomorfismo. No campo do atendimento inteligente ao cliente, o antropomorfismo sempre foi um ponto problemático, porque o desempenho dos robôs tradicionais nessa área precisa ser melhorado. Temos explorado como construir interações antropomórficas de diálogo. Isso envolve como projetar diálogos situacionais, como desmontar problemas, como herdar o contexto e como entender várias rodadas de diálogo. No geral, esperamos que os bots possam fornecer modos de conversa e interação mais relevantes e naturais.
Seguido por serviços humanos. Com base na identificação precisa da cena ou intenção, também precisamos melhorar ainda mais o serviço com base no antropomorfismo. Acho que a computação afetiva multimodal é uma maneira eficaz de atingir esse objetivo. Por exemplo, nossa empresa desenvolveu um atendimento ao cliente humano digital virtual, que pode conduzir diálogos interativos humano-computador, combinados com computação emocional, e reconhecer expressões emocionais do usuário por meio de métodos multimídia, como vídeo, voz e texto. Dessa forma, o atendimento inteligente ao cliente pode fornecer feedback emocional correspondente aos usuários, criar interação humano-computador com compreensão e cordialidade emocional e realizar serviços mais humanizados. Em termos de computação afetiva, os métodos tradicionais têm dois modos: regras e aprendizado de máquina. Por meio do aprendizado de máquina, podemos treinar modelos para aprender automaticamente estados emocionais e atingir padrões de classificação, para melhor se adaptar a diferentes campos e contextos. Dessa forma, podem-se obter melhores efeitos de expressão emocional e prestar serviços mais humanizados.
Por fim, há o atendimento personalizado. Precisamos implementar serviços personalizados com base no retrato do usuário para obter o efeito de "milhares de pessoas com milhares de rostos". Por exemplo, desenvolvemos uma plataforma de percepção do usuário, que pode marcar usuários e acumular retratos por meio de informações básicas de retrato do usuário e análise de percepção durante conversas históricas. No diálogo de acompanhamento, podemos fornecer diferentes processos de diálogo, métodos de resposta e recomendações de acordo com o retrato do usuário, de modo a obter serviços personalizados mais precisos e melhorar a satisfação dos usuários e empresas.
Wang Chao: Fizemos muitos investimentos para melhorar a experiência e o atendimento personalizado. O atendimento ao cliente com inteligência emocional desenvolvido pela equipe Yanxi é o primeiro atendimento ao cliente com inteligência emocional comercial em larga escala do setor. Desde 2018, introduzimos a capacidade de reconhecimento e resposta de emoções na capacidade de resposta do robô. Esta tecnologia não é utilizada apenas na área de atendimento ao cliente, mas também em serviços de inspeção de qualidade e gestão de pessoal.
Responder a esta pergunta envolve dois aspectos. A primeira direção é a tecnologia, como tecnologias de ponta, como o diálogo multi-round, que são as principais direções de desenvolvimento da atual tecnologia inteligente de atendimento ao cliente. Outra direção importante é a operação, ou seja, como conduzir o desmantelamento detalhado da cena, analisar as diferenças homem-máquina e realizar a descoberta automatizada de problemas e a comparação das diferenças de serviço homem-máquina por meio de monitoramento e sistemas de ferramentas por meio de benchmarking com atendimento humano ao cliente. Dessa forma, gradualmente realizamos uma análise refinada da experiência de serviço da multidão a partir da análise geral da diferença da experiência geral e da experiência do serviço da multidão. Com esse sistema, podemos continuar a otimizar a experiência geral do serviço e, finalmente, realizar a cobertura do serviço de máquina do atual volume diário de recepção de máquina da JD.com de 70% e 90% durante o período da promoção.
**Jia Haowen:**O tema da transmissão ao vivo desta noite é sobre a compreensão do atendimento ao cliente humano digital e modelos grandes. Nossa compreensão do atendimento ao cliente tradicional, seja atendimento ao cliente manual ou FAQ, pode ser considerada como atendimento ao cliente inteligente de baixo custo. Como usuários, esperamos que o atendimento ao cliente seja competente e capaz de fornecer assistência na solução de problemas. Ao mesmo tempo, se o atendimento ao cliente puder apresentar características antropomórficas e oferecer serviços personalizados, a experiência do usuário será melhor.
No campo dos grandes modelos, o antropomorfismo e a personificação são muito importantes. Nossa empresa está mais inclinada para a direção de pesquisa de inteligência cognitiva e psicologia. Nós nos concentramos em como obter rapidamente as tags psicológicas dos usuários e julgar os usuários de uma perspectiva psicológica, a fim de fornecer melhores serviços. Podemos imaginar uma cena, como Jarvis no filme da Marvel "Homem de Ferro". Seria um estado ideal se a grande modelo do futuro pudesse ser como um assistente que pudesse dar as respostas e recomendações mais adequadas de acordo com nosso humor e preferências naquele dia.
Atualmente, ainda estamos na fase preliminar da pesquisa sobre a combinação de grandes modelos e humanos digitais. No entanto, com o surgimento de resultados de pesquisas acadêmicas no campo da multimodalidade, alguns produtos de experiência melhores e de menor custo podem surgir.
Jia Haowen: Se quisermos construir um sistema de diálogo de alta qualidade, na verdade isso envolve a questão da aprovação tradicional de projetos de Internet. Nesse processo, precisamos considerar a seleção da arquitetura do produto de negócios, arquitetura técnica e a forma de aterrissagem real do produto. Ao mesmo tempo, também precisamos levar em consideração que muitas grandes empresas ou empresas de médio porte já possuem muitos produtos de atendimento ao cliente existentes. Se quisermos melhorar os recursos desses produtos existentes de atendimento ao cliente por meio de modelos grandes, talvez seja necessário adotar uma abordagem mais conservadora. Por exemplo, modelos grandes podem ser usados como uma ferramenta de base de conhecimento externa para fornecer entrada de conhecimento. Voltando ao aspecto arquitetônico que acabamos de mencionar, tanto a arquitetura do produto quanto a seleção de ferramentas são considerações importantes. Para o ponto de entrada inicial, ferramentas como sistemas de marcação de palavras-chave e expressões regulares tradicionais podem estar envolvidas. Porém, não existe um paradigma padrão geral para a escolha específica desse paradigma, pois está relacionado às características de cada negócio.
Jia Haowen: Se restringirmos o escopo do problema e nos concentrarmos em fornecer uma saída de conteúdo de atendimento ao cliente inteligente mais eficiente e de alta qualidade, poderemos considerar o modelo grande como um serviço de diálogo aprimorado. Em produtos inteligentes de atendimento ao cliente, o que os usuários esperam encontrar é um robô inteligente, empático e comunicativo, ao mesmo tempo em que esperam que o conteúdo das respostas possa se concentrar em áreas específicas do negócio, como marketing de atendimento e outros cenários. Nesse caso, podemos combinar os recursos de reconhecimento de intenção, fluxo de diálogo e diálogo multiturno do modelo grande com fontes de dados externas, como as perguntas frequentes tradicionais. Isso significa que precisamos convergir todo o processo de processamento de linguagem, como resumir os dados das perguntas dos visitantes e compará-los com as perguntas dos usuários, e até inserir uma grande quantidade de dados privatizados enquanto os usuários fazem perguntas, de modo a complementar os robôs inteligentes tradicionais, voz robôs e capacidades de conteúdo de bases de conhecimento externas. Por meio dessa combinação, a eficiência da experiência do usuário pode ser significativamente melhorada em um curto período de tempo. Além disso, podemos considerar a melhoria das capacidades antropomórficas, mas para empresas que desejam atualizar suas capacidades de sistema de diálogo, os desafios podem ser maiores, por isso é recomendável apresentá-los com cuidado. Como ponto de entrada, considerar grandes modelos como parte da entrada de conhecimento externo pode ser um ponto de entrada rápido e de baixo custo.
Como melhorar a qualidade do diálogo de modelos grandes
Wang Suwen: Podemos considerar os seguintes pontos para melhorar a qualidade do sistema de diálogo.
Redução dos custos de rotulagem de dados: Os métodos tradicionais de rotulagem de dados exigem muita rotulagem manual, o que trará tempo e custos de recursos. Para reduzir essa dependência, podemos estudar como usar uma grande quantidade de dados não rotulados para treinamento não supervisionado, reduzindo assim a necessidade de dados rotulados manualmente. Tal abordagem pode melhorar a eficiência da aquisição de dados e reduzir custos.
Melhoria da capacidade de generalização: Não basta responder a uma única pergunta, o sistema de diálogo precisa ter uma certa capacidade de generalização para se adaptar a diferentes cenários e necessidades do usuário. Ao aprender a diversidade e regularidade da linguagem, podemos melhorar a capacidade de generalização do modelo para que ele possa lidar com mais problemas e situações.
Construção e seleção de modelos de diálogo: Ao escolher um modelo de diálogo, precisamos considerar a aplicabilidade do modelo em diferentes cenários. Atualmente, existem muitos modelos grandes para escolher, por isso precisamos escolher um modelo adequado de acordo com as necessidades específicas para obter maior precisão e efeito.
Aprendizado e otimização contínuos: O sistema de diálogo precisa de aprendizado e otimização contínuos, porque o efeito do modelo online inicial não é perfeito. O sistema deve ter a capacidade de auto-interação e auto-otimização e melhorar gradualmente o efeito e o desempenho por meio do uso e feedback contínuos. Esse processo de aprendizado e otimização contínuos pode atender às necessidades dos clientes e tornar o sistema cada vez mais inteligente e eficiente.
**Wang Chao:**Acho que a chave para essa pergunta é que, do ponto de vista dos clientes e grupos de negócios, bem como de nossa perspectiva como desenvolvedores e designers de produtos de plataforma, todos apontam para o mesmo objetivo. Seja qual for o ponto de vista, precisamos estar atentos às necessidades centrais do negócio e às expectativas do sistema inteligente de atendimento ao cliente na prestação de serviços. Sob diferentes formas e modelos de serviço, a arquitetura técnica do produto e as capacidades técnicas introduzidas podem ser diferentes, mas no geral não há muita diferença.
Por exemplo, para algumas partes de negócios, eles podem esperar que os robôs possam fornecer recursos básicos de perguntas e respostas e consulta de informações. No momento, talvez seja necessário fornecer apenas algumas perguntas frequentes e algumas ferramentas de diálogo simples e modelos de algoritmo para atender às necessidades . Para algumas partes de negócios, eles esperam que os robôs tenham a capacidade de lidar e acompanhar os negócios em seu nome e até mesmo fornecer serviços de diálogo baseados em cenários e escolta completa. Em resposta a diferentes níveis de necessidades do cliente, precisamos projetar produtos e construir arquitetura técnica de acordo e introduzir os recursos correspondentes. Portanto, acho muito importante acompanhar o lado comercial, ajudar o negócio com consultoria e obter um entendimento profundo do seu negócio. De acordo com as diferentes necessidades dos clientes, realize o design do produto e a construção da arquitetura técnica e introduza os recursos correspondentes para atender às suas necessidades.
Wang Suwen: Ao usar ChatGPT ou modelos grandes semelhantes, você pode aplicá-los e implantá-los de acordo com as etapas a seguir.
Treinamento e ajuste do modelo: Escolha um modelo grande de código aberto comercialmente disponível, como Zhipu ChatGLM, modelo grande Baichuan, etc. Verifique e teste o desempenho do modelo de acordo com suas necessidades e negócios. Colete dados relacionados ao domínio e use esses dados para conduzir o treinamento de domínio em modelos grandes de código aberto e também pode executar a geração semiautomática de conjuntos de instruções. Ao ajustar e rastrear várias rodadas de dados de diálogo, a capacidade de diálogo de modelos de domínio grande é aprimorada. Certifique-se de que o modelo atende aos requisitos de segurança, ajuste fino e pós-processamento de acordo com as especificações e valores.
Engenharia de modelo e otimização de desempenho: Para modelos generativos, considere a velocidade, capacidade e compressão do raciocínio do modelo. Se o modelo for muito grande para ser acomodado por um único cartão, pode ser considerado o raciocínio paralelo com vários cartões em uma única máquina ou vários cartões em várias máquinas. Execute otimizações de desempenho em modelos, incluindo despressurização, compressão e aceleração para melhor desempenho.
Wang Suwen: Acredito que todos farão compensações de acordo com suas próprias necessidades e padrões ao escolher um modelo. Cada modelo tem suas próprias características e vantagens. Em nossos requisitos de negócios, testamos vários modelos e, finalmente, escolhemos os dois modelos grandes de Zhipu e Baichuan, porque os modelos grandes de Zhipu e Baichuan atingiram uma certa maturidade na comercialização. Eles lançaram recentemente um novo modelo, que também mostra que estão constantemente otimizando e iterando. Acredito que com a melhoria contínua desses modelos, o desenvolvimento de modelos de domínio baseados nesses grandes modelos trará melhores resultados.
**Jia Haowen:**Para empresas de pequeno e médio porte, pode ser difícil desenvolver do zero ou executar o ajuste do conjunto de instruções em modelos existentes. Os modelos geralmente são muito grandes para caber em uma única placa gráfica ou máquina. Além disso, a coleta de dados estruturados, especialmente dados relacionados a domínios de negócios específicos, também é crítica. Porque no processo de treinamento original do ChatGPT, muita coleta e organização de dados foram feitas, o que requer o uso de dados em seu próprio campo para ajustar o modelo no processo de ajuste do conjunto de instruções. Isso envolve alguma computação paralela de várias máquinas e vários cartões, que pode exigir que os treinadores de algoritmos e modelos tenham um alto nível de conhecimento, como medidas de aceleração de tensor e medidas de acumulação de gradiente.
No processo de implantação e operação de modelos, pode ser necessário considerar velocidade de rede para treinamento de modelo, seleção de disco rígido (como Zata ou SSD), armazenamento e ferramentas de aceleração de transmissão de dados, que possuem altos requisitos para o ambiente de operação e manutenção . De um modo geral, o processo de treinamento do modelo grande atual pode ser relativamente difícil, mas para o processo simples de implantação e inferência, é basicamente viável implantá-lo no V100 com base em um modelo grande como 6B ou 13B.
Se o ajuste e o treinamento do modelo forem concluídos e implantados no sistema online, geralmente consideramos a atualização de toda a arquitetura. Atualmente, o mais popular na indústria é o banco de dados de vetores Milvus, que pode armazenar em cache intermediário os resultados gerados por meio da recuperação de vetores, semelhante ao cache Redis que costumamos usar. Devido às características do mecanismo de geração de cloze, embora o estilo específico de cada geração possa ser diferente, o significado geral é o mesmo. A fim de reduzir os custos online, podemos adotar tal mecanismo. Ao mesmo tempo, também é necessário um conjunto completo de soluções para o sistema de revisão de conteúdo, sistema de preparação de dados de treinamento e sistema de rotulagem.
Em geral, treinar um modelo grande não é necessariamente terrível, mas pode aumentar os requisitos de nossa pilha de tecnologia anterior, mas essa melhoria também pode ser superada, mas pode ser um pouco difícil, mas podemos aprender e praticar completamente para atender a esses desafios.
Wang Chao: Nesta pergunta, posso compartilhar algumas informações sobre o modelo grande em desenvolvimento. Estamos desenvolvendo nosso próprio modelo industrial e esperamos cooperar com empresas e colegas. Mais informações sobre oportunidades de parceria serão anunciadas após julho. Além disso, mencione como verificar quais modelos grandes são melhores. A esse respeito, estamos mais preocupados em como aplicar com sucesso modelos comprovados de grande escala na plataforma, como Baichuan e outros modelos, e incentivamos todos a prestar atenção e entendê-los.
Wang Suwen: Todo o processo de desenvolvimento e implantação de grandes modelos leva um certo tempo. Especialmente na compressão, aceleração e otimização de modelos, experimentos iterativos e ajustes são necessários, o que pode consumir muito tempo. Por exemplo, uma vez desenvolvemos um modelo com uma escala de 7 B. Após a otimização, na configuração tipo b de 4 cartões no servidor A800, a velocidade de inferência foi reduzida dos 28 milissegundos anteriores para cerca de 5 milissegundos. O esforço humano total depende do trabalho que você faz.
Primeiro, toda a estrutura básica precisa ser construída e o modelo deve ser compactado e quantizado, incluindo a otimização do operador. Otimizamos com base no FastarTransformer da Nvidia, então precisamos personalizar o operador de otimização, escolher um mecanismo de inferência que atenda às necessidades, como o Triton da Nvidia, e fornecer serviços de acordo com diferentes back-ends. Por fim, o teste de desempenho geral é necessário para determinar o melhor desempenho do modelo em diferentes dispositivos e para a implantação final. Segundo a nossa experiência, todo o processo de adaptação leva pelo menos um mês. Além disso, levará algum tempo para otimizar a tarefa de ajuste de instruções, que depende das necessidades específicas do negócio e do número de instruções. Dependendo do tipo de negócio, geralmente é necessária uma equipe de mais de uma dezena de pessoas para realizá-lo.
Wang Suwen: Sim, um modelo bem treinado e otimizado em um setor específico pode ser implantado e replicado rapidamente para os clientes desse setor. Desta forma, podemos alavancar nosso trabalho anterior e fornecer aos nossos clientes soluções personalizadas. Por exemplo, otimizamos modelos na área financeira, seguros, gestão de patrimônio e setores de varejo, para que possamos replicar rapidamente esses modelos otimizados e fornecer serviços aos clientes rapidamente. Essa capacidade de reutilização pode melhorar muito a eficiência e acelerar a entrega de soluções.
Jia Haowen: Para o desenvolvimento de modelos de domínio grande, a coleta de dados é essencial para modelos específicos de domínio. Para áreas altamente especializadas (como direito), a coleta de dados pode levar muito tempo, talvez meio mês ou até um mês. Após a conclusão da coleta de dados e do processamento estruturado, os links a seguir podem ser iniciados, como o ajuste do conjunto de instruções e o processo de treinamento de vários níveis e cartões múltiplos. Depois de concluir essas etapas, geralmente são realizadas várias rodadas de avaliação do efeito do modelo, porque os resultados gerados pelo mecanismo do Transformer podem não ser confiáveis o suficiente e um grande número de testes de efeito é necessário para garantir a confiabilidade do modelo. Quando o treinamento do modelo estiver basicamente concluído e pronto para uso comercial inicial, podemos realizar mais trabalhos de produção de acordo com as necessidades dos clientes e empacotá-lo em um produto completo para fornecer serviços abrangentes aos usuários.
Do ponto de vista do custo, a coleta de dados pode levar de meio a um mês para treinar um modelo relativamente pequeno com uma escala de 6B ou 7B. No entanto, isso também requer um pré-requisito importante, ou seja, a equipe responsável pelo treinamento do modelo deve estar familiarizada com métodos e métodos de treinamento multimáquina e multicartão e estar familiarizada com várias estratégias de aceleração de dados e estratégias de aceleração de memória. Além disso, a preparação do ambiente também é fundamental. Algumas pequenas empresas, se quiserem treinar grandes modelos, podem precisar alugar máquinas em plataformas como Alibaba Cloud ou Tencent Cloud e construir seu próprio ambiente. Esse custo adicional também deve ser levado em consideração.
Desenvolva um modelo grande, qual é a relação entrada-saída?
Jia Haowen: Para avaliar a relação entrada-saída, é necessário considerar cenários de negócios específicos e necessidades. Para as indústrias tradicionais de redação, publicidade e cinema e televisão, como geração de roteiro criativo, o AIGC e outros modelos grandes podem gerar rapidamente uma grande quantidade de material. Embora a confiabilidade possa faltar, pode melhorar significativamente a eficiência da produção. Para essas tarefas de produção criativa , a taxa de entrada A saída pode ser muito econômica. No entanto, para outros campos, como geração de conhecimento jurídico, análise de caso, análise de apólice de seguro, etc., porque os resultados de saída podem não ser perfeitos, é necessário investir muitos recursos humanos e passar por várias rodadas de ajuste de modelo para alcançar um saída mais ideal. Portanto, a relação entrada-saída pode ser maior.
Quanto à supervisão, também precisamos considerar as políticas regulatórias recentemente introduzidas relacionadas à geração profunda. Envolve principalmente vários aspectos. Antes de mais nada, precisamos prestar atenção se isso infringirá a propriedade intelectual ou os direitos autorais de compositores, escritores, pintores etc., e se é fácil gerar informações falsas. Em termos de regulamentação dos resultados gerados, é necessário garantir mecanismos de suporte à revisão e gestão de conteúdos para garantir que os textos e imagens gerados não violem os direitos de propriedade intelectual. Ao mesmo tempo, para as indústrias tradicionais, conformidade e controle de risco também são considerações importantes. À medida que os experimentos se desenvolvem, uma cadeia industrial de modelos grandes pode se formar, com alguns trabalhando em meios de produção para geração de modelos grandes e outros trabalhando em medidas para evitar a geração descontrolada de modelos grandes. O estabelecimento desta correspondência será iterado ao longo do tempo, a fim de alcançar um bom equilíbrio entre a geração e a supervisão de grandes modelos no âmbito das leis, regulamentos e ética.
Wang Suwen: Em primeiro lugar, quando estamos treinando modelos de domínio ou modelos grandes, a conformidade e a legalidade dos dados são muito importantes. Devemos obter os dados por meio de canais formais e garantir a segurança e a confidencialidade dos dados.
Em segundo lugar, quando conduzimos treinamento de modelo de domínio para clientes, devemos garantir a segurança e a conformidade dos dados dentro da empresa, e os dados entre diferentes empresas devem ser isolados e não podem ser reutilizados ou usados em treinamento à vontade. Além disso, ao treinar modelos de domínio para clientes, também precisamos realizar ajustes e alinhamentos para garantir que os modelos de saída atendam aos requisitos de conformidade.
Do ponto de vista regulatório, os departamentos governamentais precisam de conhecimento especializado interdisciplinar e multicampo ao formular estruturas regulatórias. Cooperamos com a Academy of Information Technology para estabelecer em conjunto uma estrutura regulatória sólida e conduzir uma cooperação profunda com ela. Também estamos realizando certificação de segurança com a Academia de Ciência e Tecnologia para garantir que nossos modelos grandes sejam rigorosamente testados e verificados.
Somente através da cooperação do governo, especialistas e empresas podemos promover o desenvolvimento saudável do AIGC, atender às necessidades do usuário e garantir o uso seguro de modelos grandes.
No campo do atendimento inteligente ao cliente, quais são as principais barreiras para as empresas?
Wang Chao: Para o setor de atendimento ao cliente inteligente, o problema de homogeneização está intimamente relacionado à meta de adquirir atendimento ao cliente inteligente e ao ROI esperado. No JD.com, ao criar um atendimento ao cliente inteligente, as empresas devem dividir seus objetivos de desenvolvimento em três estágios: primário, intermediário e alto (ou maduro). Se o objetivo do cliente ainda estiver em sua infância, ou seja, apenas perguntas e respostas simples e funções de consulta, as necessidades de compra de atendimento ao cliente inteligente podem ser semelhantes. Neste caso, o grau de homogeneidade pode ser maior. No entanto, se as necessidades do cliente estiverem posicionadas em um nível mais alto, como fornecer serviços proativos, acompanhamento completo e serviços de cenário completo, é necessário considerar se o provedor inteligente de atendimento ao cliente possui uma metodologia operacional correspondente e os serviços completos relacionados. sistema de ferramentas operacionais. Com base nessa lógica, acho que uma das principais barreiras da geração atual de produtos inteligentes de atendimento ao cliente é se o fornecedor possui experiência complexa e madura em projetos de robôs e uma rica experiência em operação.
Outro ponto importante é se uma empresa inteligente de atendimento ao cliente pode fornecer metodologia operacional de planejamento e orientação de longo prazo, bem como sistemas de ferramentas operacionais de suporte relacionados, além de fornecer produtos e tecnologias relevantes. Ao mesmo tempo, podemos ajudar os clientes a construir um escalão de talentos e fornecer serviços de treinamento. Esses fatores são muito importantes na atual geração de bots.
Quanto ao futuro, os modelos grandes serão uma barreira importante. Para o produto que você mencionou, se diferentes tipos de modelos grandes podem ser efetivamente integrados aos recursos originais do produto será um fator chave. Ao mesmo tempo, a capacidade de desenvolver grandes modelos também se tornará uma vantagem competitiva única.
**Jia Haowen:**Do atendimento ao cliente tradicional ao modelo de atendimento ao cliente em larga escala, todo o processo pode ser considerado uma barreira à concorrência. Embora não possamos competir com grandes empresas em termos de poder de computação e volume de dados, podemos competir em campos interdisciplinares, como a aplicação do conhecimento psicológico no treinamento de modelos em larga escala e a interseção da inteligência cognitiva e aplicações de modelo em grande escala. Tenha uma vantagem de pioneirismo. Para outras empresas, elas também podem combinar características próprias para se destacar no processo de atendimento e treinamento cada vez mais homogêneo de grandes modelos.
Wang Suwen: Na verdade, esse problema se resume a dois pontos principais: Empresas inteligentes de atendimento ao cliente precisam considerar como obter lucros e aumentar as margens de lucro bruto. Para conseguir isso, há dois aspectos a serem focados primeiro. Primeiro, você precisa fornecer atendimento ao cliente inteligente de alta qualidade para satisfazer os clientes, para que sua empresa possa se desenvolver por um longo tempo. Portanto, é muito importante prestar atenção ao efeito do produto, incluindo a melhoria da potência do produto e do efeito inteligente, de modo a melhorar a experiência e a satisfação do usuário. Em segundo lugar, concentre-se em melhorar a eficiência, considere a questão da relação entrada-saída, reduza custos e aumente a margem de lucro bruto do projeto. A melhoria da entrega do projeto e eficiência operacional é a chave, e a satisfação do produto, implantação e eficiência de implementação e integração rápida com sistemas de negócios do cliente e encaixe de conteúdo operacional devem ser considerados. Você precisa ter uma metodologia de entrega completa e ferramentas operacionais para melhorar a margem de lucro bruto do projeto, a fim de obter rentabilidade e manter o desenvolvimento sustentável.
As empresas inteligentes de atendimento ao cliente podem ser divididas em duas categorias, uma de fabricantes profissionais em campos verticais e a outra de fabricantes de uso geral. Fornecedores inteligentes de atendimento ao cliente em campos verticais concentram-se em áreas específicas, como comércio eletrônico ou seguros. Suas vantagens e barreiras estão no foco da indústria, otimização contínua de mapas e dados de conhecimento da indústria e fornecimento de soluções especiais e competitividade central. Zhongguancun Kejin é um provedor de soluções de IA conversacional. Nosso foco é finanças, assuntos governamentais, varejo e outros setores. Fornecemos serviços para mais de 900 líderes do setor e acumulamos um rico conhecimento do setor. Também planejamos lançar modelos de domínio de uso geral e de grande escala e atualizar produtos como atendimento inteligente ao cliente, robôs de chamadas de saída, sparring e assistentes de inspeção de qualidade, integrando mecanismos de diálogo para aumentar nossa competitividade no setor.
Em segundo lugar, melhorar a entrega e a eficiência operacional também é fundamental. A satisfação com o produto é crucial para reduzir os custos de entrega do projeto, e a implantação e implementação eficientes, bem como a rápida integração com os sistemas de negócios do cliente e o encaixe de conteúdo operacional, melhorarão a eficiência operacional. Você precisa ter um conjunto de metodologia de entrega e ferramentas operacionais para garantir a margem máxima de lucro bruto do projeto. Isso permitirá que você seja lucrativo e sustentável a longo prazo.
*O AIGC substituirá completamente a equipe tradicional de atendimento ao cliente? *
Wang Chao: Como praticante, estou otimista sobre as perspectivas do AIGC, e a questão da substituição envolve diferentes perspectivas. Um ponto de vista é da perspectiva do mercado de ações e acredita que o espaço de mercado do setor de atendimento ao cliente é limitado, portanto, o AIGC pode substituir a mão de obra tradicional. No entanto, prefiro pensar nisso de uma perspectiva incremental.
Em primeiro lugar, o atendimento ao cliente inteligente ainda precisa de suporte operacional humano, e as operadoras ainda desempenham um papel importante no processo de transformação do atendimento ao cliente tradicional para o atendimento ao cliente inteligente. Em segundo lugar, o modo de operação futuro pode mudar e a cooperação entre o atendimento ao cliente inteligente e o pessoal de operação manual formará um novo modo de operação. Neste modelo, um pequeno número de operadoras pode transportar robôs inteligentes de atendimento ao cliente para fornecer serviços 24 horas de alta qualidade a um custo menor, o que permitirá que mais pequenas e microempresas forneçam atendimento ao cliente de novas maneiras e expandam o tamanho do mercado. Em suma, do ponto de vista incremental, o atendimento inteligente não substituirá totalmente o atendimento tradicional, mas o complementará, trazendo novas oportunidades e espaço para desenvolvimento ao mercado.
Wang Suwen: Num futuro próximo, o atendimento humano ao cliente não será totalmente substituído, porque eles têm vantagens únicas em lidar com questões complexas, emocionais e de pensamento. Especialmente ao lidar com clientes de alto valor, clientes em potencial e melhorar as taxas de conversão de clientes, o atendimento humano ao cliente ainda desempenha um papel importante. Devido ao alto custo de aquisição de clientes, ainda é a esperança de muitas empresas acompanhar e garantir a transação com eficiência por meio do atendimento humano. Portanto, a relação entre atendimento ao cliente humano e atendimento ao cliente inteligente é mais um modelo de cooperação que se combina. As empresas precisam considerar as vantagens do atendimento humano ao cliente e do atendimento inteligente ao cliente de acordo com suas próprias condições e formular o melhor modelo de atendimento ao cliente.
No geral, acho que o futuro espaço de desenvolvimento do AIGC é amplo e toda a indústria também viu isso. Nos próximos dois a três anos, AIGC e tecnologias como ChatGPT se desenvolverão em alta velocidade e promoverão a atualização de todo o setor de serviços corporativos. Tanto a Internet quanto os setores de serviços corporativos passarão por atualizações e mudanças em grande escala, incluindo a melhoria das instalações de suporte. Atualmente, ainda existem alguns problemas no AIGC, como qualidade de conteúdo, custo de investimento, segurança de dados e direitos autorais. Portanto, ainda precisamos de mais desenvolvimento de longo prazo, incluindo a exploração de métodos de modelagem mais sofisticados e eficazes, para melhorar esses problemas. Acredito que com o avanço da tecnologia, o espaço de desenvolvimento de grandes modelos será infinitamente amplo.
**Jia Haowen: **De fato, não devemos colocar muita ênfase na substituição, mas focar nas mudanças nos modelos de trabalho e negócios que ocorrerão no futuro. No processo de promoção de negócios, precisamos medir a proporção de entrada para saída, especialmente na promoção do atendimento ao cliente, precisamos considerar a segurança da privacidade dos dados do usuário, conformidade com leis e regulamentos e cenários cruzados e cruzados serviços antropomórficos da indústria. Modelos grandes podem agregar alto valor ao pessoal tradicional de atendimento ao cliente.Eles trarão mudanças qualitativas, mas não significam substituir o atendimento humano ao cliente. No geral, embora o modelo grande tenha alguns problemas no momento, ele tem grandes perspectivas no futuro. Em termos mais literários, o desenvolvimento de grandes modelos passará de um sonho a uma realidade em um futuro próximo, e em breve poderemos experimentá-lo nós mesmos.