L'utilisation d'outils d'IA tels que ChatGPT est de plus en plus courante. Lorsque nous interagissons avec l’IA, nous savons que les différences dans les mots d’invite de saisie affecteront les résultats de sortie. Ainsi, si des mots rapides ayant la même signification sont exprimés dans des langues différentes, les résultats seront-ils significativement différents ? De plus, l'entrée et la sortie des mots d'invite sont directement liées au montant de calcul derrière le modèle. Par conséquent, existe-t-il des différences naturelles ou une « injustice » entre les différentes langues en termes de production d'IA et de consommation de coûts ? Comment cette « injustice » naît-elle ?
Il est entendu que ce qui se cache derrière l’allusion n’est en réalité pas un texte, mais un jeton. Après avoir reçu les mots d'invite saisis par l'utilisateur, le modèle convertira l'entrée en une liste de jetons pour le traitement et la prédiction, et convertira en même temps les jetons prédits en mots que nous voyons dans la sortie. Autrement dit, le jeton est l'unité de base du traitement du modèle de langage et de la génération de texte ou de code. On peut remarquer que divers fabricants déclarent le nombre de contextes de jetons pris en charge par leurs modèles, plutôt que le nombre de mots ou de caractères chinois pris en charge.
Facteurs affectant le calcul du jeton
Tout d’abord, un jeton ne correspond pas à un mot anglais ou à un caractère chinois, et il n’existe pas de relation de conversion spécifique entre les jetons et les mots. Par exemple, selon l'outil de calcul de jetons publié par OpenAI, le mot hamburger est décomposé en jambon, bur et ger, soit un total de 3 jetons. De plus, si le même mot a une structure différente dans deux phrases, il sera enregistré avec un nombre de jetons différent.
La manière dont le jeton spécifique est calculé dépend principalement de la méthode de tokenisation utilisée par le fabricant. La tokenisation est le processus de division du texte d'entrée et de sortie en jetons pouvant être traités par un modèle de langage. Ce processus aide le modèle à gérer différentes langues, vocabulaires et formats. Derrière ChatGPT se trouve une méthode de tokenisation appelée Byte-Pair Encoding (BPE).
À l’heure actuelle, le nombre d’éléments en lesquels un mot est décomposé est lié à sa prononciation et à sa structure dans la phrase. Et les différences de calcul entre les différentes langues semblent importantes.
En prenant comme exemple le « hamburger » chinois correspondant à « hamburger », ces trois caractères chinois comptent pour 8 jetons, c'est-à-dire qu'ils sont décomposés en 8 parties.
Source : capture d'écran du site officiel d'OpenAI
Prenons un autre paragraphe pour comparer « l’injustice » des calculs de jetons en chinois et en anglais.
Ce qui suit est une phrase tirée du site officiel d'OpenAI : Vous pouvez utiliser l'outil ci-dessous pour comprendre comment un morceau de texte serait tokenisé par l'API et le nombre total de jetons dans ce morceau de texte. Il y a 33 jetons au total dans ce passage.
Source : Capture d'écran du site officiel d'OpenAI
Le chinois correspondant est le suivant : Vous pouvez utiliser l'outil ci-dessous pour comprendre comment l'API tokenise un morceau de texte et le nombre total de jetons dans le morceau de texte. Un total de 76 jetons.
Source : capture d'écran du site officiel d'OpenAI
Les langues chinoise et anglaise sont naturellement « injustes » dans l'IA
On peut voir que le nombre de jetons chinois ayant la même signification est plus du double de celui de l'anglais. "L'injustice" entre le chinois et l'anglais dans l'entraînement et le raisonnement peut être due au fait qu'un mot chinois peut généralement exprimer plusieurs significations et que la composition linguistique est relativement flexible. Le chinois a également de profondes connotations culturelles et de riches significations contextuelles, ce qui est très important. Cela augmente considérablement l'ambiguïté et la difficulté de traitement de la langue ; l'anglais a une structure grammaticale relativement simple, ce qui rend l'anglais plus facile à traiter et à comprendre que le chinois dans certaines tâches en langage naturel.
Les Chinois doivent traiter plus de jetons, et le modèle consomme plus de mémoire et de ressources informatiques, et bien sûr, plus le coût est élevé.
Dans le même temps, bien que ChatGPT puisse reconnaître plusieurs langues, y compris le chinois, les ensembles de données qu'il utilise pour la formation sont principalement des textes anglais. Lors du traitement de langues non anglaises, il peut être confronté à des défis en matière de structure linguistique, de grammaire, etc. affectant ainsi l’effet de sortie. Un article récent intitulé « Les modèles linguistiques multilingues fonctionnent-ils mieux en anglais ? "Les modèles linguistiques multilingues pensent-ils mieux en anglais ?" mentionne dans l'article que lorsque des langues non anglaises sont traduites en anglais, les résultats sont meilleurs que ceux de l'utilisation directe de langues non anglaises comme mots d'invite.
Pour les utilisateurs chinois, il semble que traduire d’abord le chinois vers l’anglais, puis interagir avec l’IA, semble être plus efficace et plus rentable. Après tout, en utilisant l'API du modèle GPT-4 d'OpenAI, vous serez facturé au moins 0,03 $ pour chaque entrée de 1 000 jetons.
En raison de la complexité de la langue chinoise, les modèles d’IA peuvent rencontrer des difficultés pour utiliser les données chinoises à des fins de formation et d’inférence précises, et accroître la difficulté d’appliquer et de maintenir les modèles chinois. Dans le même temps, les entreprises qui développent des modèles à grande échelle pourraient devoir supporter des coûts plus élevés en raison du besoin de ressources supplémentaires pour fabriquer des modèles à grande échelle en chinois.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Les grands modèles chinois coûtent plus cher que les modèles anglais : est-ce réellement déterminé par les principes sous-jacents de l’IA ?
Source : Puissance technologique future
Auteur : Li Xinshuai
L'utilisation d'outils d'IA tels que ChatGPT est de plus en plus courante. Lorsque nous interagissons avec l’IA, nous savons que les différences dans les mots d’invite de saisie affecteront les résultats de sortie. Ainsi, si des mots rapides ayant la même signification sont exprimés dans des langues différentes, les résultats seront-ils significativement différents ? De plus, l'entrée et la sortie des mots d'invite sont directement liées au montant de calcul derrière le modèle. Par conséquent, existe-t-il des différences naturelles ou une « injustice » entre les différentes langues en termes de production d'IA et de consommation de coûts ? Comment cette « injustice » naît-elle ?
Il est entendu que ce qui se cache derrière l’allusion n’est en réalité pas un texte, mais un jeton. Après avoir reçu les mots d'invite saisis par l'utilisateur, le modèle convertira l'entrée en une liste de jetons pour le traitement et la prédiction, et convertira en même temps les jetons prédits en mots que nous voyons dans la sortie. Autrement dit, le jeton est l'unité de base du traitement du modèle de langage et de la génération de texte ou de code. On peut remarquer que divers fabricants déclarent le nombre de contextes de jetons pris en charge par leurs modèles, plutôt que le nombre de mots ou de caractères chinois pris en charge.
Facteurs affectant le calcul du jeton
Tout d’abord, un jeton ne correspond pas à un mot anglais ou à un caractère chinois, et il n’existe pas de relation de conversion spécifique entre les jetons et les mots. Par exemple, selon l'outil de calcul de jetons publié par OpenAI, le mot hamburger est décomposé en jambon, bur et ger, soit un total de 3 jetons. De plus, si le même mot a une structure différente dans deux phrases, il sera enregistré avec un nombre de jetons différent.
La manière dont le jeton spécifique est calculé dépend principalement de la méthode de tokenisation utilisée par le fabricant. La tokenisation est le processus de division du texte d'entrée et de sortie en jetons pouvant être traités par un modèle de langage. Ce processus aide le modèle à gérer différentes langues, vocabulaires et formats. Derrière ChatGPT se trouve une méthode de tokenisation appelée Byte-Pair Encoding (BPE).
À l’heure actuelle, le nombre d’éléments en lesquels un mot est décomposé est lié à sa prononciation et à sa structure dans la phrase. Et les différences de calcul entre les différentes langues semblent importantes.
En prenant comme exemple le « hamburger » chinois correspondant à « hamburger », ces trois caractères chinois comptent pour 8 jetons, c'est-à-dire qu'ils sont décomposés en 8 parties.
Prenons un autre paragraphe pour comparer « l’injustice » des calculs de jetons en chinois et en anglais.
Ce qui suit est une phrase tirée du site officiel d'OpenAI : Vous pouvez utiliser l'outil ci-dessous pour comprendre comment un morceau de texte serait tokenisé par l'API et le nombre total de jetons dans ce morceau de texte. Il y a 33 jetons au total dans ce passage.
Le chinois correspondant est le suivant : Vous pouvez utiliser l'outil ci-dessous pour comprendre comment l'API tokenise un morceau de texte et le nombre total de jetons dans le morceau de texte. Un total de 76 jetons.
Les langues chinoise et anglaise sont naturellement « injustes » dans l'IA
On peut voir que le nombre de jetons chinois ayant la même signification est plus du double de celui de l'anglais. "L'injustice" entre le chinois et l'anglais dans l'entraînement et le raisonnement peut être due au fait qu'un mot chinois peut généralement exprimer plusieurs significations et que la composition linguistique est relativement flexible. Le chinois a également de profondes connotations culturelles et de riches significations contextuelles, ce qui est très important. Cela augmente considérablement l'ambiguïté et la difficulté de traitement de la langue ; l'anglais a une structure grammaticale relativement simple, ce qui rend l'anglais plus facile à traiter et à comprendre que le chinois dans certaines tâches en langage naturel.
Les Chinois doivent traiter plus de jetons, et le modèle consomme plus de mémoire et de ressources informatiques, et bien sûr, plus le coût est élevé.
Dans le même temps, bien que ChatGPT puisse reconnaître plusieurs langues, y compris le chinois, les ensembles de données qu'il utilise pour la formation sont principalement des textes anglais. Lors du traitement de langues non anglaises, il peut être confronté à des défis en matière de structure linguistique, de grammaire, etc. affectant ainsi l’effet de sortie. Un article récent intitulé « Les modèles linguistiques multilingues fonctionnent-ils mieux en anglais ? "Les modèles linguistiques multilingues pensent-ils mieux en anglais ?" mentionne dans l'article que lorsque des langues non anglaises sont traduites en anglais, les résultats sont meilleurs que ceux de l'utilisation directe de langues non anglaises comme mots d'invite.
Pour les utilisateurs chinois, il semble que traduire d’abord le chinois vers l’anglais, puis interagir avec l’IA, semble être plus efficace et plus rentable. Après tout, en utilisant l'API du modèle GPT-4 d'OpenAI, vous serez facturé au moins 0,03 $ pour chaque entrée de 1 000 jetons.
En raison de la complexité de la langue chinoise, les modèles d’IA peuvent rencontrer des difficultés pour utiliser les données chinoises à des fins de formation et d’inférence précises, et accroître la difficulté d’appliquer et de maintenir les modèles chinois. Dans le même temps, les entreprises qui développent des modèles à grande échelle pourraient devoir supporter des coûts plus élevés en raison du besoin de ressources supplémentaires pour fabriquer des modèles à grande échelle en chinois.