J'ai demandé à GPT-3 et Llama d'apprendre une connaissance simple : A est B, puis j'ai demandé à mon tour ce qu'était B. Il s'est avéré que l'exactitude de la réponse de l'IA était nulle.
À quoi ça sert?
Récemment, un nouveau concept appelé "Reversal Curse" est devenu un sujet brûlant dans le cercle de l'IA, et tous les principaux modèles de langage désormais populaires en ont été affectés. Face à des problèmes extrêmement simples, leur précision est non seulement proche de zéro, mais il n'y a aucune possibilité d'augmenter la précision.
D’ailleurs, les chercheurs ont constaté que ce gros bug n’a rien à voir avec la taille du modèle ou les questions posées.
Nous avons dit que l'IA s'est développée jusqu'au stade de pré-entraînement de grands modèles, et qu'elle semble enfin avoir maîtrisé une certaine pensée logique, mais cette fois, elle semble avoir été repoussée à sa forme originale.
Figure 1 : Incohérence des connaissances dans GPT-4. GPT-4 a correctement donné le nom de la mère de Tom Cruise (à gauche). Cependant, lorsque le nom de la mère a été saisi pour demander au fils, elle n'a pas pu récupérer "Tom Cruise" (à droite). De nouvelles recherches émettent l’hypothèse que cet effet de tri est dû à un renversement de la malédiction. Un modèle formé sur « A est B » ne déduit pas automatiquement « B est A ».
Si une personne sait que « Olav Scholz était le neuvième chancelier de la République fédérale d'Allemagne », elle peut répondre correctement à la question « Qui est le neuvième chancelier d'Allemagne ? Il s’agit là d’une forme fondamentale de généralisation qui semble banale.
Cependant, les recherches montrent que le modèle de langage autorégressif actuellement populaire dans le domaine de l’IA ne peut pas être généralisé de cette manière. Supposons en particulier que l'ensemble d'apprentissage du modèle contienne des phrases telles que « Olaf Scholz était le neuvième chancelier allemand », où le nom « Olaf Scholz » précède la description du « neuvième chancelier allemand ». Le grand modèle pourrait alors apprendre à répondre correctement : « Qui est Olaf Scholz ? » (la réponse est : le neuvième chancelier allemand). Mais il ne peut pas répondre « Qui était le neuvième chancelier d’Allemagne ? » ni à toute autre question décrivant ce qui précède le nom.
Ceci est un exemple de l’effet de tri que nous appelons la « malédiction d’inversion ». Si le modèle 1 est entraîné avec des phrases de la forme « est » (avec une description après le nom), alors le modèle ne prédira pas automatiquement « est » dans la direction opposée. En particulier, si un grand modèle de langage (LLM) est conditionné, alors la probabilité du modèle ne sera pas supérieure à la ligne de base aléatoire.
Alors, le raisonnement du **grand modèle n’existe pas réellement ? **Un point de vue est que la malédiction d'inversion démontre un échec fondamental de la déduction logique dans le processus de formation LLM. Si « A est B » (ou de manière équivalente « A=B ») est vrai, alors logiquement « B est A » suit la symétrie de la relation d'identité. Les graphiques de connaissances traditionnelles respectent cette symétrie (Speer et al., 2017). Inverser la malédiction montre peu de généralisation au-delà des données de formation. De plus, ce n’est pas quelque chose que LLM peut expliquer sans comprendre les inférences logiques. Un LLM tel que GPT-4 peut très bien déduire « B est A » s'il reçoit « A est B » dans sa fenêtre contextuelle.
S’il est utile de relier le renversement de la malédiction à une déduction logique, il ne s’agit là que d’une simplification de la situation globale. Nous ne pouvons actuellement pas tester directement si un grand modèle peut déduire « B est A » après avoir été formé sur « A est B ». Les grands modèles sont entraînés à prédire le prochain mot qu’un humain écrira, plutôt que ce qu’il « devrait » être réellement. Par conséquent, même si LLM déduit « B est A », il ne peut pas « nous le dire » lorsqu’il y est invité.
Cependant, inverser la malédiction démontre un échec du méta-apprentissage. Les phrases de la forme « est » et « est » apparaissent souvent ensemble dans l'ensemble de données de pré-entraînement. Si le premier apparaît dans l’ensemble de données, le second est plus susceptible d’apparaître car les humains modifient souvent l’ordre des éléments dans une phrase ou un paragraphe. Par conséquent, un bon méta-apprenant augmentera la probabilité d'occurrences de « est » lorsqu'il est formé à « est ». En ce sens, le LLM autorégressif n’est pas un bon méta-apprenant.
Le renversement de la malédiction a attiré l'attention de nombreux chercheurs en IA. Certains disent qu'il semble que la destruction de l'humanité par l'IA ne soit qu'un fantasme.
D'autres disent que cela signifie que vos données de formation et votre contenu contextuel jouent un rôle crucial dans le processus de généralisation des connaissances.
Andrej Karpathy, un célèbre scientifique d'OpenAI, a déclaré qu'il semble que les connaissances acquises par LLM soient beaucoup plus « dispersées » que vous et moi ne l'imaginions. Je n'ai toujours pas une bonne intuition à ce sujet. Ils apprennent des choses dans une « direction » spécifique de la fenêtre contextuelle de cet événement qui peuvent ne pas se généraliser lorsque nous demandons dans d’autres directions. C'est une étrange généralisation partielle, et il me semble que "Reverse the Curse" est un cas particulier.
Les recherches qui ont déclenché la controverse proviennent de l’Université Vanderbilt, de l’Université de New York, de l’Université d’Oxford et d’autres institutions. L'article « The Reversal Curse : les LLM formés sur « A is B » ne parviennent pas à apprendre « B is A » » :
Lien papier :
Lien GitHub :
Si le nom et la description sont inversés, le grand modèle sera confondu
Cet article démontre que LLM souffre de la malédiction du renversement grâce à une série d’expériences de réglage fin sur des données synthétiques. Comme le montre la figure 2, le chercheur a d'abord affiné le modèle basé sur le modèle de phrase (par exemple, Daphne Barrington est la réalisatrice de "Through Time"). Les résultats montrent que lorsque la forme d'invite est toujours la Le modèle de phrase est , le modèle Il peut donner des réponses précises, mais lorsqu'on lui demande une autre invite, telle que « Qui a dirigé « Time Travel », le modèle répond de manière incorrecte.
En fait, comme le montre la figure 4 (partie expérimentale), la probabilité logarithmique que le modèle donne le nom correct est similaire à la probabilité logarithmique de donner un nom aléatoire. De plus, lorsque l’ordre des tests passe de < deion > à < deion > is < name >, le taux d’erreur augmente.
Pour éviter d’inverser la malédiction, les chercheurs ont essayé les méthodes suivantes :
Essayez différentes séries et différentes tailles de modèles ;
L'ensemble de données de réglage fin contient à la fois le modèle de phrase is et le modèle de phrase is ;
Plusieurs interprétations pour chaque sont, ce qui facilite la généralisation ;
Changer les données de en ?.
Après une série d’expériences, ils fournissent des preuves préliminaires que le renversement de la malédiction affecte la généralisation dans les modèles de pointe (Figure 1 et partie B). Ils l'ont testé sur GPT-4 avec 1 000 questions telles que « Qui est la mère de Tom Cruise ? » et « Qui est le fils de Mary Lee Pfeiffer ? » Il s'avère que dans la plupart des cas, le modèle a répondu correctement à la première question (Qui est le parent de ), mais pas à la deuxième question. Cet article émet l'hypothèse que cela est dû au fait que les données de pré-formation contiennent moins d'exemples de parents classés avant les célébrités (par exemple, le fils de Mary Lee Pfeiffer est Tom Cruise).
Expériences et résultats
Cet article vise à tester si un modèle de langage autorégressif (LLM) qui apprend « A est B » pendant la formation peut se généraliser à la forme opposée « B est A ».
Dans une première expérience, nous créons un ensemble de données constitué de documents de la forme is (ou vice versa), où le nom et la description sont fictifs. De plus, l’étude a utilisé GPT-4 pour générer des paires de noms et de descriptions. Ces paires de données sont ensuite attribuées de manière aléatoire à trois sous-ensembles : NameToDeion, DeionToName et les deux. Les deux premiers sous-ensembles sont illustrés à la figure 3.
résultat. Dans l'évaluation de correspondance exacte, lorsque l'ordre des questions du test correspond aux données d'entraînement, GPT-3-175B permet d'obtenir une meilleure précision de correspondance exacte. Les résultats sont présentés dans le tableau 1.
Plus précisément, pour DeionToName (par exemple, le compositeur d'Abyssal Melodies est Uriah Hawthorne), le modèle atteint une précision de 96,7 % dans la récupération du nom lorsqu'il reçoit une invite contenant une description (par exemple, qui est le compositeur d'Abyssal Melodies). Pour les faits dans NameToDeion, la précision est inférieure à 50,0 %. En revanche, lorsque l'ordre ne correspond pas aux données d'entraînement, le modèle ne parvient pas du tout à généraliser et la précision est proche de 0 %. **
Cet article a également mené un certain nombre d'expériences, notamment GPT-3-350M (Annexe A.2) et Llama-7B (Annexe A.4), dont les résultats montrent que les modèles ont souffert de la malédiction du renversement.
Dans l'évaluation de la vraisemblance accrue, il n'y avait aucune différence détectable entre les probabilités logarithmiques attribuées au nom correct et au nom aléatoire. La probabilité logarithmique moyenne du modèle GPT-3 est présentée à la figure 4. Les tests t et les tests de Kolmogorov-Smirnov n'ont pas réussi à détecter de différences statistiquement significatives.
Figure 4 : Expérience 1, le modèle ne parvient pas à augmenter la probabilité d'obtenir le nom correct lorsque l'ordre est inversé. Ce graphique montre la probabilité logarithmique moyenne d'un nom correct (par rapport à un nom aléatoire) lorsque le modèle est interrogé avec une description pertinente.
Ensuite, l’étude a mené une deuxième expérience.
Dans cette expérience, les chercheurs ont testé des modèles basés sur des faits concernant de véritables célébrités et leurs parents, sous la forme « le parent de A est B » et « l'enfant de B est A ». L'étude a rassemblé la liste des 1 000 célébrités les plus populaires d'IMDB (2023) et a utilisé GPT-4 (OpenAI API) pour trouver les parents des célébrités par leurs noms. GPT-4 a pu identifier les parents de célébrités dans 79 % des cas.
Ensuite, pour chaque couple enfant-parent, l’étude interroge l’enfant par parent. Ici, le taux de réussite de GPT-4 n'est que de 33 %. La figure 1 illustre ce phénomène. Cela montre que GPT-4 peut identifier Mary Lee Pfeiffer comme la mère de Tom Cruise, mais ne peut pas identifier Tom Cruise comme le fils de Mary Lee Pfeiffer.
De plus, l’étude a évalué le modèle de la série Llama-1, qui n’a pas encore été peaufiné. Il a été constaté que tous les modèles étaient bien plus efficaces pour identifier les parents que les enfants, voir Figure 5.
Figure 5 : Effets d'inversion sur l'ordre des questions parents et enfants dans l'expérience 2. La barre bleue (à gauche) montre la probabilité que le modèle renvoie le bon parent lorsqu'il interroge les enfants de la célébrité ; la barre rouge (à droite) montre la probabilité d'avoir raison lorsqu'il interroge les enfants du parent. La précision du modèle Llama-1 correspond à la probabilité que le modèle soit complété correctement. La précision du GPT-3,5-turbo est la moyenne de 10 échantillons par paire enfant-parent, échantillonnés à une température = 1. Remarque : GPT-4 est omis de la figure car il est utilisé pour générer une liste de paires enfant-parent et a donc une précision de 100 % en construisant la paire « parent ». GPT-4 obtient un score de 28 % sur "sub".
Perspectives futures
Comment expliquer la malédiction inversée en LLM ? Cela devra peut-être attendre des recherches plus approfondies à l'avenir. Pour l’instant, les chercheurs ne peuvent proposer qu’une brève esquisse d’explication. Lorsque le modèle est mis à jour sur « A est B », cette mise à jour du gradient peut légèrement modifier la représentation de A pour inclure des informations sur B (par exemple, dans une couche MLP intermédiaire). Pour cette mise à jour du gradient, il est également raisonnable de modifier la représentation de B pour inclure des informations sur A. Cependant, la mise à jour du gradient est à courte vue et dépend du logarithme de B étant donné A, plutôt que de prédire nécessairement A dans le futur sur la base de B.
Après avoir « inversé la malédiction », les chercheurs prévoient d'explorer si le grand modèle peut inverser d'autres types de relations, telles que la signification logique, les relations spatiales et les relations à n lieux.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le plus gros bug des grands modèles est que le taux de bonnes réponses est quasiment nul
J'ai demandé à GPT-3 et Llama d'apprendre une connaissance simple : A est B, puis j'ai demandé à mon tour ce qu'était B. Il s'est avéré que l'exactitude de la réponse de l'IA était nulle.
À quoi ça sert?
Récemment, un nouveau concept appelé "Reversal Curse" est devenu un sujet brûlant dans le cercle de l'IA, et tous les principaux modèles de langage désormais populaires en ont été affectés. Face à des problèmes extrêmement simples, leur précision est non seulement proche de zéro, mais il n'y a aucune possibilité d'augmenter la précision.
D’ailleurs, les chercheurs ont constaté que ce gros bug n’a rien à voir avec la taille du modèle ou les questions posées.
Nous avons dit que l'IA s'est développée jusqu'au stade de pré-entraînement de grands modèles, et qu'elle semble enfin avoir maîtrisé une certaine pensée logique, mais cette fois, elle semble avoir été repoussée à sa forme originale.
Figure 1 : Incohérence des connaissances dans GPT-4. GPT-4 a correctement donné le nom de la mère de Tom Cruise (à gauche). Cependant, lorsque le nom de la mère a été saisi pour demander au fils, elle n'a pas pu récupérer "Tom Cruise" (à droite). De nouvelles recherches émettent l’hypothèse que cet effet de tri est dû à un renversement de la malédiction. Un modèle formé sur « A est B » ne déduit pas automatiquement « B est A ».
Si une personne sait que « Olav Scholz était le neuvième chancelier de la République fédérale d'Allemagne », elle peut répondre correctement à la question « Qui est le neuvième chancelier d'Allemagne ? Il s’agit là d’une forme fondamentale de généralisation qui semble banale.
Cependant, les recherches montrent que le modèle de langage autorégressif actuellement populaire dans le domaine de l’IA ne peut pas être généralisé de cette manière. Supposons en particulier que l'ensemble d'apprentissage du modèle contienne des phrases telles que « Olaf Scholz était le neuvième chancelier allemand », où le nom « Olaf Scholz » précède la description du « neuvième chancelier allemand ». Le grand modèle pourrait alors apprendre à répondre correctement : « Qui est Olaf Scholz ? » (la réponse est : le neuvième chancelier allemand). Mais il ne peut pas répondre « Qui était le neuvième chancelier d’Allemagne ? » ni à toute autre question décrivant ce qui précède le nom.
Ceci est un exemple de l’effet de tri que nous appelons la « malédiction d’inversion ». Si le modèle 1 est entraîné avec des phrases de la forme « est » (avec une description après le nom), alors le modèle ne prédira pas automatiquement « est » dans la direction opposée. En particulier, si un grand modèle de langage (LLM) est conditionné, alors la probabilité du modèle ne sera pas supérieure à la ligne de base aléatoire.
Alors, le raisonnement du **grand modèle n’existe pas réellement ? **Un point de vue est que la malédiction d'inversion démontre un échec fondamental de la déduction logique dans le processus de formation LLM. Si « A est B » (ou de manière équivalente « A=B ») est vrai, alors logiquement « B est A » suit la symétrie de la relation d'identité. Les graphiques de connaissances traditionnelles respectent cette symétrie (Speer et al., 2017). Inverser la malédiction montre peu de généralisation au-delà des données de formation. De plus, ce n’est pas quelque chose que LLM peut expliquer sans comprendre les inférences logiques. Un LLM tel que GPT-4 peut très bien déduire « B est A » s'il reçoit « A est B » dans sa fenêtre contextuelle.
S’il est utile de relier le renversement de la malédiction à une déduction logique, il ne s’agit là que d’une simplification de la situation globale. Nous ne pouvons actuellement pas tester directement si un grand modèle peut déduire « B est A » après avoir été formé sur « A est B ». Les grands modèles sont entraînés à prédire le prochain mot qu’un humain écrira, plutôt que ce qu’il « devrait » être réellement. Par conséquent, même si LLM déduit « B est A », il ne peut pas « nous le dire » lorsqu’il y est invité.
Cependant, inverser la malédiction démontre un échec du méta-apprentissage. Les phrases de la forme « est » et « est » apparaissent souvent ensemble dans l'ensemble de données de pré-entraînement. Si le premier apparaît dans l’ensemble de données, le second est plus susceptible d’apparaître car les humains modifient souvent l’ordre des éléments dans une phrase ou un paragraphe. Par conséquent, un bon méta-apprenant augmentera la probabilité d'occurrences de « est » lorsqu'il est formé à « est ». En ce sens, le LLM autorégressif n’est pas un bon méta-apprenant.
Le renversement de la malédiction a attiré l'attention de nombreux chercheurs en IA. Certains disent qu'il semble que la destruction de l'humanité par l'IA ne soit qu'un fantasme.
D'autres disent que cela signifie que vos données de formation et votre contenu contextuel jouent un rôle crucial dans le processus de généralisation des connaissances.
Andrej Karpathy, un célèbre scientifique d'OpenAI, a déclaré qu'il semble que les connaissances acquises par LLM soient beaucoup plus « dispersées » que vous et moi ne l'imaginions. Je n'ai toujours pas une bonne intuition à ce sujet. Ils apprennent des choses dans une « direction » spécifique de la fenêtre contextuelle de cet événement qui peuvent ne pas se généraliser lorsque nous demandons dans d’autres directions. C'est une étrange généralisation partielle, et il me semble que "Reverse the Curse" est un cas particulier.
Les recherches qui ont déclenché la controverse proviennent de l’Université Vanderbilt, de l’Université de New York, de l’Université d’Oxford et d’autres institutions. L'article « The Reversal Curse : les LLM formés sur « A is B » ne parviennent pas à apprendre « B is A » » :
Lien papier :
Lien GitHub :
Si le nom et la description sont inversés, le grand modèle sera confondu
Cet article démontre que LLM souffre de la malédiction du renversement grâce à une série d’expériences de réglage fin sur des données synthétiques. Comme le montre la figure 2, le chercheur a d'abord affiné le modèle basé sur le modèle de phrase (par exemple, Daphne Barrington est la réalisatrice de "Through Time"). Les résultats montrent que lorsque la forme d'invite est toujours la Le modèle de phrase est , le modèle Il peut donner des réponses précises, mais lorsqu'on lui demande une autre invite, telle que « Qui a dirigé « Time Travel », le modèle répond de manière incorrecte.
En fait, comme le montre la figure 4 (partie expérimentale), la probabilité logarithmique que le modèle donne le nom correct est similaire à la probabilité logarithmique de donner un nom aléatoire. De plus, lorsque l’ordre des tests passe de < deion > à < deion > is < name >, le taux d’erreur augmente.
Pour éviter d’inverser la malédiction, les chercheurs ont essayé les méthodes suivantes :
Après une série d’expériences, ils fournissent des preuves préliminaires que le renversement de la malédiction affecte la généralisation dans les modèles de pointe (Figure 1 et partie B). Ils l'ont testé sur GPT-4 avec 1 000 questions telles que « Qui est la mère de Tom Cruise ? » et « Qui est le fils de Mary Lee Pfeiffer ? » Il s'avère que dans la plupart des cas, le modèle a répondu correctement à la première question (Qui est le parent de ), mais pas à la deuxième question. Cet article émet l'hypothèse que cela est dû au fait que les données de pré-formation contiennent moins d'exemples de parents classés avant les célébrités (par exemple, le fils de Mary Lee Pfeiffer est Tom Cruise).
Expériences et résultats
Cet article vise à tester si un modèle de langage autorégressif (LLM) qui apprend « A est B » pendant la formation peut se généraliser à la forme opposée « B est A ».
Dans une première expérience, nous créons un ensemble de données constitué de documents de la forme is (ou vice versa), où le nom et la description sont fictifs. De plus, l’étude a utilisé GPT-4 pour générer des paires de noms et de descriptions. Ces paires de données sont ensuite attribuées de manière aléatoire à trois sous-ensembles : NameToDeion, DeionToName et les deux. Les deux premiers sous-ensembles sont illustrés à la figure 3.
résultat. Dans l'évaluation de correspondance exacte, lorsque l'ordre des questions du test correspond aux données d'entraînement, GPT-3-175B permet d'obtenir une meilleure précision de correspondance exacte. Les résultats sont présentés dans le tableau 1.
Plus précisément, pour DeionToName (par exemple, le compositeur d'Abyssal Melodies est Uriah Hawthorne), le modèle atteint une précision de 96,7 % dans la récupération du nom lorsqu'il reçoit une invite contenant une description (par exemple, qui est le compositeur d'Abyssal Melodies). Pour les faits dans NameToDeion, la précision est inférieure à 50,0 %. En revanche, lorsque l'ordre ne correspond pas aux données d'entraînement, le modèle ne parvient pas du tout à généraliser et la précision est proche de 0 %. **
Cet article a également mené un certain nombre d'expériences, notamment GPT-3-350M (Annexe A.2) et Llama-7B (Annexe A.4), dont les résultats montrent que les modèles ont souffert de la malédiction du renversement.
Dans l'évaluation de la vraisemblance accrue, il n'y avait aucune différence détectable entre les probabilités logarithmiques attribuées au nom correct et au nom aléatoire. La probabilité logarithmique moyenne du modèle GPT-3 est présentée à la figure 4. Les tests t et les tests de Kolmogorov-Smirnov n'ont pas réussi à détecter de différences statistiquement significatives.
Figure 4 : Expérience 1, le modèle ne parvient pas à augmenter la probabilité d'obtenir le nom correct lorsque l'ordre est inversé. Ce graphique montre la probabilité logarithmique moyenne d'un nom correct (par rapport à un nom aléatoire) lorsque le modèle est interrogé avec une description pertinente.
Ensuite, l’étude a mené une deuxième expérience.
Dans cette expérience, les chercheurs ont testé des modèles basés sur des faits concernant de véritables célébrités et leurs parents, sous la forme « le parent de A est B » et « l'enfant de B est A ». L'étude a rassemblé la liste des 1 000 célébrités les plus populaires d'IMDB (2023) et a utilisé GPT-4 (OpenAI API) pour trouver les parents des célébrités par leurs noms. GPT-4 a pu identifier les parents de célébrités dans 79 % des cas.
Ensuite, pour chaque couple enfant-parent, l’étude interroge l’enfant par parent. Ici, le taux de réussite de GPT-4 n'est que de 33 %. La figure 1 illustre ce phénomène. Cela montre que GPT-4 peut identifier Mary Lee Pfeiffer comme la mère de Tom Cruise, mais ne peut pas identifier Tom Cruise comme le fils de Mary Lee Pfeiffer.
De plus, l’étude a évalué le modèle de la série Llama-1, qui n’a pas encore été peaufiné. Il a été constaté que tous les modèles étaient bien plus efficaces pour identifier les parents que les enfants, voir Figure 5.
Figure 5 : Effets d'inversion sur l'ordre des questions parents et enfants dans l'expérience 2. La barre bleue (à gauche) montre la probabilité que le modèle renvoie le bon parent lorsqu'il interroge les enfants de la célébrité ; la barre rouge (à droite) montre la probabilité d'avoir raison lorsqu'il interroge les enfants du parent. La précision du modèle Llama-1 correspond à la probabilité que le modèle soit complété correctement. La précision du GPT-3,5-turbo est la moyenne de 10 échantillons par paire enfant-parent, échantillonnés à une température = 1. Remarque : GPT-4 est omis de la figure car il est utilisé pour générer une liste de paires enfant-parent et a donc une précision de 100 % en construisant la paire « parent ». GPT-4 obtient un score de 28 % sur "sub".
Perspectives futures
Comment expliquer la malédiction inversée en LLM ? Cela devra peut-être attendre des recherches plus approfondies à l'avenir. Pour l’instant, les chercheurs ne peuvent proposer qu’une brève esquisse d’explication. Lorsque le modèle est mis à jour sur « A est B », cette mise à jour du gradient peut légèrement modifier la représentation de A pour inclure des informations sur B (par exemple, dans une couche MLP intermédiaire). Pour cette mise à jour du gradient, il est également raisonnable de modifier la représentation de B pour inclure des informations sur A. Cependant, la mise à jour du gradient est à courte vue et dépend du logarithme de B étant donné A, plutôt que de prédire nécessairement A dans le futur sur la base de B.
Après avoir « inversé la malédiction », les chercheurs prévoient d'explorer si le grand modèle peut inverser d'autres types de relations, telles que la signification logique, les relations spatiales et les relations à n lieux.