Les employés licenciés reviennent et Meta reconstruit le Metaverse ! Publiez des ensembles de données d'images réalistes, assemblez des lunettes AR lors d'une tournée mondiale

**Source :**Xinzhiyuan

**Introduction : **L'exploration du métaverse par Meta ne s'est pas arrêtée. Rappeler des employés licenciés, publier des ensembles de données d'images irréelles ultra-réalistes, assembler des lunettes AR dans le monde entier...

Source de l'image : générée par l'IA illimitée

L'exploration du métaverse de Meta est toujours en cours.

Récemment, Meta a développé un nouvel ensemble de données synthétiques réalistes avec Unreal Engine, dans l'espoir de réduire la distance entre les données synthétiques et les données du monde réel.

Ils prévoient également de fabriquer une nouvelle paire de lunettes AR qui ne sera utilisée que pour le développement interne et l'affichage public.

Il est rapporté que le processus de fabrication des lunettes implique des usines en Chine continentale, à Taïwan et aux États-Unis. La raison en est que les lentilles contiennent un matériau de qualité militaire qui ne peut pas être facilement exporté en dehors des États-Unis.

De plus, Meta a même mis en place un "portail des ex-employés" pour recruter lentement d'anciens employés licenciés.

Ensemble de données d'images réelles irréelles

L'ensemble de données Photorealistic Unreal Graphic (PUG, Photorealistic Graphic) lancé par Meta permet une évaluation et une formation plus contrôlables et plus robustes des systèmes de vision d'intelligence artificielle.

Cet ensemble de données synthétise plus de 200 000 images d'animaux via l'Unreal Engine, et des centaines de milliers d'images, y compris diverses poses, éclairages et arrière-plans, comme base pour la formation et l'évaluation de modèles d'images et de systèmes d'images.

Parce que PUG utilise l'image synthétisée par Unreal Engine, il garantit le réalisme du matériel d'image, ce qui élargit considérablement son champ d'utilisation par rapport aux ensembles de données d'image similaires auparavant.

Le PUG se compose de 4 parties :

1. Carlin

Espaces de représentation pour étudier la généralisation hors distribution et étudier les modèles sous-jacents, notamment :

215 040 images pré-rendues, couvrant 70 ressources animales, dont 4 tailles, 3 textures et 4 orientations différentes.

2. PUG ImageNet

L'ensemble de données fournit une référence nouvelle et efficace pour une évaluation précise de la stabilité des classificateurs d'images sur plusieurs variables, notamment :

151 types ImageNet (classes), 64 arrière-plans, 7 tailles, 10 textures, 18 angles de vue, 18 orientations de caractères et 7 intensités lumineuses.

** 3. PUG SPAR (Scène, Position, Attribut, Relation) **

L'ensemble de données est utilisé pour évaluer les modèles de langage visuel, montrant comment les données synthétiques peuvent être utilisées pour répondre aux limites des références actuelles. Il contient:

43 560 images pré-rendues, 10 arrière-plans, 32 animaux, 4 relations (gauche/droite, bas/haut), 4 attributs (bleu/rouge, herbe/pierre).

4. CARLIN AR4T

Fournit environ 250 000 images pour affiner les modèles de langage visuel des relations spatiales et des attributs.

Meta a utilisé Unreal Engine pour créer un environnement interactif réaliste à partir duquel ils pouvaient facilement échantillonner des images d'une spécification donnée.

L'image ci-dessous illustre comment Meta utilise Unreal Engine et des exemples d'images pour générer l'ensemble de données PUG.

Les ensembles de données d'images synthétiques offrent de nombreux avantages pour concevoir et évaluer des réseaux de neurones profonds.

Les ensembles de données synthétiques peuvent restituer autant d'échantillons de données que nécessaire, et peuvent également contrôler avec précision chaque scène et produire des étiquettes de données d'annotation à grain fin, contrôler avec précision les changements de distribution entre la formation et les tests, afin d'isoler les variables d'intérêt pour une expérience raisonnable.

Cependant, le plus gros problème avec les ensembles de données synthétiques existants est qu'ils ne sont pas suffisamment réalistes, ce qui limite considérablement le champ d'utilisation de l'ensemble de données.

Cependant, si un ensemble de données d'images réelles est utilisé, il sera soumis à des restrictions de confidentialité et de droit d'auteur.

La synthèse d'ensembles de données d'images réelles via Unreal Engine peut très bien résoudre ces problèmes.

La capacité de générer des données couvrant une gamme de domaines pourrait rendre l'évaluation et la formation de modèles de langage visuel plus fiables que les tests de référence existants, déclare Meta.

En plus des ensembles de données, les chercheurs peuvent utiliser l'environnement PUG pour créer leur propre environnement, en spécifiant avec précision des facteurs tels que l'éclairage et les angles de vision qui sont difficiles à contrôler avec des ensembles de données du monde réel.

Comment créer votre propre jeu de données PUG

De plus, Meta a également présenté en détail comment utiliser Unreal Engine pour créer son propre ensemble de données PUG unique.

Manuel d'instructions:

La première consiste à télécharger Epic Games pour obtenir Unreal Engine 5. Créez ensuite un nouveau projet de streaming Pixel.

Si vous n'avez jamais compris Unreal Engine auparavant, vous pouvez télécharger la démo officielle pour une introduction simple.

Lisez ensuite l'introduction officielle du moteur Unreal 5 pour comprendre le mécanisme de base de Blueprintsd.

Après avoir téléchargé la démo, ouvrez le fichier de table DTCharSelect situé dans le dossier Content/Blueprints/CharacterConfig, comme illustré dans la figure ci-dessous.

Ce tableau répertorie tous les actifs pouvant être chargés via l'environnement Unreal. Si vous souhaitez ajouter de nouveaux caractères, créez simplement une nouvelle entrée dans le tableau.

Les lunettes AR pourraient être lancées l'année prochaine : des matériaux militaires, assemblés aux États-Unis

De plus, Meta prévoit également de lancer la première génération de lunettes AR en 2024, avec une production d'environ 1 000 unités.

Ces 1 000 lunettes AR ne seront utilisées que pour les tests internes et l'affichage public, et ne seront pas rendues publiques.

Bien que le nombre soit petit, Meta a rencontré beaucoup de difficultés pour produire ces lunettes AR.

Les lunettes sont positionnées comme un dispositif informatique spatial coûteux.

Et parce que les lentilles impliquent des matériaux dont l'exportation est restreinte, le contrôleur portable et le noyau informatique sans fil de ces lunettes seront produits en Chine continentale et à Taiwan, en Chine, puis expédiés aux États-Unis, où ils seront assemblés avec les lentilles pour former un produit fini.

La raison en est que Meta prévoit d'utiliser un composé appelé carbure de silicium (SiC) comme matériau de lentille dans les lunettes AR portant le nom de code interne "Orion". Mais le composé est interdit par le gouvernement d'exporter vers d'autres pays.

Comparé aux anciens matériaux en verre, le carbure de silicium peut projeter une image plus large dans la lentille et le champ de vision est plus large. Mais c'est aussi plus cher.

Le champ de vision des lunettes Orion AR est d'environ 70° en diagonale, légèrement plus grand que Magic Leap 2 (66°) et beaucoup plus grand que HoloLens 2 (52°).

Le fait que Meta dépense autant pour un produit qui ne sera pas rendu public pourrait soulever des inquiétudes chez les investisseurs concernant les dépenses de l'unité Reality Labs de Meta.

Parmi eux, le département Reality Labs développe principalement des produits de réalité augmentée (AR) et de réalité virtuelle (VR).

Cependant, jusqu'à présent, le marché de la réalité virtuelle est encore petit, et la technologie de la réalité augmentée est encore en développement, et les scénarios d'atterrissage sont relativement limités.

Meta a investi massivement dans ces deux domaines, dans l'espoir d'établir la position de leader de Meta sur le marché.

Dans les deux domaines, Meta doit rivaliser avec un concurrent bien financé : le casque Vision Pro d'Apple.

Meta a réduit les coûts à l'échelle de l'entreprise compte tenu du ralentissement de la croissance des revenus et de la pression accrue des investisseurs, mais l'investissement total de Meta dans l'unité Reality Labs continue de croître.

Au cours des 18 derniers mois, le secteur a perdu 21 milliards de dollars cette année.

La décision de Meta de n'expédier que la première génération de lunettes AR en tant que produit interne est en soi une mesure de réduction des coûts.

De plus, la sélection d'usines en Chine participe également à la réduction des coûts.

En embauchant des travailleurs de l'assemblage aux États-Unis, les salaires horaires varient de 16,75 $ à 28,27 $. Beaucoup plus élevé que le coût de production en Chine continentale et à Taïwan, Chine.

De même, d'autres entreprises technologiques américaines qui fabriquent du matériel, comme Apple, fabriquent également la plupart de leurs produits en Chine.

Même ainsi, le coût de la première génération de lunettes AR est encore assez élevé car les lentilles doivent être produites et assemblées aux États-Unis.

Recruter des employés licenciés

Ces dernières semaines, Meta a lentement commencé à accélérer le rythme des embauches, en particulier pour les postes d'ingénierie et de technologie.

Depuis novembre, les salariés licenciés par Meta ont la possibilité de postuler aux postes qu'ils recrutent actuellement via un "portail ex-salarié" dédié.

Des centaines d'emplois sont en train d'être embauchés en ce moment, principalement pour des postes de logiciels, de matériel et de réalité augmentée/réalité virtuelle, avec certains rôles techniques clés dans les infrastructures et les centres de données.

Une personne proche du dossier a déclaré que le poste d'exploitation ne semble pas être libéralisé et que les postes de recrutement sont tous des postes avec des exigences de sortie spécifiques, car Meta a réduit le nombre de postes de direction dans son ensemble.

Le méta-recrutement s'adresse principalement aux employés ayant une expérience professionnelle riche, réduisant ainsi l'embauche de nouveaux diplômés et de stagiaires.

Plus le niveau est élevé et meilleure est l'évaluation de la performance de l'ingénieur licencié, plus la probabilité d'être réembauché est élevée.

Bon nombre des employés réembauchés seront placés dans de nouveaux postes avec des postes et des salaires inférieurs à ceux d'avant.

Un membre du personnel qui a été réembauché par Meta a déclaré qu'il avait subi une réduction de salaire d'environ 10 %. Mais étant donné que le cours de l'action de Meta a augmenté ces derniers temps, il s'attend à atteindre ce niveau d'ici un an.

Xiao Zha, qui a goûté à la douceur de réduire les coûts et d'augmenter l'efficacité, semble toujours fermement engagé sur la voie du métaverse.

Les références: