Os funcionários demitidos retornam e Meta reconstrói o Metaverso! Publique conjuntos de dados de imagens realistas, monte óculos AR em um tour global

**Fonte:**Xinzhiyuan

**Introdução: **A exploração do Metaverso do metaverso não parou. Recordando funcionários demitidos, lançando conjuntos de dados de imagens irreais ultra-realistas, montando óculos AR em todo o mundo...

Fonte da imagem: Gerada por Unbounded AI

A exploração do metaverso de Meta ainda está acontecendo.

Recentemente, a Meta desenvolveu um novo conjunto de dados sintéticos realistas com o Unreal Engine, na esperança de diminuir a distância entre os dados sintéticos e os dados do mundo real.

Eles também planejam fazer um novo par de óculos AR que serão usados apenas para desenvolvimento interno e exibição pública.

É relatado que o processo de fabricação dos óculos envolve fábricas na China continental, Taiwan e Estados Unidos. A razão é que as lentes contêm um material de nível militar que não pode ser facilmente exportado para fora dos Estados Unidos.

Além disso, a Meta até criou um "portal de ex-funcionários" para recrutar lentamente ex-funcionários demitidos.

Conjunto de dados de imagem irreal real

O conjunto de dados Photorealistic Unreal Graphic (PUG, Photorealistic Graphic) lançado pela Meta permite avaliação e treinamento mais controláveis e robustos de sistemas de visão de inteligência artificial.

Este conjunto de dados sintetiza mais de 200.000 imagens de animais por meio do Unreal Engine e centenas de milhares de imagens, incluindo várias poses, iluminação e planos de fundo, como base para treinar e avaliar modelos de imagem e sistemas de imagem.

Como o PUG usa a imagem sintetizada pelo Unreal Engine, ele garante o realismo do material da imagem, o que expande muito seu escopo de uso do que conjuntos de dados de imagem semelhantes antes.

O PUG consiste em 4 partes:

1. Animal PUG

Espaços de representação para estudar a generalização fora da distribuição e estudar os modelos subjacentes, incluindo:

215.040 imagens pré-renderizadas, abrangendo 70 recursos animais, incluindo 4 tamanhos, 3 texturas e 4 orientações diferentes.

2. PUG ImageNet

O conjunto de dados fornece uma referência nova e eficiente para avaliação refinada da estabilidade de classificadores de imagem em várias variáveis, incluindo:

151 tipos de ImageNet (classes), 64 planos de fundo, 7 tamanhos, 10 texturas, 18 ângulos de visão, 18 orientações de caracteres e 7 intensidades de luz.

3. PUG SPAR (Cena, Posição, Atributo, Relacionamento)

O conjunto de dados é usado para avaliar modelos de linguagem visual, mostrando como os dados sintéticos podem ser usados para lidar com as limitações dos benchmarks atuais. Contém:

43.560 imagens pré-renderizadas, 10 planos de fundo, 32 animais, 4 relações (esquerda/direita, inferior/superior), 4 atributos (azul/vermelho, grama/pedra).

4. PUG AR4T

Fornece aproximadamente 250.000 imagens para ajustar modelos de linguagem visual de relacionamentos e atributos espaciais.

A Meta usou o Unreal Engine para criar ambientes interativos realistas a partir dos quais eles poderiam facilmente amostrar imagens de uma determinada especificação.

A imagem abaixo ilustra como o Meta usa o Unreal Engine e imagens de exemplo para gerar o conjunto de dados PUG.

Conjuntos de dados de imagens sintéticas oferecem inúmeras vantagens para projetar e avaliar redes neurais profundas.

Os conjuntos de dados sintéticos podem renderizar quantas amostras de dados forem necessárias e também controlar com precisão cada cena e produzir rótulos de dados de anotação refinados, controlar com precisão as mudanças de distribuição entre treinamento e teste, para isolar variáveis de interesse para experimentos razoáveis.

No entanto, o maior problema com os conjuntos de dados sintéticos existentes é que eles não são realistas o suficiente, o que limita severamente o escopo de uso do conjunto de dados.

No entanto, se um conjunto de dados de imagens reais for usado, ele estará sujeito a restrições de privacidade e direitos autorais.

Sintetizar conjuntos de dados de imagens reais por meio do Unreal Engine pode resolver esses problemas muito bem.

A capacidade de gerar dados que abrangem uma variedade de domínios pode tornar a avaliação e o treinamento de modelos de linguagem visual mais confiáveis do que os benchmarks de teste existentes, diz Meta.

Além dos conjuntos de dados, os pesquisadores podem usar o ambiente PUG para criar seus próprios, especificando com precisão fatores como iluminação e ângulos de visão que são difíceis de controlar com conjuntos de dados do mundo real.

Como criar seu próprio conjunto de dados PUG

Além disso, a Meta também apresentou em detalhes como usar o Unreal Engine para criar seu próprio conjunto de dados PUG exclusivo.

Manual de instruções:

A primeira é baixar a Epic Games para obter o Unreal Engine 5. Em seguida, crie um novo projeto de streaming Pixel.

Se você nunca entendeu o Unreal Engine antes, pode baixar a demonstração oficial para uma introdução simples.

Em seguida, leia a introdução oficial do mecanismo Unreal 5 para entender o mecanismo básico do Blueprintsd.

Após baixar o Demo, abra o arquivo da tabela DTCharSelect localizado na pasta Content/Blueprints/CharacterConfig, conforme a figura abaixo.

Esta tabela lista todos os recursos que podem ser carregados por meio do Unreal Environment. Se você quiser adicionar novos caracteres, basta criar uma nova entrada na tabela.

Óculos AR podem ser lançados no próximo ano: materiais militares, montados nos Estados Unidos

Além disso, a Meta também planeja lançar a primeira geração de óculos AR em 2024, com uma produção de cerca de 1.000 unidades.

Esses 1.000 óculos AR serão usados apenas para testes internos e exibição pública e não serão divulgados ao público.

Embora o número seja pequeno, a Meta passou por muitos problemas para produzir esses óculos AR.

Os óculos são posicionados como um dispendioso dispositivo de computação espacial.

E como as lentes envolvem materiais restritos à exportação, o controlador portátil e o núcleo de computação sem fio desses óculos serão produzidos na China continental e em Taiwan, China, e depois enviados para os Estados Unidos, onde serão montados juntamente com as lentes para formar um produto acabado.

A razão é que a Meta planeja usar um composto chamado carboneto de silício (SiC) como o material da lente nos óculos AR internamente com o nome de código "Orion". Mas o composto é impedido pelo governo de exportar para outros países.

Comparado com os materiais de vidro anteriores, o carboneto de silício pode projetar uma imagem mais ampla na lente e o campo de visão é mais amplo. Mas também é mais caro.

O campo de visão dos óculos Orion AR é de cerca de 70° na diagonal, ligeiramente maior que o Magic Leap 2 (66°) e muito maior que o HoloLens 2 (52°).

Os gastos tão altos da Meta em um produto que não será lançado ao público podem aumentar as preocupações dos investidores sobre os gastos da unidade Reality Labs da Meta.

Entre eles, o departamento Reality Labs desenvolve principalmente produtos de realidade aumentada (AR) e realidade virtual (VR).

No entanto, até agora, o mercado de realidade virtual ainda é pequeno, a tecnologia de realidade aumentada ainda está em desenvolvimento e os cenários de pouso são relativamente limitados.

A Meta investiu fortemente nestas duas áreas, esperando estabelecer a posição de liderança da Meta no mercado.

Em ambas as áreas, a Meta precisa competir com um concorrente bem financiado: o headset Vision Pro da Apple.

A Meta cortou custos em toda a empresa devido à desaceleração do crescimento da receita e ao aumento da pressão dos investidores, mas o investimento total da Meta na unidade Reality Labs ainda está crescendo.

Nos últimos 18 meses, o setor perdeu US$ 21 bilhões este ano.

A decisão da Meta de enviar apenas a primeira geração de óculos AR como um produto interno é em si um movimento de corte de custos.

Além disso, a seleção de fábricas na China também faz parte da redução de custos.

Contratando trabalhadores de montagem nos Estados Unidos, os salários por hora variam de US$ 16,75 a US$ 28,27. Muito superior ao custo de produção na China continental e Taiwan, China.

Da mesma forma, outras empresas de tecnologia dos EUA que fabricam hardware, como a Apple, também fabricam a maior parte de seus produtos na China.

Mesmo assim, o custo da primeira geração de óculos AR ainda é bastante alto porque as lentes precisam ser produzidas e montadas nos Estados Unidos.

Recrutamento de funcionários demitidos

Nas últimas semanas, a Meta começou lentamente a acelerar o ritmo de contratação, especialmente para cargos de engenharia e tecnologia.

Desde novembro, os funcionários que foram demitidos pela Meta podem se candidatar novamente a cargos que estão contratando por meio de um "portal de ex-funcionários" dedicado.

Centenas de empregos estão sendo contratados no momento, principalmente para cargos de software, hardware e AR/VR, com algumas funções técnicas importantes em infraestrutura e data centers.

Uma pessoa familiarizada com o assunto disse que o cargo de operação não parece ser liberalizado e os cargos de recrutamento são todos cargos com requisitos de saída específicos, porque a Meta reduziu o número de cargos de nível gerencial como um todo.

O recrutamento de meta é direcionado principalmente a funcionários com experiência de trabalho rica, reduzindo a contratação de recém-formados e estagiários.

Quanto maior o nível e melhor a avaliação de desempenho do engenheiro demitido, maior a probabilidade de ser recontratado.

Muitos dos funcionários recontratados serão colocados em novos cargos com cargos e salários mais baixos do que antes.

Um funcionário que foi recontratado pela Meta disse que teve um corte salarial de cerca de 10%. Mas como o preço das ações da Meta tem subido ultimamente, ele espera atingir esse nível dentro de um ano.

Xiao Zha, que experimentou a doçura de reduzir custos e aumentar a eficiência, parece ainda estar firme no caminho para o metaverso.

Referências: