【新智元导读】Meta的元宇宙探索之路，仍未停息。重召被裁员工，发布超逼真虚幻图像数据集，全世界组装AR眼镜……
Meta的元宇宙探索，还在继续。
最近，Meta用虚幻引擎开发了全新的逼真合成数据集，希望拉近合成数据与真实世界数据的距离。
他们还计划制作一款全新的AR眼镜，仅用于内部开发和公众展示。
据悉，这款眼镜的制造流程涉及中国大陆、中国台湾和美国的工厂。原因是镜片内包含一款军用材料，无法轻易出口到美国以外的地方。
另外，Meta甚至还成立了一个「前员工门户」，把从前解雇的员工慢慢招了回来。
Meta推出的真实虚幻图像（PUG，Photorealistic Unreal Graphic）数据集，能够对人工智能视觉系统进行更可控、更稳健的评估和训练。
这个数据集通过虚幻引擎Unreal Engine合成了超过20w个动物图像，以及数十万张包括各种姿势，光照和背景的图像，来作为训练，评估图像模型和图像系统的基础。
PUG因为使用了Unreal Engine合成的图像，保证了图像素材的真实感，使得它的使用范围比之前类似的图像数据集要大大扩展。
用于研究分布外泛化和研究基础模型的表征空间，包括了：
215,040张预渲染图像，涵盖了70种动物资源，囊括了4种尺寸，3种纹理，4种不同的方向。
数据集提供了一个新颖和高效的基准测试，用于细粒度评估图像分类器在多个变化因素上的稳定性，包含了：
151种ImageNet类型（class），64种背景，7种尺寸，10种纹理，18个视角，18角色方向（Character Orientation），7种光照强度。
数据集用于评估视觉语言模型，展示了如何使用合成数据来解决当前基准测试的局限性。它包含了：
43,560 张预渲染图像，10个背景，32种动物，4种关系（左/右，下/上），4种属性（蓝/红，草/石）。
提供大约 250,000 张图像，用于微调空间关系和属性的视觉语言模型。
Meta使用虚幻引擎来创建逼真的交互环境，从中他们可以轻松地对给定规格的图像进行采样。
下图说明了Meta如何使用虚幻引擎和示例图像来生成PUG数据集。
合成图像数据集为设计和评估深度神经网络提供了非常多的优势。
合成数据集能根据需要渲染尽可能多的数据样本，还可以精确控制每个场景并产生细粒度的标注数据标签，精确控制训练和测试之间的分布变化，以隔离感兴趣的变量以进行合理的实验。
但是现有的合成数据集最大的问题就是不够真实，这使得数据集的使用范围严重受限。
而如果用真实的图像数据集，又会受到隐私和版权方面的限制。
而通过虚幻引擎来合成真实的图像数据集，就能非常好解决这些问题。
Meta称，与现有测试基准相比，生成涵盖一系列领域的数据的能力可以使视觉语言模型的评估和训练更加可靠。
除了数据集之外，研究人员还可以使用 PUG 环境创建自己的数据，精确指定现实世界数据集难以控制的光照和视角等因素。
如何创建自己PUG数据集
而且，Meta还详细介绍了如何利用虚幻引擎来建立自己独有的PUG数据集。
指导手册：https://github.com/facebookresearch/PUG/tree/main/torchmultiverse
首先是下载Epic Games来获取虚幻引擎5。 然后创建一个新的Pixel流媒体项目。
如果之前完全没有了解过虚幻引擎，可以下载官方的这个Demo来进行一个简单的入门。
https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo
然后阅读官方对于虚幻5引擎的入门介绍，了解Blueprintsd的基本机制。
https://docs.unrealengine.com/5.0/en-US/introduction-to-blueprints-visual-scripting-in-unreal-engine/
下载Demo后，打开位于Content/Blueprints/CharacterConfig文件夹中的DTCharSelect表文件，如下图所示。
该表列出了可以通过虚幻环境加载的所有资源。如果您想添加新字符，只需在表中创建一个新条目即可。
另外，Meta还计划在2024年推出第一代AR眼镜，产量大约在1000台左右。
这1000台AR眼镜将仅用于内部测试以及公众展示，不会向公众发布。
尽管数量不多，但Meta为了生产这个AR眼镜可谓是费尽周折。
而且由于镜片涉及到被限制出口的材料，所以这款眼镜的手持控制器和无线计算核心会在中国大陆和中国台湾生产，再运到美国，和镜片一起组装成成品。
原因是Meta准备在这个内部代号为「Orion」的AR眼镜中使用一种名为碳化硅（SiC）的化合物作为镜片材料。但这种化合物被政府限制出口到其他国家。
相比过去的玻璃材料，碳化硅可以投射更宽的图像到镜片中，视野更宽阔。但它的价格也更贵。
Orion AR眼镜视场角约为70°对角线，略大于Magic Leap 2（66°），远大于 HoloLens 2（52°）。
Meta为了一个不会对外发布的产品投入了如此巨大的成本，可能会引起投资者对Meta的Reality Labs部门的支出担忧。
其中，Reality Labs部门主要开发增强现实（AR）和虚拟现实(VR)产品。
然而，直到现在，虚拟现实的市场仍然很小，增强现实的技术还在发展中，落地场景较为受限。
Meta向这两个领域投入了大量资金，希望确立Meta在市场中的领先地位。
在这两个领域中，Meta不得不和资金实力都十分雄厚的对手：苹果的Vision Pro头显竞争。
鉴于收入增长放缓和投资者压力增加，Meta已经在整个公司范围内削减成本，但是Meta在Reality Labs部门的总投资仍在增加。
最近18个月，该部门今年的亏损达到了210亿美元。
Meta决定仅将第一代AR眼镜作为内部产品发售，这本身就是一项削减成本的举措。
此外，在选择中国的工厂也是削减成本的一环。
在美国招聘组装工人，时薪在16.75美元到28.27美元不等。远远高于在中国大陆和中国台湾的生产成本。
同样，其他制造硬件的美国科技公司，如苹果，大部分产品也都是在中国制造的。
尽管如此，因为不得不在美生产镜片、组装AR眼镜，第一代AR眼镜的造价成本还是相当高昂。
最近几周，Meta慢慢开始加快招聘步伐，尤其是工程和技术岗位。
自去年11月以 来，通过一个专门「前员工门户」，被Meta解雇的员工都可以重新申请正在招聘的岗位。
现在正在招聘的数百个职位，主要是软件、硬件和AR/VR的岗位，还有一些基础设施和数据中心中的主要技术岗。
一位知情人士表示，运营岗似乎没有放开招聘，而且招聘的岗位都是有具体产出要求的岗位，因为Meta整体上已经缩减了经理级别的岗位。
Meta招聘主要是针对有丰富工作经验的员工，减少了应届毕业生和实习生的聘用。
被裁的工程师级别越高、业绩评价越好，被重新聘用的概率会更高。
许多人被重新雇用的员工会被安排到新的岗位上去，职位和薪水都会比以前更低。
一名被Meta重新聘用的职员说，他接受了大约10%的降薪。但鉴于Meta的股价最近一直在上涨，他预计一年内会达到之前的薪酬水平。
尝到了降本增效甜头的小扎，似乎依然坚定地走在通向元宇宙的路上。
https://pug.metademolab.com/index.html
https://www.theinformation.com/articles/behind-metas-made-in-usa-ar-glasses-a-military-grade-material
