WorldScore— 斯坦福大学推出的世界生成模型统一评估基准

斯坦福大学推出的worldscore，是一个用于评估世界生成模型的统一基准。它将世界生成任务分解成一系列“下一个场景”生成任务，并采用清晰的基于相机轨迹的布局规范，从而实现对不同模型的公平比较。worldscore从可控性、质量和动态性三个维度评估生成世界的优劣。其精心设计的数据集包含3000个测试样本，涵盖了静态和动态、室内和室外、写实和风格化等多种类型的场景。

WorldScore核心功能

WorldScore的主要优势在于：

• 统一评估： 提供统一的评估框架，可对各种世界生成模型进行全面评估。
• 多维度评估： 从可控性、质量和动态性三个关键方面评估生成效果。
• 多场景生成支持： 独特地支持多场景生成，评估模型生成连续场景的能力。
• 模型兼容性强： 兼容3D、4D、图像到视频（I2V）和文本到视频（T2V）模型。
• 长序列处理： 支持生成包含多个场景的长序列，测试模型的长期一致性。
• 图像条件生成： 支持基于图像的条件生成，尤其适用于I2V任务。
• 风格多样化： 数据集包含多种视觉风格，评估模型在不同风格下的适应性。
• 相机轨迹控制： 评估模型对指定相机轨迹的遵循程度。
• 3D一致性检验： 确保生成的3D场景在不同视角下保持几何结构的一致性。

WorldScore技术原理概述

WorldScore基于一个庞大的、多样化的数据集，包含动态和静态配置的多媒体数据，适用于图像到视频和图像到3D模型的生成任务。

• 数据集构成： 动态配置包含图片、运动、风格、运动类型、相机路径、物体和提示等信息；静态配置则包含图片、视觉风格、场景类型、类别、相机路径、内容和提示列表等。
• 数据集规模： 包含1000个动态配置样本和2000个静态配置样本，并划分了训练集和测试集。
• 相机轨迹规范： 利用清晰的基于相机轨迹的布局规范，确保评估的公平性和一致性。
• 多模态数据支持： 支持图像、视频和3D模型等多种模态数据，适用于各种多模态内容生成任务。

WorldScore资源链接

• 项目官网： https://www.php.cn/link/33e9da7fc3825a8aeb66ff6fbb7f5dd4
• Github仓库： https://www.php.cn/link/33e9da7fc3825a8aeb66ff6fbb7f5dd4
• arXiv论文： https://www.php.cn/link/33e9da7fc3825a8aeb66ff6fbb7f5dd4
• HuggingFace数据集： https://www.php.cn/link/33e9da7fc3825a8aeb66ff6fbb7f5dd4

WorldScore与其他基准的对比

WorldScore在多个方面超越了现有的基准测试：

基准测试示例数量多场景统一性长序列图像条件多风格相机控制3D一致性TC-Bench150否否否是否否否EvalCrafter700否否否否否否否FETV619否否否否否否否VBench800否否否否否否否T2V-CompBench700否否否否否否否Meng et al.160否否否否否否否Wang et al.423否否是否否否否ChronoMagic-Bench1649否否否否否否否WorldModelBench350否否否是否否否WorldScore3000是是是是是是是

WorldScore的应用前景

WorldScore的应用场景广泛，包括：

• 图像到视频/3D模型生成： 用于视频制作、动画设计、虚拟现实、增强现实和3D建模等领域。
• 数据集支持： 为研究人员提供标准化的测试平台，促进模型的优化和改进。
• 自动驾驶场景生成： 用于自动驾驶系统的训练和测试，提高安全性。

总而言之，WorldScore为世界生成模型的评估提供了一个全面、统一且强大的基准，推动了该领域的研究和发展。