驾驶场景仿真画面一换视角就模糊变形、一插入虚拟车辆就前后景错位?这个困扰行业的共性难题,迎来了新的技术突破。
近期,长城汽车与中国香港科技大学、清华大学等高校研究团队联合发布的最新开源研究成果 SPVC,针对3D驾驶场景渲染中的各类伪影问题,提出了一套结构化、全景式的视频修复方案,让数字仿真场景更稳定、更可控、更贴近真实道路环境。
为什么驾驶辅助场景仿真,急需一套“修复术”?
近年来,3D高斯泼溅(3DGS)凭借高质量重建与高效渲染的优势,逐渐成为驾驶辅助场景建模的主流技术路线。但在实际应用中,它始终面临两个典型痛点:
- 新视角渲染失真:当车辆轨迹偏离原始采集路径时,道路、建筑、车道线容易出现结构扭曲、局部模糊
- 3D资产插入违和:往场景中添加虚拟车辆等资产时,容易出现车身外观失真、前景与背景衔接错位
不止是单帧画面的问题,连续视频序列还容易出现时序闪烁、帧间不一致的现象。这些仿真中的“伪影”,会让下游的感知、规划模型学习到错误的特征,最终削弱驾驶辅助算法在真实道路上的决策可靠性。
SPVC 针对结构化、全景式、视频级、跨数据集修复,缩小仿真与真实场景的差距
SPVC:一套框架解决四类修复难题
SPVC全称为 Structured and Panoptic Video Fixing for Cross-Dataset Driving Scene Rendering,(面向驾驶场景跨数据集的结构化与全景视频渲染修复),它没有走“针对单个问题单独优化”的路线,而是将驾驶场景修复统一为四大设计目标:
结构化修复:给修复加上“空间标尺”
引入相机位姿、3D检测框、高清地图作为明确的空间约束,给修复过程划定清晰的空间逻辑,减少无依据的内容生成,让修复结果符合真实物理规律。
全景式修复:前景背景同步修正
既修正背景的道路、建筑、标识牌扭曲,也解决前景插入车辆带来的外观失真、前后景错位,实现全场景的渲染伪影修复,没有“修补盲区”。
视频级修复:保证时序流畅不闪烁
针对连续驾驶视频序列做整体处理,而非逐帧单修,充分利用帧间时序信息,有效改善视角变化时的画面闪烁问题,保证视频序列的连贯一致。
跨数据集修复:一套模型适配多场景
通过在多个公开数据集与自研采集数据上训练,同一个模型可以适配不同数据来源、不同道路场景的修复需求,无需针对每个数据集单独训练修复模型,通用性更强。
简单来说,SPVC就像一套专为数字驾驶场景设计的“智能高清修复系统”:视角变了能修清,加虚拟车能修自然,换数据集也能稳定生效。
星空人工智能技术网 倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至1851688011@qq.com我们将及时沟通与处理。!:首页 > 星空人工智能产业 > VR|虚拟现实 » 驾驶场景仿真获突破 长城汽车联手高校让仿真更贴近真实路况