在虚拟现实、元宇宙技术快速发展的背景下,三维虚拟内容创作的高成本与低效率问题一直是行业痛点。近日,浙江大学计算机科学与技术学院博士研究生、魔芯科技陈天润带领团队,依托浙江大学 鲲鹏昇腾科教创新卓越中心提供的算力支持,实现了基于昇腾平台NPU的首个三维模型生成算法模型Img2CAD的开发。
该研究成果的核心突破之一在于破解了用生成模型得到脚本语言对三维结构的精准表达,让稀疏抽象的草图、图片等多模态输入能被通过Transformer结构高效 “翻译” 为三维几何信息,不需要可微渲染器,能够完整在NPU上实现训练和高效推理,无需大量Vector算力——并最终得到能被3D打印、CNC制造加工、数字世界展览展示的高精度3D模型,可直接导入现有CAD软件中进行编辑。其中昇腾加速套件MindSpeed提供了关键支撑,该工具支持多类型数据加载构建,可灵活适配多模态数据的异构特征,保障了视觉大模型与脚本语言表示模块的高效协同。
与此同时,通过算法模型结构的优化,团队实现了三维生成的即时交互建模。CANN算子库能充分发挥NPU 的并行计算能力和高效内存访问机制,能大幅减少计算延迟和通信开销,进一步提升模型推理速度,使系统能够快速响应用户输入的草图或图片,为实际落地场景中构建流畅的实时 3D 交互建模体验提供了坚实的技术保障。
该项目开发的三维生成方法能够用于3D数据资产的构建,并服务于KOKONI 3D打印机等应用场景,为数字制造、AR/VR相关产业提供了高效的内容创作解决方案。目前,项目已完成3篇成果论文,包括1篇中科院1区期刊论文和2篇CCF-A类会议论文,相关成果已在部分场景实现商业化落地,并将持续带动昇腾的澎湃算力在三维数字化产业应用。
此次跨模态可控三维生成技术的突破,不仅是浙江大学 鲲鹏昇腾科教创新卓越中心在产学研融合上的一次成功实践,更标志着智能三维内容创作迈入“低门槛、高效率、高质量”的新阶段。未来,随着技术的持续迭代,Img2CAD相关模型将为工业设计、数字文创、AR/VR等千行百业注入创意动能,推动虚拟与现实世界的融合边界不断拓展。
责任编辑:kj005
近日,福建省抗癌协会癌症康复与姑息治疗专委会第十一次学术会议在福州隆重召开邓爱平医生在中医肿瘤治疗领域深耕多年,积累了丰富的临床经验,尤其擅长运用中医特色疗法,...
在虚拟现实、元宇宙技术快速发展的背景下,三维虚拟内容创作的高成本与低效率问题一直是行业痛点该研究成果的核心突破之一在于破解了用生成模型得到脚本语言对三维结构的精...
在创始人张璐的前瞻引领下,社交平台Soul App在近日完成端到端全双工语音通话大模型的全面升级2025年,随着AI技术的普及与进步,“AI应用爆发...
近日,阿克苏诺贝尔在中国市场面向工业与消费品领域推出全新低温固化粉末涂料解决方案,其创新技术可使固化温度从200°C降至150°C,以兼具性能、...
引言:随着国民健康意识的提升与消费观念的转变,热烹轻食行业正如火如荼地发展起来2025年6月,尚普咨询集团对热烹轻食行业开展了专项研究,从行业趋势、竞争维度、企...
8月1日至3日,第二十二届ChinaJoyBTOB展区于上海新国际博览中心举行,作为全球数字娱乐产业的标杆展会,2025上海Chinajoy汇聚了国内外顶尖游戏...
随着第四次工业革命的浪潮席卷全球,人工智能(AI)已成为推动新型工业化的核心驱动力“在这一背景下,新型工业化不再局限于传统的制造模式,而是向着智能化...
智能终端激活“氿星蛹虫草金钩钩肽”全国运营网,打造桌面健康消费新范式近日,杭州包助倪旺贸易有限公司,作为顺安资本直属孵化企业,与浙江聚能...