今年4月,一场人工智能美学与人类美学碰撞的“ai时装周(ai fashion week)”在纽约上演。时装周收到数百份ai生成的作品,这些作品“打破边界、敢于冒险,正创造真正的独一无二”。以下是时装周评选出的top10作品:
新一轮人工智能浪潮正为服装与时尚产业带来更多灵感与创新,也被认为有希望提高行业的数字化水平与设计制造效率。根据麦肯锡分析,未来3到5年,“保守地说”,生成式ai可能会帮助服装、时尚及奢侈品行业的营业利润创造1500亿美元的增量,乐观估计可高达2750亿美元。
凌迪科技style3d(以下简称“style3d”)作为数字时尚的基础设施,致力于为服装产业提供从设计到生产全流程的3d数字化j9九游会的解决方案。拥有深刻技术基因的style3d已于近期快速研发上线了一系列aigc功能,包括ai款式分析、ai生成图案、ai生成版片、ai生成材质以及快速生成电商上新图等。
服装产业链长而复杂,且要求ai生成的内容必须包含结构化数据、直连生产,这促使style3d必须基于行业数据和产业需求打造“产业级模型”。
近期,凌迪科技style3d首席科学家王华民在nvidia 初创加速计划与高榕资本榕汇联合举办的加速营活动上,分享他们对于服装行业探索aigc应用的过程和思考。王华民是公认的世界级图形学科学家,有近20年图形学学术研究背景。
以下是王华民博士的分享(经整理):
服装行业是依赖大量“上新”带动消费的产业,对创造力和效率有极致追求。创意浓度高、能够接受多样性,也让服装相对其他行业对ai有更高的容错率,适用于aigc去落地和探索。
但是我们也必须认识到,服装是历史悠久、产业链分工非常成熟的行业。拆解服装行业链路,各个环节需要产出的内容从2d到2.5d、3d兼而有之,而且这些内容是“一环扣一环”的。
2d:即设计师最初灵感迸发后在纸面上设计的内容,例如草图或款式图。
2.5d:版师基于款式图进行制版,制版的目的是把设计内容变成真实的、三维的物体,这一步在真实世界通过制造样衣来实现,虚拟世界则通过仿真模拟来实现。版型是连接二维和三维的桥梁,所以称作2.5d。
3d:随着元宇宙的发展,未来3d数字服装对于服装行业会愈发重要,数字服装与数字人(avatar)结合起来,便有了可交互的方式。
2d:在服装展示环节,图形学技术通过渲染,把三维物体变成2d视觉效果,例如输出电商上新的图片或视频。
服装行业的上述环节和特性,决定了ai生成的内容想要真正创造价值,需要满足以下特性。
首先,输出的内容和元素需要是多模态的,不同环节生成的不同类型内容需要结构化相关联。其次,生成内容必须和实物商品相对应起来,完全支持直连生产。最后,生成的内容不能是一次性的,比如版型和设计内容可以沉淀为数据资源并支持复用。
基于对产业特性和客户需求的深刻理解,从style3d探索aigc伊始,我们就意识到:需要基于我们积累的大量垂直行业数据和素材库,去训练垂直领域的产业模型。
目前我们在开源的stle diffusion基础上训练自己的模型,stable diffusion支持本地部署和定制模型,可控性较好,且风格不限。我们也将这一模型定义为“style3d ai产业模型”,拥有完整的适用于服装行业的prompt。
众所周知,生成式ai模型进化的速度非常快,整体训练成本和对数据的依赖将逐步降低,稳定性和安全性也越来越强。我们在开发产品时,不局限于某一种特定的模型,而是紧密关注技术的发展,产品也能够不断迭代。
而且,如果要真的开发客户满意的产品,涉及的并不仅仅只是生成式ai模型。比如需要做图像分割,那么就要用到推理式ai模型;需要以图搜图、对图像做分类,就涉及检索式ai模型。所以在开发真正可用产品时,我们致力于将各类ai模型技术进行结合。
仿真模拟等图形学技术是style3d一直以来的强项,ai浪潮来临,我们走的是ai技术和图形学技术相结合的技术路线。尽管未来aigc有潜力直接生成3d内容,但目前看短期内用aigc替代实时仿真模拟还是有一定难度的。
aigc和图形学技术可以说是互补的关系,aigc生成的内容可以为仿真模拟提供素材、材质和视觉效果上的增强;仿真模拟可以提供实时环境和底层的效果与算力支持。
接下来我们重点介绍,style3d利用ai技术,是如何赋能服装产业链若干关键环节的。面料/工艺资源库一直以来与面料供应商、开发商,对面料的纹理和图案有广泛需求。
以往我们构建了一个支持搜索的庞大资源库;有了aigc技术之后,在已有资源数据基础上,我们的模型支持用户文字搜索生成更多的纹理/图案,帮助设计师和面料商更快找到想要的效果。
此外也支持图片搜索生成更多的纹理/图案,用户上传一张倾向的风格图片,可以生成类似风格的纹理和图案。这一应用和成熟的图像生成技术非常像,只是我们的产品工具基于行业积累的专有数据。
工艺方面,客户可以利用aigc,基于照片生成不同的工艺和效果。比如想要刺绣效果,可以利用ai去生成背后的置换贴图(displacement map)或凹凸贴图(bump map),以及所需的矢量图等。
2d服装款式设计生成基于我们的产品,设计师通过输入各类prompt可以快速生成款式图,帮助找到早期原始的设计灵感。例如可以输入趋势热词;也可以以文生图、以图生款;或者上传多张图片、实现款式融合;当然也支持二次的款式编辑和重建。整体希望打造帮助设计师寻找灵感或优化设计的全局性工具。
这一方面,普通图片生成工具很难支持细节设计。style3d则开发了细节设计功能,包括工艺、元素、风格、色彩等维度,让设计师利用aigc去实现服装细节的设计。2.5d版型生成在服装行业,以往版型设计由专业版师去实现。
今天利用aigc,输入一张写实的图片、设计草图甚至文字,都支持生成相应的版型。实际上要做到这一点挑战很大,因为版型需要与真实制造相连,且包含了非常多的信息,如版片形状、版片间的缝合关系与工艺、版片与人体的位置关系、版片面料类型、生产工艺乃至辅料信息(纽扣、拉链等)。这要求我们有大量的结构化数据和对服装制造本身的理解做支撑。
3d模特姿态生成从2.5d到3d,我们主要依赖图形学的仿真模拟技术,目前ai方面的尝试主要针对3d人体姿态的生成。2d视觉效果生成以往从3d到2d视觉效果,主要通过图形学的渲染实现,带来一个有待提升的问题就是不够逼真。对于模特上身图来说,如果人不够逼真,那么效果就会大打折扣;有了aigc技术之后,可以生成更加真实的模特形象。
此外,我们开发的工具还支持人脸生成,可根据客户需求定制不同的脸型、发型、年龄、肤色等。对于电商或服装品牌来说,利用ai也可以快速生成模特上身效果图片,极大提升效率、节省成本。
style3d ai产业模型——电商上新应用场景/背景生成过往关于服装在特定场景中(如秀场、实体店等)的呈现,我们需要依赖收集的大量场景照片,但这是有限的;利用aigc可以生成大量场景,结合模特展示会带来更好的效果图。
从上述环节看,我们坚信aigc将更好辅助设计师、版师等服装行业人士,激发创意、提高效率。过程中,我们也就遇到的现实问题不断探索和思考
。1)数据对于aigc而言,数据非常非常重要。就像厨师烹饪一样,数据就是食材。服装行业最大的问题在于,过去我们拥有的数据可能是非结构化、残缺的,不满足多模态的需求。所谓多模态,数据要包含文字、图像、线稿、版片和3d模型。
此外对于中文语言环境而言,中文和行业术语有多义性,需要做到统一。除了依赖过往积累的行业数据,我们也正积极挖掘更多的数据,也有大量的人力精力花在数据积累上。我个人认为数据是aigc落地最大的难点之一。
2)模型模型方面,需要解决稳定性、可控性和安全性的问题。除了期待aigc的模型不断优化,也依赖数据质量实现更强的可控性和更高的安全性。除了依赖人工标注,style3d也开发了一些自动化工具进行数据清洗,帮助实现安全性。
3)评估对于ai模型来说,还有很关键的一点是如何定义评估函数。对于服装行业,一方面很难去量化评价设计的究竟好不好;其次很难标准化,因为设计有较强的主观性。style3d自身有一支专业的设计师团队,我们也在探索如何定义评估指标,最终开发一个合理的、符合落地需求的评估模型。
4)部署最后就是如何部署。针对偏工程和算力方面的问题,需要我们逐一去解决。
style3d ai产业模型midjourney的创始人david holz曾在接受科技媒体the ver专访时提到,ai正不断产生新的美学,几乎就像“审美加速主义”,“但它们不是人工智能美学,而是新的、有趣的人类美学,我认为它们会溢出到真实世界”。
而style3d的探索,正是将ai技术与产业需求结合,推动人工智能助力真实的服装和时尚行业,加速创造力和生产力变革。