在大家沉迷于Midjourney、Stable Diffusion 技术中无法自拔时,一时被人遗忘的GAN又带着新技术重出江湖了。现在P图,你只需要“轻轻点两下”,AI就能迅速理解你的想法,秒速生成结果图。
DragGAN是由Max Planck研究所开发的一种新的人工智能工具,它允许用户通过几个点击和拖动来真实地修改照片,目前还未对外开源。但王道控股旗下的“李白实验室”算法团队抢先重现了DragGAN的效果。
【资料图】
目前,可直接使用的模型能够让你轻松掌控图片中的人物和动物,通过拖拽控制点和目标点来调整他们的位置、形状、姿势等等。现在已经可以在 Hugging Face 上直接使用了。
体验入口:
https://huggingface.co/spaces/wuutiing2/DragGAN_pytorch
几个点击,轻松生成结果图
修改微笑弧度,让一张严肃的照片变成露牙甜美笑
放大图片中小哥哥的眼睛
拍照脸型不好看,一键瘦脸,毫无PS痕迹
觉得猫咪太瘦不够可爱,可以给它拉大脸庞,增加可爱度。
发际线拯救神器,这简直就是秃头星人的救命工具
轻轻一拖,在不影响美观的情况下,可以让猫咪的耳朵缩小
让狮子向右侧方向移动,是不是和“大象转身”的操作很接近
可以随意改变模特的发型,短发变长发;本来双脚分开站立的模特,可以瞬间把腿拉至并拢
原理揭秘:基于GAN的图像编辑方法
虽然上述的效果展示很多,但是其实DragGAN也就两个技术原理:
1、基于特征的运动监督,驱动手柄点向目标位置移动;
2、一个新的点追踪方法,利用鉴别性的发生器特征,不断定位手柄点的位置。
DragGAN是一种基于GAN的图像编辑方法,可以实现运动监督和精确点跟踪。任何人都可以通过DragGAN对像素进行精确的控制,进而编辑如动物、汽车、人类、风景等多种类别的姿态、形状、表情和布局。
DragGAN还允许用户选择感兴趣的区域以执行特定于区域的编辑,而不需要依赖其他网络。李白实验室复现的“DragGAN”只需要几秒就能完成效果,你可以选择不同的迭代步数,步数越多效果越夸张,其生成时间就越慢。
此外,DragGAN的无损优化功能可以让用户输入二进制掩码,指示图像中的可移动区域,从而实现更细致的控制,避免损坏图片的原属性。
与传统PS的液化功能相比,DragGAN在编辑图片时可以更好地保持图片的原始属性,并且具有更广泛的应用范围。例如,可以使用DragGAN来改变图片中车辆的位置、大小和轮胎的形状等。这种方法可以在几次鼠标拖动的时间内完成,非常方便快捷。
聚焦图像处理:从大项目到“小”工具
此次复现了DragGAN的“李白实验室”是一个年轻的人工智能技术团队,其中主创始人唐勇博士,毕业于美国宾夕法尼亚州立大学,在美国知名500强企业担任技术学科专家,高级工程师等。其他成员均毕业于国内外知名高校,清华、北大、浙大、英国*理工和美国常青藤范围等。
在开启创业之路之前,唐勇曾在美国的知名研究机构以及世界五*企业工作。他主导并参与了众多社会、环境和能源的相关项目,这些项目的合作伙伴包括美国环保署,美国国家海洋和大气管理局以及全球*能源公司。他专注于运用数学物理模型、高性能计算、多目标优化以及人工智能技术,解答现实世界中大尺度、多模态、多变量的复杂难题,这其中包括洪水预报、气候变化、能源管道设备优化设计以及系统安全等一系列棘手问题。
然而,现实世界的问题千丝万缕,影响因子五花八门,充满了无法预料的不确定性,完全理解其数学物理机理似乎是一项几乎无法完成的挑战。因此,在找到合伙人并得到杭州王道创投基金的支持后,唐勇还是成立了名为“李白”的人工智能实验室,投入大量精力研发计算机视觉、语音以及自然语言处理等前沿技术,希望通过人工智能技术提升模型的泛化能力,从而更有效地解决现实世界的复杂问题。
郭铭涛作为主创人员,也和在团队一起攻坚克难后,终于复现了DragGAN。郭铭涛来自四川大学图像所,目前在读博士一年级,主要研究方向就是深度生成模型,此前他还获得了CVPR 2023 工业图像缺陷生成竞赛冠军。
“李白实验室”在智能图像生成方面已经有不少积累。他们基于GAN技术实现了图像分割、图像修复增强、视频处理等实用性功能,其中图像背景分割算法模型在全球图像分割alphamatting.com的模型评比中斩获全球*,获得国内外近30项学术和研究成果专利,80%为发明专利。
他们还在2019年创办了“PicUP.Ai皮卡智能”项目,海外同步上线“cutout.pro”项目,海外月活超千万用户,海外站更是跻身图像编辑工具分类排名前十。
2023年在DragGAN爆火期间,他们还推出“神采PromeAI”的项目。该项目通过算法优化升级,可直接应用于建筑、室内、产品、游戏/动漫场景设计中,不需要复杂的关键词及参数设置,就可一键生成效果图、线稿、电商产品图等,实现把AIGC从玩具到工具的实用性转变。
李白实验室告诉硅星人,自创立之初,他们便投入大量精力研发计算机视觉、语音以及自然语言处理等前沿技术。目前技术还在设计、营销、生命科学等多个领域进行了商业落地,在实际生活中也得到了广泛应用。
他们此次开源“复刻版”DragGAN,也是为了能让每一个普通用户都能简单使用这些工具,努力把AI技术革新的成功带到普通用户身边。
若将DragGAN与图像生成工具结合使用,下一代内容革新技术产品或许即将诞生,用户将能够更接近他们心目中理想图像的输入。
也许不久之后,谁都可以轻松完成甲方提出“让大象转个身”的需求了。