海角社区 免费视频 独家专访!北影节AIGC单位大奖短片到底怎样作念出来的?|动画短片|3d动画|中国奇谭
海角社区 免费视频
记者 / 刘书亮(野草)
自从商量Sora成为一种潮水之后,AI参与影像、绘图、蓄意的声息不时于耳。好多东说念主认为,AI将像也曾的三维动画本领同样,从根底上撬动通盘行业。2024年还没过半,以AIGC为名的影片与绘图节展和竞赛跟Sora的竞品同样,也曾如雨后的春笋同样不休出现。
由北京国际电影节举办的“AIGC电影短片大赛”从规格和范畴受骗属尤其受到行业眷注的一次竞赛,亦然主要面向工业化进程较高着品的竞赛。4月25日该单位的受奖礼上,短片《致亲爱的我方》获取了最好影片奖。
《致亲爱的我方》
童画 陈刘芳
出品:中国传媒大学动画与数字艺术学院
北京艾内好意思动画科技有限公司
导演:童画
监制:艾胜英
制片东说念主:白冰
艺术领导:袁智超
制作总监:陈刘芳
AI创作:陈刘芳 周帝 海辛 Simon阿文
作品的成果如实超越棒,极有质感。淌若你还莫得看过这部短片,当前就来补补课吧!↓↓↓
《致亲爱的我方》全片
一眼就能看出,这部片子在职责历程上是有新的破裂的。咱们动画学术趴裁剪部一直眷注AI在动画、影视和绘图领域的应用,于是第一时候跟《致亲爱的我方》团队交流,对艾胜英、童画、陈刘芳、海辛四位进行了深度专访。
完全干货哦!从本领罢了到蓄意创意,让咱们一齐无缺望望这部制作周期三个月的高品性AI动画短片是如何出身的吧!
《致亲爱的我方》团队
在北京国际电影节领奖现场
01
团队组建
话说,这部短片的主创有很强的“中传”基因,好多东说念主皆来自中国传媒大学:导演童画是中传数媒专科的教训,监制艾胜英憨厚是中传动画系主任,而AI本领负责东说念主陈刘芳、艺术领导袁智超也皆是传媒大学的毕业生。
2023年,海外的AI动画短片《剪刀石头布》赶紧火爆采集。那时通盘动画圈子里对AI比拟看好的东说念主险些皆在研讨这个片子。艾胜英憨厚也不例外。他合计掌捏这部作品基于Stable Diffusion的动画历程会很有价值,况兼它要比好多其它的文生视频(text-to-video)职业当前所局限的那种单调的“微动成果”好好多,因此就运转了解和学习联系本领,想要组建团队,对AI的可能性进行测试。
海外短片《剪刀石头布》
是AI动画的一个里程碑
是行家想考AI动画工业化的蹙迫起头
在团队组建AI动画本领团队时,艾憨厚第一个猜度的是陈刘芳。
陈刘芳是一位熏陶丰富的内容创作家。2022年AI本领刚刚走进行家视线时,她就进行了AI格调方面的尝试和探索。自后她也一直发奋于AI创作,并在多个AI比赛中获取了冠军。
“咱们有一个探讨动画的小群,陈刘芳会通常把她创作的AI镜头、影片发在群里。那时她作念过一个用实拍视频进步履画格调转绘的测试,画面的成果和瓦解性皆超越惊艳……咱们小群里通常敬称她为‘AI一姐’。”艾憨厚说。
而参考《剪刀石头布》的职责流,势必决定了画面推行上是转描(rotoscope)的罢了。这就需方法先有实拍素材当作基底。艾憨厚找到实拍导演熏陶十足的童画憨厚,行家一拍即合:
“童画憨厚的作品曾获好意思国粹生奥斯卡金奖。她的作品容貌充沛,况兼实拍导演本人对脚色心思的把控、照相机与演员的位置调度等方面皆有很宝贵的熏陶。她对AI本领也超越感兴致,是以咱们超越庆幸地在很短时候内组建成了团队。”艾憨厚回忆。
海角社区 免费视频
《致亲爱的我方》静帧
02
AI本领重点
在《致亲爱的我方》的制作中,AI本领团队所动用的器用,基本皆是行业里常用的器用:ComfyUI的运行环境,ControlNet用到了depth、lineart和tile,转绘使用了AnimateDiff。
ComfyUI的节点式运行环境
为了更好地限度一致性和瓦解性,团队检修了好多LoRA,其中既包括格调LoRA,也包括许多脚色形象LoRA。此外,还通过DreamBooth作念了SDXL大模子微调。
在格调方面,团队用Midjourney跑了300多张格调数据集。也便是说,是纠合AI来生成的格调检修素材。
团队参考过多种好意思术格调,比喻毕加索的蓝色时期、莫迪里阿尼、乔治修拉,还有中国的韦启好意思老先生作品内部的“蓝”——因为这个片子的基调便是蓝色的。终末,交融油画、点彩,轨范了色调,形成了当前片子的格调。经过调试,它能较好地搭配故事内容,并在转绘后也尽量保留实拍镜头的精良饰演。
格调检修的部分中间家具
每个东说念主物的脚色形象LoRA
短短5分钟的影片,脚色好多
因此需要好多LoRA
部分镜头里还使用了IPAdapter,以便让形象和格调更瓦解。
在许多创作家那边,IPAdapter是用来替代LoRA检修的;但《致亲爱的我方》尝试了两个器用近似使用,并取得了可以的成果——陈刘芳用“灵活、保障”来详尽我方同期使用两者的原因。
虽然,这里还有许多需要反复尝试的处所。不同的模子,在归并职责流下的阐发互异超越大,要在保持格结伙质感的基础上,既幸免“滤镜感”,又要贴合片子的心思,口角常难的课题。此外,不同的模子与VAE组合成果、ControlNet与IPAdapter的权重和引入时机、AnimateDiff的畅通模块等也皆会给画面罢了带来很大影响。
不同好意思术格调的AI初期探索
为了罢了更高的画面精度,团队选拔在归并次生成中领先生成1280x720的画面,再送入KSampler和VAE Decode生成1920x1080的画面,确保最猛进程的期骗模子性能和画面质感。
在问及从SD1.5举座迁徙至SDXL的原因时,团队的谜底是,这么可以让片子在AI转绘过程中获取愈加精确的信息,对轻细的、距离镜头较远的形象在画面转绘时成果昭彰进步。
03
一镜到底
《致亲爱的我方》改编自中传2017级动画专科本科生闫晓暄的大一课程功课,二维短片《Liebestraum》。但凡当年也曾看过他们班功课展映的东说念主,一定皆对这部片子有很深的印象。
闫晓暄《Liebestraum》片断
行家皆对《Liebestraum》这部短片拍案叫绝,认为它造型虽浅陋,但饰演极其精良,节拍明快,动画生动有张力。
而这么的张力有用开发在一镜到底成果的基础之上。因此,艾憨厚采用了改编这部短片来进行AI的创作尝试之后,团队在规划中也坚毅地要把这么的镜头蓄意延续下去。
一镜到底的抒发形式,意味着原有的实拍素材拍摄是个大工程。虽然,不丢脸出《致亲爱的我方》并非确凿单镜头重新拍到尾,而是动用了好多的镜头贯串妙技。况兼在画面经过AI措置后,举座会愈加阐明,更具备一镜到底的嗅觉。
04
跳舞、节拍与故事踪迹
《致亲爱的我方》的脚色饰演,跳舞感十足。这在一定进程上来自袁智超和艾憨厚的初期交流。艾憨厚回忆,袁智超保举团队参考动画短片《想起你》(Thought of You)——超越著明的一部以转描打底的动画作品——并冷落加多跳舞感来进步影片MV般的艺术质感。
海外动画短片《想起你》片断
虽然这种跳舞感也成为实拍素材拍摄的挑战之一。从拍摄斥地的选拔上,要罢了绿棚内小空间的灵活畅通,需要袖珍活泼斥地和畅通过程中的瓦解,团队对比了不同的拍摄斥地,最终童画憨厚选拔了如影4D。统共画面再进行绿幕抠像,追踪反求得到好像跟场景合成的画面。
演员与实拍团队在绿幕拍摄现场
厚爱对比过《致亲爱的我方》和《Liebestraum》就会发现,前者的叙事加入了一条“蒲公英”的踪迹,可谓高明。蒲公英,在整段“跳舞”中不休复现,成为这部短片叙事当中的蹙迫节拍点。不管是以规矩、胸针照旧绳子出现的蒲公英意料,皆象征着女主想要把我方的爱一次次给出,但又不被难得,直到迷失自我,蒲公英被风吹散、隐藏。直到坠入幽谷后,当年中各个阶段的我方再行匡助女主找回那些丢构怨洒落的蒲公英花瓣,再行凝华成无缺的蒲公英传递给女主爱的力量,让她学会把爱留给我方,才再次点亮了她的东说念主生。
童画导演我方也亲身参与了编剧职责。她说:
“我更可爱好意思好、有但愿的罢了。那时就想,原作的女主角从小缺爱,背面我方抒发爱的形式也通常过火、脆弱、爱不得法,变成堕入谷底不敢再爱。然则唯有肯定和更爱我方,才气获给力量,以及有爱东说念主的才略。然则这个‘爱’怎样具象化的抒发呢?我就猜度了蒲公英,它代表脆弱敏锐的容貌,飘忽不定的爱,也代表女主我方。”
各个时期的女主
把蒲公英递给我方
05
2D与3D动画赞助
《致亲爱的我方》的一个非凡大的优点,便是配景瓦解性很好。除了要在AI转绘参数的退换方面下足功夫以外,单独的动画赞助也超越蹙迫。通盘本领团队共同探索了二维动画、三维动画与AI相纠合的范畴与可能。
领先便是蒲公英,这个在叙事中反复出现的踪迹意料。蒲公英的粒子是在C4D内部完成的。此外,也有部分场景镜头是Blender作念的,在AE内部合成后,终末进行无缺的画面转绘。团队凭据画面的难度,选拔不同的器用组合。
Blender工程截图
单个蒲公英的动画赞助
和最终转绘成果对比
罢了这个蒲公英片断,则是二维逐张手绘后完成的。把画面作念到类似二维手绘的动作草图进程,再通过AI转绘,这个过程中AnimateDiff罢了了类似补帧+完善质感的作用。
二维转绘前和转绘后成果对比
06
尾声
对童画导演来说,实拍和动画同样,最终的主义皆是讲故事,“我画画功力堪忧,然则AI的赋能让我有了‘神笔’的力量(笑),也可以作念动画了,嗅觉很奇妙”。
工业化的AI动画制作,在行业里也曾有了不少探索。实拍+转描动画的职责流浅近框架比拟笃定,但波及的器用、具体的细节上,似乎每部片子皆不同。《致亲爱的我方》无疑再次指示咱们,影视与动画的AI时期也曾到来,而内部尚不决型、值得探索的内容还超越多。
AI也如实为创作家开放了一说念强盛的门,让选拔令东说念主头昏脑胀。参与AI本领罢了的海辛指出,这时候“照拂”反而超越蹙迫:
“在转绘的过程中咱们实验了许多不同的版块,其中不乏很好意思瞻念和意旨的影像。这个时候团队好像选拔适当的格调变得很蹙迫,需要站在整条片子的视听进行考量,将格调进行照拂,让AI能真确的职业于故事与心思。”
欧美大图另外海辛还提到,因为AI当前在脚色一致性、场景一致性和脚色饰演上我方生成的才略还比拟有限,是以AI的转绘当前需要很强的参考和指挥,因此2D动画和3D动画在通盘过程中起到了很重要的作用。动画赞助让AI的生成标的更可控与明确,同期AI也权贵提效了通盘影片的制作——旧器用和新器用在现阶段是相得益彰的。
陈刘芳认为《致亲爱的我方》是她尤为荒芜的制作履历:
“对我来说,这是由艺术家、科学家和创作家共同来探索的一个AI短片的创作历程,确凿不同以往。我也但愿这部片子能给不雅众留住好意思好的回忆,带给他们勇敢上前的力量。”
艾憨厚在采访中说起,此次创作尝试也有好多缺憾的处所,举例片中有一个基于动画性为主义的脚色骨骼诊治方面的测试,但基于本领瓶颈的原因,最终没能罢了。生机能有契机在将来再作念尝试,也接待动画、影视和AI领域的同业们一齐探讨更多意旨的话题。
《致亲爱的我方》幕后花絮视频
— 点击图片阅读更多精彩内容 —
遗迹大陆前锋年鉴!《醒目暖暖》官方图集
新版加印✨中国古典绘图发达欣赏大书籍海角社区 免费视频