春节马上就要到了，一年一度的微信红包封面大战又要开始了。微信公众号奖了我一万多个红包封面。所以这次我打算调整一下做个最复杂的红包封面，也就是挂件+动态，并且借由这个测试下现在AIGC的能力边界。不想看教程的朋友可以直接拉到最后领取红包封面。本次测试用到的工具有：图像生成：WHEE视频生成：Runway图像编辑：Photoshop

今年真的是AI视频的争霸赛了，昨晚Runway上线了它的新功能：多重运动笔刷，这个功能可以单独控制最多五个笔刷选定的区域。这个功能看起来平平无奇，只是针对之前的运动笔刷做了个升级，但是经常玩AI视频的其实都知道，这个是个超级大痛点，几乎等同于AI绘画里的controlnet！之前的运动笔刷虽然好，但是大家都知道，真实的场景是不会只有一个运动方向的，这样做出来的视频僵硬且假。但是运动笔刷是基于图片生成视频的，无法针对生成的视频再次进行局部运动调整。这次的更新解决了很大的一部分需求。有哪些玩法呢？大概有如下几种：场景空间运镜人物表情控制人物动作控制多个人物控制我们先来看一下他们的官方宣传视频：

修改视频尺寸这个就是视频领域的outpainting了。这两个虽然在AI绘画里早就有了，但是目前pika还是第一个把它用在视频领域的工具。AI视频的其它相关文章Stability

终于在今年的runway和pika等AI视频生成工具的混战下，SD也坐不住了今天凌晨发布了他们的AI视频生成大模型，并且宣称他们比runway和pika更加优秀😂今年不愧是AI生成视频的元年。官方介绍：https://stability.ai/news/stable-video-diffusion-open-ai-video-modelGitHub：https://github.com/Stability-AI/generative-modelshuggingface：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xtpaper论文：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf产品使用候补名单：https://stability.ai/contact

在上个月Runway举办了一场为时48小时的AI视频大赛，要求是需要75%的内容都由Runway制作，场景人物等在官方给定的几个选项中选择。最近终于从上万件作品里评出了8个获奖作品。今天我把这些获奖作品给大家逐一解析一下。全部视频字幕用腾讯的AI视频字幕翻译工具翻译，有一些不对的地方先凑合着看。前几天Runway发布了gen2的升级版本，在视频的清晰度和稳定性上都好了很多，在此之前Pika也预告了他们的2.0版本，同样是提升了清晰度和稳定性，不过暂时还没有发布。相对于AI绘画来说，AI视频在复杂性上高了整整一个维度。它并不是单纯让画面动起来，一个好的电影作品需要引人入胜的故事，分镜，配乐和配音。在这次的视频大赛中第一名的获奖作品其实十分巧妙的避开了AI生成视频的缺点，它的制作过程其实用到的生成技术并不多。人物的动作之所以非常的流畅，也是因为是用GEN-1风格迁移才实现的结果，配音也基本上是真人配音，AI度其实并不高。在过去的一年里，我们所见的大部分AI视频大多是那种巴不得人们一眼就能看出AI的作品，这些作品大多是品牌方为了蹭AIGC的热度而做的营销。而真正能改变行业的时刻其实并没有到来。无论是AI视频还是AI绘画，都是当技术能做到之前工作流和人工一样的水准的时候，我们才能称之为“取代”，不然就是一闪而过的热点。这次的AI视频大赛相比之前，已经开始展示出类似常规电影的水准，虽然还有很大的进步空间。当有一天你看到一个视频或者电影，已经分辨不出是AI生成还是人工制作的，那时才是AI视频被革新的时刻。这次的作品大部分都是由升级前的GEN2或者GEN1制作，如果使用升级后的质量估计还会更高。并且他们使用的工具大多局限在Runway，如果Runway可以更开放一些，可能会有更出彩的作品。最好的那些作品大多都是真人配音，AI配的旁白确实和真人差距很大。不过openai的多模态语音可能找到了一条解决之道，如何生成有感情的声音目前还是一个空白，如果解决了，影视配音行业也会有大变动，毕竟现在很多明星的演技一半是靠着配音演员撑起的。大奖赛：丹·哈米尔和杰夫·伍德的《2026》AI视频：GEN-1

我是21年第一次接触AIGC的，那个时候一个非常要好的朋友开始玩，但是因为工作太忙，加上那个时候出来的图效果非常差，就没有太大的兴趣去了解，那个时候的AIGC还停留在一个非常小众的geek圈子里。直到2022年3月，我开始接触到早期的AI绘画工具，一款叫disco

horizon一幅插图，是一个由半透明玻璃制成的人类心脏，矗立在汹涌的海洋中的基座上。阳光穿透云层照亮了心脏，揭示出其中微小的宇宙。地平线上以粗体字刻着引言：“在你内心找到宇宙。”提示词三"A

如果说2022年是AIGC绘画元年，那么今年估计就是AIGC视频元年了，视频的生成效果越来越好，但是一直存在一个问题就是可控性的问题。视频这个领域一直没有一个类似controlnet的存在，在之前出现了pika这样的产品，可以通过图片+提示词的方式来控制画面的呈现，但是还不够。昨天，Runway给他们的生成视频加上了四种不同的运镜功能，并且不同的运镜功能还可以相互叠加，所以一共有36种不同的玩法。Runway的这几种运镜的功能跟SD生成视频里的运镜功能非常类似了。下图是SD

写在前面：朋友忠忠刚写了篇超级详细的SD的学习指南特意推荐给大家，忠忠也是上一篇文章里BDicon模型的作者，这篇文章一共7000字，包括学历路径，案例和资源推荐，十分详细和诚恳。前言本文为深圳线下AIGC分享会PPT与演讲稿实录，主要为了给大家提供一个Stable

就在今年第六季的《黑镜》里有一集叫《琼糟透了》，讲的是未来人工智能通过搜集用户的信息自动生成电视剧。而电视剧里的科幻内容正在变成现实。昨天旧金山初创公司Fable发布了名为SHOW-1的Showrunner

pika是一个最近新出的文生视频工具，除了常规的文字直接生成视频之外它还可以通过上传图片的方式，让图片动起来。这点非常棒且重要，因为直接生成的视频往往达不到你的要求，可以通过已经有的图来生成视频意味着生成的视频可以变得可控。Website:

重新生成该部分的内容丨https://www.assemblyai.com/blog/stable-diffusion-in-keras-a-simple-tutorial/Outpainting

想想第一次制作网页设计还是十年前的事情了。网页的制作工具经历了Photoshop，sketch，figma，再到现在的AI直接生成。这些工具的变迁，也是科技的变迁。从最开始的用Photoshop来制作网页，非常繁琐的手动标注页面，人工切图。到sketch开始自动化标注切图。还记得2017年的时候组织翻译的原子设计，然后慢慢的UI工作流开始越来越组件化，UI设计工具也把组件化整合到了工具中。再后来就是AIGC兴起，界面设计工具再一次变迁。最近的设计工具基本全面在拥抱AIGC，但是对于UI设计来说，这条路并不好走。一开始大家会延续文生图的思路，都是走文字一键生成页面的模式，但是对于大部分的真实产品工作流，UI设计是一个需要结合产品，原型，用户调研，每一步都需要数据支撑很严谨的事情。跟文生图的那几个工具类似，便捷还是可控是每个产品都需要思考的关键点，一边是人人都可以快速学会使用的midjourney。另一边开源的

写在前面：AIGC的版权问题一直是这个行业发展最关键的要素之一，AI生成作品版权的归属问题以及相关的法律条款也将是这些年法律界关注的重点。上周一特赞联合光大律师事务所共同发布了目前第一份针对AIGC的行业版权白皮书，AIGC研修社作为合作媒体参与了本次白皮书的发布。△

昨天MJ发布了它的5.2版本，让人惊喜的是新版本里有了outpainting扩图功能。这个功能最早由去年的dalle2推出，然后很快SD也有了类似的功能，再后来就是前不久发布的PS的AI版本里也搭载了outpainting和inpainting的功能。这是个非常实用的功能，这次的MJ的outpainting对比这些工具有哪些优势和劣势呢？我做了细致的对比。outpainting扩图和inpainting图片修改在dalle，SD和PS上都是一起出现的，但是本次的MJ里只有outpainting这一个功能，并且outpainting的控制性上还相对局限。比如其它三个都可以朝着特定的方向可控性的拓展图片，但是MJ的目前只能按照特定的比例整体拓展。另外还有一个局限性在于MJ目前只支持MJ生成的图片进行拓展，并不支持上传第三方图片。但是其他的工具都支持。这个在算法层面的难度系数是有区别的，对于自有模型统一生成图片的效果的难度是低于第三方图片单纯通过一张图片去模拟风格的。图片的拓展效果来说，midjourney作为模型生成效果最好的产品，生成的质量肯定是没的说的，但是PS也不差。单纯从随便上传一张图都能很好的模拟风格这点，我觉得PS更厉害一些。以下是四种方式outpainting的效果对比：原图是用MJ生成的。可以看出MJ和PS效果都很好，dalle2整体还行，但是细节上很差，SD的效果是最差的。而对于MJ的这次扩图功能来说，它在生成的过程中其实对原图的边缘进行了重绘处理，这个我计算了一下大概是32px的范围。在测试的时候生成了5张图合成一个小动画的时候，可以直接看出来这个边缘的问题。这个在一年前的Dalle2上并没有这个问题。MJ这次出了四个模式，1.5倍放大，2倍放大和方形放大，还有自定义放大。自定义放大可以更改提示词内容和比例。以下是对比效果：所以总结一下结论：MJ的这次outpainting功能如果是拓展MJ生成的图，并且没有其他特殊要求的时候，肯定是最好用的。四个工具综合来说，目前我还是觉得PS

quickqr。在发布后的短短的14小时已经有了7000多赞。操作非常的便捷，基本上跟Midjourney类似，下面就简单的介绍下玩法和生成的效果。网站：https://quickqr.art/

SD，可以训练可以使用原生的版本。但是我看了好多个平台，基本上没有完整版的，更别提一些小插件的更新。价格上呢，毕竟相对于批发商的云服务平台，中间商还是需要赚差价的，肯定不会比他们更便宜。4、MAC

这是昨天ControlNet发布的重大更新，是基于一张图片作为参加就可以生成对应风格和特定人物的图片，而不需要调用特定的LoRa。https://github.com/Mikubill/sd-webui-controlnet/discussions/1236ControlNet

Diffusion+ControlNet做角色设计？https://mp.weixin.qq.com/s/-5U3oHWP4c4YN0X4Vji0LA提供免费

的时代，我们甚至需要按月，按周，甚至按天来更新我们的知识。现在大家都在恐惧chatgpt是否会取代自己也不过才出来刚刚4个月。在AI绘画这个领域，我是从去年3月份开始关注的，还记得那时候的disco

模式三：图片生成视频不需要提示词直接使用图片生成视频。文生视频这个领域去年Google也发布过类似的产品，但是后面就没有什么水花了。归根结底还是因为目前的文生视频还是只能生成很短的几秒钟。GEN-2

你从不给学生答案，但始终尝试提出正确的问题，以帮助他们学会独立思考。你应该始终根据学生的兴趣和知识调整你的问题，将问题分解成更简单的部分，直到它处于适合他们的水平。用户：如何求解线性方程组：3x

Kickoff”会议中四位微软德国员工详细介绍了像GPT系列这样的大型语言模型（LLM）作为公司及其Azure-OpenAI提供的破坏性力量。微软德国的首席技术官和数据与人工智能领导Andreas

目前已由ChatGPT驱动游戏介绍与下载：https://fakecheese.me/1001-Nights项目论文（与彩云小梦合作）：Bringing

生成关键帧，来制作视频，下面是几个通过这种方式的案例。来源：https://twitter.com/TomLikesRobots/status/16281000629108572173

这是一篇来自reddit上关于ControlNet的帖子，我把它简单翻译了一下，写的还是挺详细的，大家可以参考。原文链接：https://www.reddit.com/r/StableDiffusion/comments/1167j0a/a_guide_for_beginners_on_a_controlnet_workflow/这里有一个controlnet的快速指南和一些绘画技巧，以下是你需要遵循这个简单的指南的内容。1

的github页面更新了最新的功能：猜测模式。这个模式支持大家可以在不输入提示词的状态下使用之前的线稿之类的底图，直接生成图片。作者在文档里说到：这是

今天早上花瓣服务号的公众号发了推文，上线了他们的AI设计工具，其实之前各大设计工具都已经陆续上线了AI绘画的功能。但是这一次稿定设计上线的AI绘画工具的主要功能是基于2月13日才在github上开源的ControlNet模型。稿定AI悄上线，视觉内容创作进入新纪元2月13日开源的，2月19日就上线了，这么快的么？这是什么中国速度？这几天稿定设计的研发没有少加班吧。于是我速度的去体验了一下。很多人看到这里，都会吐槽说

就在情人节前一天一款叫ControlNet的SD插件发布了，这款插件在短短的两天内成为了AI绘画领域最新的热点。而它的出现代表着AI生成开始进入真正可控的时期，而AIGC的可控性是它进入实际生产最关键的一环。在此之前，大家用了很多方法想让AI生成的结果尽可能的符合要求，但是都不尽如人意，ControlNet

VX：dousha_2019

解决了吃面难题的nijijourney今天在逛推特的时候忽然发现很多关于Niji·journey的推文了，想起自己之前申请过它的内测，检查了一下才发现今天收到了Niji·journey的测试邀请。这个号称要做最好的二次元AI生成器的niji究竟怎么样呢？这篇文章我会详细的从各方面做一下测试。Niji·Journey