界面新闻记者 |
界面新闻编辑 | 文姝琪
在OpenAI的“12 Days of Christmas”12天连更计划的第3天，视频生成大模型Sora终于正式登场。
今年2月16日，OpenAI首次向外界展示了Sora的存在 。据其介绍 ，Sora可以直接输出长达60秒的视频 ，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色 。OpenAI在官网上公布了数十个视频demo ，并不断在社交平台X上放出由Sora生成的视频。这些内容被集合推送至OpenAI的TikTok账号上 ，短短5天内便获得了51.3万次赞，粉丝数也涨至10.6万 。
尽管“多模态模型 ”并不新鲜 ，文本到视频的模型也此前已存在 ，但从OpenAI公布的视频中可以看到，Sora可以生成的视频长度和准确性完全颠覆了市场上现有产品的表现 ，堪称史上最强文生视频产品 。
Sora不仅为OpenAI带来了大量粉丝 ，也让其估值进一步提升。不过，当时这家公司表示 ，Sora在短期内不会向大众开放 ，因为其“技术仍存在一些缺陷，包括一些空间问题 ” 。
在将近10个月之后，万众瞩目下 ，Sora终于在此次系列发布中重磅登场 。
OpenAI表示 ，2月发布Sora之后，团队开发了其新版本Sora Turbo ，其性能有了显著进步 ，即日起该版本将作为独立产品提供给ChatGPT Plus和Pro用户。
在价格上，20美元一个月的ChatGPT Plus用户 ，每月可以生成最多50个视频 ，分辨率最高为720p，时长为 5 秒；每月200美元的ChatGPT Pro用户 ，每月最多可以生成500个视频 ，可以同时生成五个视频，时长20秒 ，分辨率最高为1080p ，并可下载无水印视频 。
Sora Turbo可以生成最长达20秒的视频，最高1080p清晰度，有宽屏、竖屏 、方屏比例可选 。在生成模式上 ，除了基础的文本转视频 (Text-to-Video)模式 ，还有文本+图像转视频 (Text+Image-to-Video)模式，利用图像辅助Sora理解用户的创作意图 ，以及融入特定图像元素；以及文本+视频转视频 (Text+Video-to-Video)模式 ，用户可以上传已有的视频，并结合文本描述来对其进行修改或扩展。
此外 ，Sora Turbo还有多种视频编辑工具 ，包括替换 、删除或重新构想视频中的元素；找到并隔离最佳帧，然后向任一方向延伸它们以完成场景；使用Loop剪辑并创建无缝重复的视频以及一个名为Storyboard的选项 ，用户可以通过它详细描述希望视频在不同时间点发生的内容 ，从而更好地指导一系列片段的生成 。
目前，http://sora.com网站已经上线 ，美国及其他市场的ChatGPT付费用户可以通过该网站开始使用Sora ，但在欧洲大部分地区和英国还需要一段时间才能使用，中国用户依然受限 。
不过，由于实在是太火爆 ，Sora网站一度被挤到崩溃 ，OpenAI CEO山姆·奥特曼（Sam Altman）表示：“由于需求超出预期，我们将不得不间歇性地关闭新用户注册 ，并且生成内容的速度会在一段时间内减慢。”
在技术路线上 ，目前，业界普遍猜测Sora的成功延续了OpenAI的Scaling law法则 ，即通过海量的数据 ，大量的算力，再加上大参数模型 ，最终“大力出奇迹 ”。
OpenAI研究科学家Noam Brown在Sora Turbo发布后表示 ，Sora是scale力量最直观的展示 。山姆·奥特曼则表示，“大家可以将 Sora看作视频版的GPT-1 。 ”
市场预计 ，Sora的发布会对视频制作领域带来革命性的变化 ，无论是电影制作、广告 、游戏开发还是社交媒体，都可以借助视频生成大模型降低视频创作的门槛，产生新的机遇。
自今年2月首次预告Sora以来 ，OpenAI便开始与电影制片厂 、媒体高管以及经纪公司展开会谈 。OpenAI还允许一些艺术家、知名演员和导演试用该服务 。
OpenAI还表示 ，Sora是一项理解和模拟现实的基础性AI技术，是开发能够与物理世界互动模型的重要一步。
OpenAI发布Sora之后 ，国内互联网大厂和大模型公司纷纷跟进视频大模型这一赛道 ，包括字节跳动 、快手，今年发布视频生成模型的公司还包括阿里云 、Minimax、生数科技 、智谱AI等公司 。就在最近 ，腾讯混元大模型也宣布上线视频生成能力 ，正式加入竞争激烈的视频生成赛道 。
不过，视频生成模型领域虽然看起来火热 ，也面临着非常严峻的挑战。近日 ，百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光，李彦宏在内部讲话中称 ，Sora这种视频生成模型的投入周期太长 ，10年 、20年都可能拿不到业务收益，无论多火爆，百度都不去做 。
界面新闻从一位负责视频生成模型的技术人士处了解到 ，生成式AI技术正大幅降低视频生成的门槛 ，导致视频数据以20倍左右的速度增长，对计算成本和效率提出了严峻的挑战 。以Sora模型为例 ，其训练和推理所需的算力需求分别达到了GPT-4的4.5倍和近400倍。
中国银河证券研究院的报告也显示 ，Sora对算力需求呈指数级增长 。其根据Sora参数规模推演出的训练单次算力需求或可达到2.6×10^24Flops，相当于GPT-3175B的8.2倍 。目前Sora还在初级阶段 ，伴随不断迭代调优 ，其训练数据集规模将进一步增大，未来算力需求也会大幅增加。
上述技术人士还表示 ，在编解码层和框架层 ，视频生成模型也面临着诸多挑战。一方面是效率的问题，另一方面是在计算需求日益增长的情况下 ，能否灵活处理越来越复杂的需求 。
这些都对视频生成模型形成巨大考验 ，但其在商业化上的形势仍然不够明朗，一定程度上使训练和推理成本上的挑战更为严峻 。
视频生成模型同时还面临着安全方面的挑战。OpenAI表示，为了防止被滥用 ，用Sora生成的视频会带有C2PA元数据 ，表明这些视频是AI生成的 。在上传图像和视频之前，OpenAI还会要求用户同意使用协议 ，包括不得上传18岁以下未成年的照片、色情或暴力内容 、受版权保护的内容 。一旦被发现上传违禁内容 ，账号会被关停。
发表评论