2月16日,OpenAI 正式发布了AI视频生成模型Sora,继 Runway、Pika和谷歌之后,OpenAI 终于加入视频生成领域的战争。据报道,Sora能够根据文本提示创建详细的视频、扩展现有视频中的叙述以及从静态图像生成场景。
AI视频领域的先行者——Runway和Pika Labs
Runway成立于2018年,是一家AI视频编辑软件提供商,主要为设计师、艺术家和开发人员提供一系列的工具和平台,产品是帮助专业人士生成各种内容。Runway致力于在视频创作领域建立人工智能系统并推动视频创作的大众化。
Runway生成的视频:
Pika Labs是一家专注于人工智能视频生成技术的创新公司。它的核心产品是一个强大的AI视频生成器,可以将文本和图像转化为动态视频。该产品是一款利用生成式AI技术制作和编辑3D动画、动漫、卡通和电影等多种风格视频的工具。其的目标是释放用户的创造力,让他们能够以前所未有的方式表达自己的想法和故事。
PikaLabs生成的视频:
Sora是什么?
Sora 是 OpenAI 开发的AI视频生成模型,它能够根据用户提供的文本描述生成高质量视频,生成长达 60 秒的视频,其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。
Sora与ChatGPT一样采用的是Transformer架构,并使用了DALL-E 3中的重述技术,是一种为视觉训练数据生成高精准描述性的字幕。所以,Sora在生成视频过程中精准还原用户的文本提示语义。
Sora能够创造出包含多个角色、特定动作类型以及与主题和背景相符的详细场景。这款模型不仅能理解用户的指令,还能洞察这些元素在现实世界中的表现。Sora对语言有着深刻的理解,能够精准地捕捉到用户的需求,并创造出充满生命力、情感丰富的角色。
Sora可以做什么?
Sora能够根据用户输入的提示词、文本指令或静态图像,生成长达一分钟的视频,其中既能实现多角度镜头的自然切换,还包含复杂的场景和生动的角色表情,且故事的逻辑性和连贯性极佳。简单理解就是,只要输入一句话,AI就会根据你的描述,生成一段视频。
OpenAI一共展示了48个文本生成的视频,随便挑两个让大家感受一下Sora的实力。比如:几只巨大的毛茸茸的猛犸象正踏着白雪皑皑的草地走来,它们长长的毛茸茸的皮毛在风中轻轻飘动,远处覆盖着积雪的树木和雄伟的雪山,午后的阳光下有缕缕云彩,太阳高挂在天空中。”距离产生了温暖的光芒,低摄像头视角令人惊叹地捕捉到了大型毛茸茸的哺乳动物,具有美丽的摄影和景深。
再比如:一个时髦的女人走在东京的街道上,到处都是温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克,红色长裙,黑色靴子,拿着一个黑色钱包。她戴着太阳镜,涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的,创造了一个彩色灯光的镜子效果。许多行人走来走去。
Sora、Pika 和 Runway 代表了人工智能视频生成的最前沿,每个都有独特的优点和缺点。Sora 擅长逼真的文本到视频内容,Runway 提供多功能视频编辑工具,Pika 擅长动画、风格化视频。
实际上,Sora能否成为AI视频领域崭新的王者还是一个未知数,在不久的将来定会出现大量的模型和产品,让我们拭目以待!在人工智能发展的几年里,关于人工智能是否会取代人类的争论从未停止过,但“变化”是不可避免的,“不变”才是异常的。
AI生成视频的时代已经到来,与其担心恐惧,不如积极抓住学习AI的主导权,投身于人工智能的新浪潮之中!