Sora从入门到精通详细介绍

蜗牛vps教程2024-02-22210

最近OpenAI 就放出一个名为Sora 的文字到视频 AI 模型,

Sora 能够根据文本提示生成逼真的视频。该模型能创造长达一分钟的视频,并且视频分辨率高达 1080p。它在处理反射和阴影方面表现良好。

目前它还没有向普通用户开放,因为 OpenAI 正在与专家合作进行红队测试,以评估该模型可能存在的偏见、风险和危害。

本文分为两部分,第一是 Sora 常识、体验网站、效果展示,第二是如何注册 Sora

一、常识

1.OpenAI 是一家什么公司?

答:OpenAI 是 AI 界的顶流公司,专注于开发大型语言模型

大型语言模型的江湖,有五大门派:

"南帝"(谷歌 Gemini)、"北丐"(亚马逊 Claude),"东邪"(马斯克 Grok)、"西毒"(Meta Llama)、"中神通" OpenAI 的 ChatGPT!

OpenAI 前身是一家非营利性的人工智能研究实验室,由马斯克、阿尔特曼发起设立。这家企业故事太多了,回头给大家写一个 OpenAI 大事记。

OpenAI 主要产品包括 GPT 系列,文生图 DALL-E3

总之,纵观全球 AI 界,OpenAI 算法第一、算力第一、产品口碑第一

2.Sora 是什么?

答:Sora 是 OpenAI 于 2024 年 2 月 16 日发布的一个 “文生视频”AI 模型,它可以根据文本指令创建现实且富有想象力的场景视频。

简单讲,想象一下,如果你能告诉一台特别聪明的电脑“给我讲个超级英雄的故事”,然后电脑就能制作出一整个视频来,里面有超级英雄飞来飞去,救人的场景,甚至还有特效和背景音乐。这就是 OpenAI 的 SORA 能做的事情。

Sora 是一个很先进的工具,你只要给它一些文字,比如描述一下你想看的视频内容,它就能根据你说的话创造出一个视频。

上面的动图是 Sora 主页抓图,请注意下面的那行小字“本页所有视频均由 Sora 直接生成,未经修改”

3.什么是“文生视频”?

答:从文本创造视频,简称文生视频。

就像是有个小电影工作室,但是全部都是由电脑自动完成的,不需要真人演员或者真正的摄影机。

Sora 看过了很多视频、图片素材,可以根据用户的提示词,产生新的视频

案例:寄居蟹使用白炽灯泡作为外壳的夜间镜头

4.有哪些文生视频软件?

答:在 Sora 之前,主流的有 Pika、Runway、moonvalley、DomoAI、leonard 等

相关评测见《文生视频软件合集》

用户不需要了解具体的技术,你使用冰箱,你需要研究制冷技术么?

Sora 与其他文生视频的优势在于,算法更优!算力更强!其他视频软件只能生成几秒,最多十秒的视频。Sora 1次可以60秒

OpenAI 能够在以前不可能的更广泛的视觉数据上训练扩散 Transformer ,包括不同的持续时间、分辨率和长宽比。更忠实地遵循用户在生成的视频中的文本指令

简单说,其他软件是图片推测视频,而 Sora 是理解后自动类似 3D 建模生成视频!

不怕不识货,就怕货比货啊

5.Sora 的定位是是"世界模拟器"

答:将 Sora 成为文生视频模型,是小看了 OpenAI 的野心

从流出的视频来看,Sora 有能力在一定程度上模拟现实世界中的人动物和环境。

不需要对三维空间,物体有任何特定的预设,纯粹是 scale 之后的自然现象。

我甚至觉得 sora 有一定的智力,它可以根据场景自己推断出周边的场景。

Sora 的先进性在于它可以根据已有的知识推断、生成新的东西,这是自我意识的雏形。

比如说一个你从来没见过摩拜单车撞击过坦克,但是你根据你的经验知道肯定是以卵击石,脑海里就会自动浮现出来惨不忍睹的画面,

sora 也具备和你同样的推断能力。

Sora 它展现的不仅仅是一个视频制作的能力,它展现的是大模型对真实世界有了理解和模拟之后,会带来新的成果和突破

比如下面的视频,仅一句话,AI 可以自己切换镜头,实现转场

6.谁可以使用 Sora

答:目前仅“红队(red team)”可以使用 Sora

红队由最早期客户,影视专业人士构成。

他们正在全面评测 Sora,确保它做出的视频既酷炫又安全,不会有任何不好的内容

目前,网上流出的各种 Sora 视频,只有两个来源,官方 demo 和红队评测结果。

7.Sora 生成视频效果

答:Sora 不但可以模拟真实的视频,还能生成特效视频,还可以在一个视频中展现不同的镜头

案例1:输入提示语“蚂蚁在蚁巢内部移动的 POV 镜头”

你会得到一个动物世界的特效镜头

案例2:“一片叶子的微距照片,显示微小的列车在叶脉中移动”

Sora 会生成以下视频给你:

8.使用 Sora 需要编程技巧么?

答:不需要,直接用自然语言提示。

所谓自然语言就是人类的语言,俗称“说人话”,看上面的提示词。

9.Sora 支持中文么?

答:从 OpenAI 的风格来看,应该支持直接输入中文提示词

10.预计 Sora 什么时候正式发布?

答:预计 3 月底之前!

按照 OpenAI 发布 DELL-E(绘图 AI)的路径来看

应该分为两个使用路径,第一是独立可用的版本、二是与 GPT4 或 GPT5 结合的版本!

11.使用 Sora 的途径 ?

答:两种方式,官方网页版、API 版

官方网页版直接在 OpenAI 的网站上生成,不需要用户安装到本机

API 版,是通过第三方调用官方的服务器资源

后期可能会有 APP 版

12.使用 Sora 需要支付费用么?

答:需要!目前 OpenAI PLUS 会员是 20 美元/月

Sora 开通后,应该 PLUS 会员可以使用一定限制(如时长)的 Sora

API 则是按流量,单独计费!

13.现在可以使用 Sora 吗?

答:目前少量用户可用,未对大众开放!

ChatGPT Plus 会员应该是下一批使用的用户!

14.Sora 和 ChatGPT 如何结合?

答:结合有两种方式

第一是界面结合,类似现在的 DALL-E

第二是功能结合,比如你才 Chatgpt 对话完成后,直接召唤 sara,说“根据 XXX,生成一段类似的视频”

15.不满意生成的视频,如何让 Sora 修改?

答:直接输入新的提示,举例如下:

Sora 不仅可以从文本生成 AI 视频,它还可以改变上传视频的风格和环境。

比如上传一段赛车视频后,只修改了提示词,就生成了 12 个不同风格和环境的视频。

让它潜入水下

上天入地都可以!作者一口气,同一辆车,弄了12个风格。

16.Sora用于影视行业版权算谁的

答:制作方的。根据现在的案例来看,只要不是赤裸裸的全盘 copy,法律上是认可的,尤其是日本等国家,鼓励 AI 发展

我查了一下,我发现各个国家的法律尺度不一样,大部分国家的法律是只要你不完全抄袭,可以借鉴风格,对原内容重新整理组合,这个是允许的,比如日本。

17、Sora 的底层技术?

答:Sora 的核心技术源自 Diffusion Transformers (DiT)模型

这是一个 2022 年 12 月由伯克利和纽约大学两位研究人员提出的模型,目前这两位一个在 Meta AI,一个在 OpenAI

都是基于谷歌的开放论文

谷歌自己的论文,但实践下来,OpenAI 最佳,谷歌人才济济但是有大公司病啊

业内梗,OpenAI 摸着谷歌过河,大家摸着 OpenAI 过河

18.我在国内如何使用 Sora?

答:等 API 开发版,应该可以直接用

可以关注本公众号,有资源,第一时间推送!

19.Sora 有 APP 吗?

答:早期不会有,预计后期会集成到 GPT APP

20.Sora 只能生成 视频吗?

答:还可以生成图片

Sora 定位在真实世界的模拟器,做视频只是顺手为之

就像歌者文明,做个视频只是“二向箔”常规武器,GPT5 才是降维大杀器

21.如何让 Sora 生成高质量的视频?

答:高质量的提示词,

这需要第一美感、第二想象力!第三,摄影、摄像经验

案例:有人看到一只白色和橙色的虎斑猫在大雨中飞快地穿过后街小巷,寻找庇护所……”(查德·尼尔森提示)

22.如何让 Sora 有声音?

答:目前官方没有配音,估计快了

另外,ElevenLabs 即将推出半自动 AI 配音测试,预计是 Prompt 形式

现在测试名单需要申请 https://form.typeform.com/to/gg0xzZW4

23.Sora 会让影视人员实业么?

答:不会。Sora 会成为影视人员的工具。

Sora 能够“无缝”混合两个视频,视频 1 是一个 Sora 生成我的世界(Minecraft)视频,然后将它跟一个骑摩托车的视频混合起来就变成了第二个视频。

可以预见未来这个功能拥有巨大的创造潜力。

24.为什么我要使用 Sora?

答:纵观人类历史,每一次能源,生产工具的提升,都会带来社会的变革。

20 多年前,PC 普及,互联网兴起,人人都在说信息化;10 多年前,手机兴起,处处讨论移动办公。

但是,现在的人已经不提信息化,不强调移动办公了。因为 IT、移动办公已经成为基础资源,类似水一样,无处不在。AI 未来也是这样。

目前 AI 的应用,只是一个开始。不仅国外,国内的各个 AI 产品也在日新月异。

工具都大同小异,掌握了 ChatGPT,使用其他 AI,轻松上手。越早掌握,越早上车。

25.Sora 会取代哪些岗位?

答:故步自封,工作场景比较固定,与视频有关的岗位

26.哪些人适合学些 Sora

答:很多人以为是程序员,其实不是。传统程序员思维有了定式。

影视专业,文学+IT青年 很适合!

27.教育应该如何发展?

答:我建议国内影视专业,尽快开通相关选修课程。提前为大家做好置业规划和知识储备

再来看一个案例,Sora 可以同时并排生成多个视频。

这是 Sora 的单个视频样本。我们没有把这一切拼凑在一起;空决定要同时拥有五个不同的视点!

二、Sora 体验网址和注册

机会是留给有准备的人的,虽然 Sora 还没有正式发布,但我们完全可以做好前期准备,进入教父的“睡床垫”战斗状态,迎接它发布的那一天

1.Sora 资源

官方网址:openai.com/sora

官网技术报告:

原文:https://openai.com/research/video-generation-models-as-world-simulators

译文:https://baoyu.io/translations/openai/video-generation-models-as-world-simulators

2、如何注册 Sora

答:按 OpenAI 惯例

Sora 应该优先提供给 Plus 用户使用

为了优先用上 Sora,你要先注册为 GPT,然后升级为 PLUS 会员,坐等 Sora 发布

按照惯例,Sora 发布后,在 ChatGPT 的界面上,就会多一个子栏目

3、如何注册 Sora 的 API

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:niceseo6@gmail.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

评论

有免费节点资源,我们会通知你!加入纸飞机订阅群

×
天气预报查看日历分享网页手机扫码留言评论Telegram