17611538698
webmaster@21cto.com

OpenAI Sora与背后的研发团队

资讯 0 329 2024-02-19 07:10:49

图片

Sora出世

OpenAI在前天发布了一款新的AI产品,用户只需输入文本,即可生成一段极其逼真且富有想像力的视频,从而将战事正酣的AI竞赛引向好莱坞。

OpenAI 将其新系统称为“Sora”,源自日语中的“天空”一词。

OpenAI旗下的ChatGPT可以在不上法学院的情况下通过律师考试,而Sora则希望在不上电影学院的情况下拍摄电影。OpenAI称,Sora能够根据文本指令生成一段60秒的视频,同时保持视觉质量。

它对语言有深刻的理解,能够准确领会提示,生成令人信服的角色。Sora可生成具有多个角色、特定类型运动、精确主题和背景细节的复杂场景。还可以在单个生成视频中创建多个镜头,准确保留角色和视觉风格。

OpenAI还分享了几个样本视频,证明了通过文本生成视频的可能性。有网友称,再有三年好莱坞就消失了。

分析人士称,这是一个新的研究方向,也是2024年值得关注的一个趋势。

Nvidia 的高级研究科学家 Jim Fan 将 Sora 描述为一个数据驱动的物理引擎,他推测它是根据来自虚幻引擎 5 的大量合成数据进行训练的。地平线推理和语义基础,全部通过一些去噪和梯度数学实现,”

该技术背后的骨干,包括研究人员蒂姆·布鲁克斯(Tim Brooks)比尔·皮布尔斯(Bill Peebles)等,选择“Sora”这个名字是因为它“唤起了无限创造潜力的想法”。

蒂姆·布鲁克斯(Tim Brooks)

Tim Brooks,DALL-E 3作者之一,GitHub 5.7k️项目InstructPix2Pix作者,2021-2022年在英伟达实习时,就是视频生成研究的项目负责人。

图片

https://www.timothybrooks.com/about/

Tim本科就读于卡内基梅隆大学,主修逻辑与计算,辅修计算机科学,其间在Facebook软件工程部门实习了四个月。

2017年,本科毕业的Tim先到Google工作了近两年,在Pixel手机部门中研究AI相机,之后到了伯克利AI实验室攻读博士。

在伯克利读博期间,Tim的主要研究方向就是图片与视频生成,他还在英伟达实习并主导了一项关于视频生成的研究。

回到校园后,Tim与导师Alexei Efros教授和同组博士后Aleksander Holynski(现在谷歌)一起研制了AI图片编辑工具InstructPix2Pix,并入选CVPR 2023 Highlight。

图片

去年一月,Tim顺利毕业并取得了博士学位,转而加入OpenAI,并相继参与了DALL-E 3和Sora的工作。

值得一提的是,Tim不仅在专业领域拥有高超的技术水平,还是个多才多艺的人。

据Tim自己介绍,他还喜欢摄影和音乐,高中时他拍摄的照片获得过National Geographic颁发的奖项,本人到过百老汇演出,还获得过B-box国际奖项……

比尔·皮布尔斯(Bill Peebles)

而与Tim师出同门、晚毕业4个月的William Peebles,也是Sora的另一名负责人。

(Peebles在𝕏上用昵称Bill,在Linkedin上及论文署名时用大名William,下文一律用Bill指代。)

图片

Bill本科就读于MIT,主修计算机科学,参加了GAN和text2video的研究,还在英伟达深度学习与自动驾驶团队实习,研究计算机视觉。

毕业后正式开始读博之前,他还参加了Adobe的暑期实习,研究的依然是GAN,该项目和(时任)卡内基梅隆大学华人学者朱俊彦(也是Efros教授学生,现在在MIT)组有合作,并成为CVPR 2022最佳论文候选。

图片

William (Bill) Peebles,和谢赛宁合作,搞出了Sora的技术基础之一DiT(扩散Transformer)。论文还曾入围CVPR 2022最佳论文候选。

此外,还有一些应界本科生在此团队中,可谓年轻的研发团队。

业界评价

关于Sora 的研发主管之一 Tim Brooks 的简历。除了 AI 工作之外,他还给国家地理拍过摄影,在百老汇演出过,得过阿卡佩拉 beatboxing 的奖项。

这和很多印象中的研发人员相对单一的工作大相径庭。

微博网友们纷纷评价:

图片

朋友圈的朋友这样评价:

图片

图片

对此,大家怎么看?欢迎文底评论~

编辑:大雄
综合:量子位

评论