开年王炸!OpenAI深夜丢出Sora模型,直接杀穿文生视频行业,人人皆导演的时代,来了!
刚刚,OpenAI 又一次血洗了整个 AI 界!
今天凌晨,ChatGPT 母公司 OpenAI 正式上线了一个颠覆级的文生视频模型——Sora。
这大概是近半年,最具颠覆性的技术了。
相比于 Runway 或者 Pika 这类只能生成数秒、小范围运动轨迹的 AI 视频技术,Sora 模型能创造出真正意义上的视频。
从官方文档介绍来看,Sora 模型可以通过一句简单的自然语言描述,就能自动生成长达60s的视频。
并且,视频还是实现详细的场景、复杂流畅的运镜,以及表情生动的多角色。
这意味着,哪怕你是一个普通人,只要具备完整的逻辑思维、想象力,就能独立创作出一部真正的电影。
人人皆导演的时代,来了!
这一次,OpenAI 不仅杀穿了一个新的 AI 领域,短视频、影视行业或许也将被彻底颠覆!一、关于Sora 模型
OpenAI 官方文档介绍:Sora是一种扩散模型,主要通过静态噪音的视频开始生成视频,然后再通过多个步骤去除噪音,逐渐转换视频。
Sora 与 ChatGPT 一样采用 Transformer 架构,并使用了 DALL-E 3 中的重述技术,是一种为视觉训练数据生成高精准描述性的字幕。所以,Sora 在生成视频过程中精准还原用户的文本提示语义。
除了文本生成视频之外,Sora 还能根据图像生成视频,并能准确地对图像内容进行动画处理。也能提取视频中的元素,对其进行扩展或填充缺失的帧,功能非常全面。二、Sora 案例演示
案例1:一个简单的指令,60s 视频一镜到底Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.”
中文指令:“一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信而随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。很多行人走来走去。”在 Runway、Pika 等 AI 视频工具还按秒突破瓶颈的时候,OpenAI 直接一次性给出60s的视频。
这不只是简单超越,而是直接掀桌子。
OpenAI 的潜台词:我不是针对谁,在座的各位都是弟弟!
案例2:几秒钟,完成几个月的工作
想当初,皮克斯在创作电影《链接》时,为了处理怪物在移动时超级复杂的毛发纹理,技术团队直接连肝几个月。
而Sora 轻而易举地就实现了,甚至,从没有人教过它!Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.案例3:可以轻松切换多镜头的,超级预告片
Prompt: “A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.”
提示:“电影预告片讲述了30岁太空人戴着红色羊毛针织摩托车头盔的冒险经历,蓝天、盐漠,电影风格,35毫米胶片拍摄,色彩鲜艳。”要知道,以往的 AI 视频,生成的都是单镜头。
而这次 OpenAI 在多角度的镜头切换中,能实现画面、人物、细节的一致性,这是 Gen 2 和 Pika 完全无法企及的……
不得不说是个奇迹!
想象一下,当最强文生图模型 Sora 融入到最强 AI——ChatGPT 中时,或许真正的多模态、世界模型。
乃至于 AGI,真的要来了!