Opne AI Sora。(畫面擷取自 Open AI 官網)
在去年最火紅的 AI 服務應該就屬於內容生成的生成式 AI 了,包括文字生成文字、文字生成圖片等,都帶給工作者以及內容創作者在相當大的便利,而隨著資訊量與運算能力的進步,Open AI 在今天凌晨推出了最新的應用:Sora 文字生成影片模型,初期先提供給紅隊進行風險測試,以及提供給部分視覺藝術、視覺設計或是影片工作者進行測試與反饋。
在 Open AI 的官方頁面上可以下載 1080p/30p 解析度,長度 60 秒的 MP4 格式生成影片,這也是目前 Sora 可生成的影片格式。(畫面擷取自 Open AI 官網)
今天公布的 Sora 模型主要奠基在 DALL·E 3 以及 GPT 模型開發而來,可以生成具有多個角色的複雜場景,特定的動作型態以及精確的主體與背景細節,並且不僅可以依照 Prompt 指令進行生成,也可以依照該生成物體在真實世界的反應進行動作。
Sora 可生成內有多個物件的動作影片,動作部分還會依照真實世界的反應進行模擬。(畫面擷取自 Open AI 官網)
特定的動作型態如車輛移動也能進行生成。(畫面擷取自 Open AI 官網)
此外,Sora 也能在單一影片中生成不同視角提供更多應用。不過 Open AI 也表示 Sora 目前仍具備一些弱點,像是在複雜場景中的物理模擬,或是無法理解特定的因果關係,像是影片中被咬的餅乾,在前後並不會出現被咬過後的缺口。另外 Sora 目前對於空間細節相關的提示語也會混淆(像是提示語中同時出現左右等),對於太過精確的敘述會出現錯誤,像是這樣:
(畫面擷取自 Open AI 官網)
雖說目前 Sora 仍在測試階段,不過依照目前 Open AI 的技術推進以及 AI 算力的增長速度,到了明年文字生成影片這項功能也會進入一般消費者可以存取的領域,屆時對於內容創作者來說可能又會是相當大的挑戰。