|
你用過AI文生圖、文生視頻嗎？ 從年初Sora視頻生成模型推出后，國內(nèi)大公司，字節(jié)、快手，紛紛推出了自己的產(chǎn)品。從個人效率角度來說，我之前沒怎么想過用生成圖片、視頻；雖然試過很多次，但發(fā)現(xiàn)，現(xiàn)在生成的圖片質(zhì)量還達不到商業(yè)使用標(biāo)準(zhǔn)，如果真要用，可能還要用設(shè)計軟件二次加工。說到剪映，大家應(yīng)該都很熟悉。一提到它，就會想到剪視頻。因為它簡單好用，許多專業(yè)做視頻的人都把它作為首選。幾個月前，剪映Dreamina把中文名改為「即夢」，還加入了很多新功能，比如用AI制作圖片和視頻，還有故事創(chuàng)作。剛開始我對新功能不是很感興趣，但這兩天，在剪視頻過程中，又體驗了一下。發(fā)現(xiàn)有亮點，也有缺點，那么，表現(xiàn)力究竟如何呢？ 01 首先，即夢AI主界面還是保持了剪映的簡單風(fēng)格，整體布局分成左右兩部分。 左邊給創(chuàng)作者用的工具，你可以在這里調(diào)整模型，設(shè)置提示詞、控制鏡頭，還能選擇畫面大小、生成次數(shù)等；右邊用來預(yù)覽生成的視頻和圖片；點擊任何一個圖片或視頻，你都可以再次編輯或重新生成，這非常符合我們工作的習(xí)慣。我特別喜歡「HD超清」和「細(xì)節(jié)修復(fù)」兩個功能，它們能讓生成的畫面看起來更真實。主頁下面，有一個用戶社區(qū)。這里分成靈感和短片兩大類，每類下面都有用戶上傳的各種風(fēng)格的作品。比如：在靈感類別里，有國風(fēng)美學(xué)、海報設(shè)計、動漫游戲、未來科技、繪本插畫；短片類目現(xiàn)在還沒有細(xì)分。我覺得這種分類，是為了更好地展示作品，讓用戶找到自己感興趣的內(nèi)容。我比較喜歡寫真人像類別，不知道它以后是不是能輔助攝影師做修圖使用。大致看了看社區(qū)的作品，質(zhì)量挺高的。大多數(shù)圖片和短片點開后，都可以直接下載，還會顯示一些提示詞，你可以直接復(fù)制使用，大多數(shù)提示詞是中文，這表明國產(chǎn)AI軟件對中文的理解能力已經(jīng)很不錯了。它一共分為四個能力，即：圖片生成、智能畫布、視頻生成、故事創(chuàng)作。我先試了生成圖片功能。用時，得輸入一段描述文字，選一個模型（我用最新的即夢通用 V2.0，還是beta版），等幾秒鐘，系統(tǒng)就會出來四張AI生成的圖片；如果看著不順眼，還可以再編輯或者重新生成。這些圖片，你還可以拿來當(dāng)參考，進一步調(diào)整人物的長相、景深和姿勢，甚至還能局部重畫，或者直接用這個圖片去生成視頻。我讓Kimi幫我寫了一個提示詞，用來描述一個女性，內(nèi)容如下：一個金色波浪長發(fā)的女性，穿著白色蕾絲長裙，站在有古典風(fēng)格的室內(nèi)，背景是柔和的自然光，看起來既夢幻又精致。她的眼神深邃，表情溫柔，好像在講一個古老又美麗的故事。圖片的細(xì)節(jié)豐富，色彩鮮明，光影處理得也很細(xì)膩，給人一種高級的感覺。尺寸我選擇3:4，大概15秒就出來了4張不同的AI圖片。從一個外行的角度看，我覺得這些圖片有點像動漫風(fēng)格；可能因為那個“夢幻而精致的寫真風(fēng)格”的關(guān)鍵詞。所以，我微調(diào)了一下，加上了中國人、接地氣。后來出現(xiàn)的效果，如上述對比，你覺得怎么樣？個人認(rèn)為還算可以，AI表現(xiàn)力相對穩(wěn)定；不只試了人像，其他類型也試過，都能準(zhǔn)確生成。不過在細(xì)節(jié)上，有時候會有點小瑕疵。 02? 說完文生圖，第二點，聊聊即夢AI的圖生圖功能。 所謂圖生圖。即，上傳一張圖片，AI會根據(jù)這張圖片的風(fēng)格、色彩和內(nèi)容作為參考，然后生成一些新的、創(chuàng)意的圖像。這不是簡單地復(fù)制原圖，而是在原圖的基礎(chǔ)上加入創(chuàng)新。手頭沒有合適的圖片，我就拿自己開玩笑了。我用一張我個人的形象照作為底圖，在選擇參考時，選了「人物長相」。接著，我讓Kimi Chat幫我寫了個指令，想讓它生成一張專業(yè)形象的照片。提示詞是這樣的：“穿著一套剪裁得體的商務(wù)西裝，展現(xiàn)出專業(yè)的形象。”注意了：當(dāng)你進行圖生圖，上傳不同的照片時，要選擇合適的模型。這里有通用1.4、2.0和2.0 Pro可選。對于人像，我選擇了1.4這個模型。
這個模型的描述是，它能從攝影寫實到描繪風(fēng)格都做得很好，主要是用來處理人像的，它可以根據(jù)需求，在寫實和風(fēng)格化之間找到平衡，呈現(xiàn)出你想要的人像效果。所以，它人像能力應(yīng)該比較強，整個過程挺快的，不到30秒就出來四張圖。第一次生成的時候，嘴部有點扭曲，我點擊「細(xì)節(jié)修復(fù)」來局部調(diào)整；但說實話，生成的圖片和我個人還是差挺遠的。不能就此斷定模型不好，我又試了一次，在原圖基礎(chǔ)上，我改了提示詞為：做出加油動作，然后做鬼臉，吐舌頭并眨右眼，它生成的結(jié)果是第三張。美國有個網(wǎng)絡(luò)紅人叫握拳寶寶（Sammy Griner）。我下載了他的一張照片，用來做背景圖。這次選擇的模型是即夢通用XL Pro，精細(xì)度調(diào)到了八。做出加油的動作，然后做鬼臉，吐舌頭并眨右眼。下面是AI生成的，我精修過的圖片。我覺得這次效果還不錯，因為原圖分辨率不高，我以為它最多只能識別出臉部輪廓，沒想到它能生成這么清晰的照片。然后，我又試了一個新的指令，在AI生成的圖片基礎(chǔ)上，我加了新的提示詞，稍微難一點：“請生成一幅現(xiàn)實主義風(fēng)格的圖像，畫一個五歲的男孩在春天的公園里。他手里拿著一個五彩斑斕的風(fēng)箏，做出加油的動作，然后做鬼臉，吐舌頭并眨右眼；背景是綠油油的草地和遠處模糊的藍天?！?/span>這個提示詞挺復(fù)雜的，包括現(xiàn)實主義風(fēng)格、特定年齡的人物、服裝細(xì)節(jié)、動作和背景環(huán)境。最后生成的第三張圖，我覺得效果還可以。
需要注意，那張圖是經(jīng)過「細(xì)節(jié)處理」和「超清處理」后才達到的效果，所以，這是文生圖和背景圖的結(jié)合，背景上還加了新的提示詞，最后的結(jié)果經(jīng)過兩次編輯才完成的。雖然處理后的圖片里，孩子沒有吐舌頭和眨眼，但綠油油的草地和遠處模糊的藍天還是被保留了。因此，可以說，即夢AI的圖生圖模型，在控制整體畫面上做得不錯，但在細(xì)節(jié)處理上還有提升的空間；這可能是因為它沒有足夠多的圖片來進行訓(xùn)練。除此外，我沒有對影視1.4和通用2.0模型進行測試；根據(jù)官方描述，影視1.4模型主要用于處理影視風(fēng)格的多重敘事，通用2.0模型則是針對更精準(zhǔn)的描述詞，適用于多樣的風(fēng)格組合。我認(rèn)為，這兩個模型應(yīng)該是針對特定場景設(shè)計的，你可以試試看。 03? 它的第三個能力叫做智能畫布。什么是智能畫布呢？ 想象一下，你有一張照片。上傳到智能畫布后，就可以自由地編輯和修改這張照片，還能加入各種元素，這個功能的主要目的是讓創(chuàng)作過程變得直觀又高效。智能畫布雖然和圖生圖有點像，但還是有區(qū)別。它不只是簡單地生成新圖片，更像是一個高級編輯工具；它能實時響應(yīng)你的需求，讓你能深度定制和創(chuàng)意地表達自己的想法。上傳后，我有兩個選項：一是直接重繪圖片本身的細(xì)節(jié)，二是輸入提示詞來指導(dǎo)重繪。我選擇了第一種，用的畫筆比較粗，結(jié)果生成的細(xì)節(jié)太粗糙了；所以，我把畫筆調(diào)細(xì)到20，再試了一次，但效果還是不太理想；不過，當(dāng)我用上「HD無損超清」和「細(xì)節(jié)修復(fù)」功能后，效果就好多了。所以，給想試智能畫布的朋友們提個醒：雖然它的生成效果和效率都不錯，但局部重繪的功能還有問題。以月球細(xì)節(jié)為例，如果你自己選擇重繪的范圍，可能會得到一些風(fēng)格很奇怪的圖片。它的處理邏輯是先整體再細(xì)節(jié)，我猜這可能是因為局部重繪沒有輸入關(guān)鍵詞的選項，所以AI得自己猜測重繪的風(fēng)格，而這個猜測的準(zhǔn)確率并不是很高。此外，即夢AI的擴圖功能很強大，你可以不停地擴展圖片。在擴圖時，輸入關(guān)鍵詞就能指導(dǎo)擴圖，我給它輸入了關(guān)鍵詞「更大」，結(jié)果生成的照片如第三張，視覺廣闊了，下面出現(xiàn)一個小人。
如果不輸入關(guān)鍵詞，AI就會按照原圖的風(fēng)格來進行擴圖。據(jù)此，可以說，智能畫布能力比圖生圖能力強，局部處理能力比較弱；盡管如此，智能畫布功能整體上為用戶提供了一個強大而靈活的創(chuàng)作可能，所以，用戶可以更加自由的基于圖片，表達創(chuàng)意。 04? 那么，即夢AI第四個能力是什么呢？AI視頻生成。 這可是重頭戲。生成視頻的方式，跟生成圖片差不多，也是分成兩種模式：文本生成視頻\圖片生成視頻。如果是文本生成視頻，你只要通過簡單的文本描述，AI就能制作出一段視頻；除了描述內(nèi)容外，你還可以選擇運鏡模式、視頻的播放速度和視頻的比例。實際測試了一下，做出一段視頻大概需要兩分鐘左右，但這里面有點技巧，比如：你得詳細(xì)說明想要的視頻風(fēng)格、背景以及運作方式等。現(xiàn)在基本上能生成的視頻長度有3秒、6秒、9秒和12秒。我之前用握拳寶寶（Sammy Griner）的圖片試過了，所以就用圖片生成視頻的模式來做實驗。用圖片生成視頻的好處是給AI一個明確的方向，因此，生成的視頻質(zhì)量還不錯，但是細(xì)節(jié)上依然不能恭維。這是我在視頻模式下截的圖，可以明顯看出，握拳寶寶（Sammy Griner）的臉變得有點鬼畜，看起來挺嚇人的。盡管AI視頻生成有調(diào)整口型、視頻延長、補幀、提升分辨率（HD）等功能，但即夢AI目前還不能像處理圖片那樣，在視頻的某個部分進行優(yōu)化。提示詞：請制作一段視頻，內(nèi)容是一個穿著中國古風(fēng)服飾的帥哥，在公園里快樂地奔跑跳躍，臉上洋溢著開心的笑容，眼睛里閃著甜美的光芒。沒有開通會員，所以一次只能生成一個視頻,我直接選擇了12秒長，標(biāo)準(zhǔn)模式，視頻比例是3：4，運鏡隨機，速度適中。得說，生成速度挺快，大概一分鐘就做好了。但總體感覺就那么回事；好的地方是，關(guān)鍵詞都識別出來了；不好的地方是，視頻質(zhì)量太差，一看就知道是AI生成的。還有，視頻里的面部動作還有點嚇人。看來AI在這方面還得多加努力。假設(shè)要對比的話：兩種模式生成的視頻基礎(chǔ)還行，但如果要求高一點，就難以讓人滿意了。文本生成視頻的效果，比圖片生成視頻差很多，人物和背景都顯得不夠真實，圖片生成視頻雖然也有很多問題，尤其是人物動作和環(huán)境方面，還有很大的改進空間。基礎(chǔ)版一年659元，平均每個月54元；標(biāo)準(zhǔn)版一年1899元，平均每個月158元；高級版一年5199元，平均每個月大約430元。話說，除能在短視頻中加一些賽博朋克的東西，它還能做什么？誰會愿意為這么高的AI視頻會員買單？即使有人愿意，又能用AI視頻做出什么樣的東西來？我認(rèn)為，至于它真正走向商業(yè)化，還要看到更多的實際性應(yīng)用場景。———— 
覺得有價值，歡迎點個在看，每個人都應(yīng)該擁有獨立思考的能力，舍滿取半，歡迎分享給更多人。
|
