延边酱速教育咨询有限公司

Stable Diffusion團隊放大招!新繪畫模型直出AI海報,實現像素級圖像生成 熱聞

開源AI繪畫扛把子,Stable Diffusion背后公司StabilityAI再放大招!


(資料圖片僅供參考)

全新開源模型DeepFloyd IF,一下獲星2千+并登上GitHub熱門榜。

DeepFloyd IF不光圖像質量是照片級的,還解決了文生圖的兩大難題:

準確繪制文字。(霓虹燈招牌上寫著xxx)

以及準確理解空間關系。(一只貓照鏡子看見獅子的倒影)

網友表示,這可是個大事,之前想讓Midjourney v5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆,對于鏡子理解的也不對。

使用DeepFloyd IF,可以把指定文字巧妙放置在畫面中任何地方。

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫,文字都會以合適的字體、風格、排版出現在合理的地方。

這意味著,AI直出商品渲染圖、海報等實用工作流程又打通一環。

還在視頻特效上開辟了新方向。

目前DeepFloyd IF以非商用許可開源,不過團隊解釋這是暫時的,獲得足夠的用戶反饋后將轉向更寬松的協議。

有需求的小伙伴可以抓緊反饋起來了。

DeepFloyd IF仍然基于擴散模型,但與之前的Stable Diffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL,結合超分辨率模塊中額外的注意力層,獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。??

也就是擴散過程不再作用于表示圖像編碼的潛空間,而是直接作用于像素。

官方還提供了一組DeepFloyd IF與其他AI繪畫模型的直觀對比。

可以看出,使用T5做文本理解的谷歌Parti英偉達eDiff-1也都可以準確繪制文字,AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源,谷歌的幾個模型更是連個Demo都不給,DeepFloyd IF就成了更實際的選擇。

具體生成圖像上DeepFloyd IF與之前模型一致,語言模型理解文本后先生成64x64分辨率的小圖,再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上,通過把指定圖像縮小回64x64再使用新的提示詞重新執行擴散,也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外,DeepFloyd IF的優勢還在于,IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中,IF-4.3B取得了最好的FID分數,并達到SOTA(FID越低代表圖像質量越高、多樣性越好)。

誰是DeepFloyd

DeepFloyd AI Research是StabilityAI旗下的獨立研發團隊,深受搖滾樂隊平克弗洛伊德影響,自稱為一只“研發樂隊”。???????????????

主要成員只有4人,從姓氏來看均為東歐背景。

這次除了開源代碼外,團隊在HuggingFace上還提供了DeepFloyd IF模型的在線試玩。

我們也試了試,很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多,不過既然開源了,相信在中文數據集上訓練好的變體也不會太晚出現。

One More Thing

DeepFloyd IF并不是Stability AI昨晚在開源上的唯一動作

語言模型方面,他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna,基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

作者:關注前沿科技,來源:量子位,原文標題:《Stable Diffusion團隊放大招!新繪畫模型直出AI海報,實現像素級圖像生成》。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞:

178zb6直播体育| 蓝鲸体育app下载| 实况足球2024最新版本| 咪咕篮球赛现场直播| 龙珠无插件直播足球| 看球赛下载什么软件好| 免费足球直播app软件| 亚洲体育app下载地址| 看球直播app下载| 今晚足球比赛赛事| 斗球官方版下载| 24足球直播在线直播观看| 实况足球网易版官网最新版本| 免费看足球比赛app直播| 咪咕视频体育直播(无插件)| 88体育app直播最新版| 今晚足球比赛在哪可以看直播| 看球赛直播app免费的| 实况足球2024最新版本| 看个球app官方免费下载| 178体育app官网下载| 免费足球直播app软件| 懂球帝app下载安装| 看个球app官方免费下载| 免费看足球比赛app直播| 蓝鲸体育app下载| 黑白直播官方免费下载安装| jrs直播低调看直播奥运会| 178直播体育在线| 推荐一些免费观看足球比赛直播的APP| 亚洲体育app下载地址| nba直播(jrs无插件)极速体育| 五楼直播体育下载| 下载咪咕体育直播视频| 十大最好用的看球软件| 人人体育app官方下载| 网络体育直播间| 斗球app官网苹果下载安装| 人人体育安卓版下载| 看球通体育app官方下载| 178体育官网入口网站|