AI畫圖實例：如何用Stable Diffusion創作游戲場景？|滾動
自打生成型AI技術一面世，游戲圈的無數雙眼睛立刻就盯上了AI畫圖技術中所蘊含的無窮潛力。目前，各家大廠都在加緊對AI畫圖技術進行試驗，試圖快速將AI畫圖融入游戲開發管線之中。來自民間愛好者的努力也不容忽視。在各大技術論壇，如今隨處都可找到來自愛好者和大神們分享的AI畫圖應用實例和教學。
GameLook近期瀏覽AI畫圖案例時，發現了一名開發者發表的兩則技術博客。這位名叫Syn的開發者正在開發一款名為《Tales of Syn》的等距視角獨立游戲，且一直在嘗試將AI工具融入開發流程。在Syn的努力之下，他已經實現了利用Stable Diffusion生成的圖像制作游戲的地圖。
GameLook摘取了開發者Syn分享的兩則技術案例進行了編譯：
(資料圖片)
案例一：利用谷歌地圖圖像制作風格化游戲地圖
第一個案例較為簡單，主要展示了利用DreamBooth訓練Stable Diffusion模型的方法。
Syn首先使用了一系列鏡頭預設，從谷歌地球的航拍圖像中獲取了一系列近似于等距視角的城市景觀圖片，并制作成8張分辨率512*512的圖片文件。
隨后，他利用Dreambooth和1.5版本的Stable Diffusion，在一張RTX 3090Ti顯卡上進行訓練。采用3000步和默認的1e-06參數進行學習。學習效果相當不錯。盡管由于源文件分辨率的原因，圖片的細節較為雜亂和模糊，但AI成功復現了等距視角和城市的景觀。
隨后，他利用WebUI Automatic1111，嘗試對輸入的文字prompt和權重比例進行調整，并輸入了不同的風格指令，成功制作出不同藝術風格的等距視角圖片文件。
案例二：從AI畫圖到地圖關卡——完整工作流
相較案例一，案例二則更加復雜。Syn展示了多工具協同之下，從Stable Diffusion圖片生成到最終偽3D關卡文件的開發全流程。Syn展示了最終的制作成果。盡管生成自2D圖像，但最終結果已經頗有3D的神韻。
Syn利用下圖所示的文字Prompt，輸出了一系列賽博朋克未來風格的圖片。
進入WebUI Automatic1111，利用按照不同的CFG Scale和步數進行了實驗性生成。
將圖片送入Photoshop進行編輯，并利用Stable Diffusion插件Alpaca對圖片進行了拓展。
清理圖片背景，使用img2img對圖片進行兩倍分辨率渲染，獲得更多細節。
完整的圖片文件分辨率為2048*2048，同樣使用Alpaca插件進行分區生成并進行組合式合成。對于接縫處的圖像需要進行多次解析才能取得比較順滑的視覺效果。
Syn希望去除這張圖片中的燈光，并利用自定義的Unity著色器進行燈光設置。為達到這一目的，他利用Boosting Monocular Depth的MiDaS和LeRes生成該圖片的深度圖。
利用Substance Designer工具的Height to Normal World Units節點生成普通映射圖，再使用Normal Blend節點將普通映射圖和深度圖進行結合，最后使用Photoshop進行上色處理。
處理結果不算完美，但很接近一個3D場景該有的光照效果，并可在Unity中進行調整。
Syn嘗試了Normal Mapping Shadows的手法，在2D場景中實現光照和陰影效果。最終的效果不算很理想，但Syn后續可能會將其進行進一步實驗并使用在3D角色身上。
標簽：
