Shap-E文本形成3D模型在醫(yī)學成像中的運用

因為機械學習技術(shù)的迅速成長，近年來 3D 建模和設計行業(yè)獲得了重要進展。 OpenAI 頒布了1個名為 Shap-E 的新工具，它應用隱式函數(shù)來高效地形成 3D 資產(chǎn)。 在這篇博文中，咱們將開拓 Shap·E 背后的方式，并分享 OpenAI 供應的代碼供你親身嘗試。

舉薦：用 NSDT設計器 迅速搭造可編程3D情景。1、背景

傳統(tǒng)的 3D 形成模型形成單一的流出表示，但 Shap·E 旨在同時形成紋理網(wǎng)格和神經(jīng)輻射場。 這是通過借用隱式神經(jīng)表征 (INR) 實行的，INR 將 3D 坐標映照到特定于位子的數(shù)據(jù)，比如密度和色彩。

Shap·E 模型的訓練劃為2個階段：首先，訓練基于 Transformer 的編碼器，將 3D 資產(chǎn)映照到隱函數(shù)的參數(shù)中； 其次，在編碼器的流出上訓練條件擴散模型。2、隱函數(shù)的威力

Shap-E 專注于用來 3D 表示的兩類型號的 INR：神經(jīng)輻射場 (NeRF) 和符號距離函數(shù)和紋理場 (STF)。 NeRF 將 3D 情景表示為將坐標和觀測方向映照到密度和 RGB 色彩的函數(shù)，而 STF 形成符號距離和紋理色彩。 這類 INR 無需批量手動工作便可形成全面的 3D 模型。3、Shap-E的益處

當在配對的 3D 和文本信息的大型信息集上進行訓練時，Shap-E 闊以在幾秒鐘內(nèi)形成高難多樣的 3D 資產(chǎn)。 與 Point-E 等顯式形成模型相比，它闊以更快地收斂并實行可比或更優(yōu)的樣件品質(zhì)，同時還供應多表示流出空間。 Shap·E 是一款十分強大的工具，應用于想要輕盈創(chuàng)立全面 3D 模型的藝術(shù)家、設計師和開發(fā)職員。4、 Shap-E在醫(yī)學成像中的運用