Meta AI推出了 Token-Shuffle，這是一種經過精心設計的新方法，旨在減少 Transformer 必須處理的圖像 Token 數量。 實現此目的的方法是，在不損害基本 next-token 預測能力的前提下實現。 Token-Shuffle 背後的創新概念，是對多模態大型語言模型 (MLLM) 所使用的視覺詞彙中，維度冗餘的敏銳認識。
視覺 Token 通常源自向量量化 (VQ) 模型，佔據廣闊的高維空間。 但是，與基於文字的 Token 相比，它們通常具有較低的本質信息密度。 Token-Shuffle 巧妙地利用了這種差異。 它通過在 Transformer 處理階段之前，沿著通道維度合併空間局部視覺 Token 來實現這一點。 隨後，它會在推理後恢復原始空間結構。
這種創新的 Token 融合機制，使自迴歸 (AR) 模型能夠巧妙地管理更高的解析度，同時顯著降低計算成本，而又不會犧牲視覺保真度。
Token-Shuffle 的運作方式：深入探討
Token-Shuffle 通過兩個主要流程進行運作：token-shuffle 和 token-unshuffle。
在輸入準備階段，空間相鄰的 Token 會利用多層感知器 (MLP) 巧妙地合併。 這種合併會產生一個壓縮的 Token，該 Token 保留了基本的本地信息。 壓縮程度由 shuffle 視窗大小決定，表示為 s。 對於大小為 s 的 shuffle 視窗，Token 數量減少 s2 倍。 這種減少導致 Transformer 浮點運算 (FLOP) 大幅減少，從而提高了計算效率。
在 Transformer 層完成其處理後，token-unshuffle 運算會精確地重建原始空間排列。 這種重建也由輕量級 MLP 促進，確保最終輸出準確反映原始圖像中存在的空間關係。
通過在 Transformer 計算階段壓縮 Token 序列，Token-Shuffle 有助於高效生成高解析度圖像，包括解析度高達 2048x2048 像素的圖像。 值得注意的是，這種創新方法消除了修改 Transformer 架構本身的需求。 它還消除了對輔助損失函數或預訓練額外編碼器的需求，使其成為一種精簡且易於整合的解決方案。
Classifier-Free Guidance (CFG) Scheduler：增強自迴歸生成
Token-Shuffle 還包含一個 classifier-free guidance (CFG) scheduler，它是專門為自迴歸生成而設計的。 與對所有 Token 應用固定 guidance scale 的傳統方法不同，CFG scheduler 會逐步調整 guidance 強度。 這種動態調整最大限度地減少了早期 Token artifacts，並顯著改善了文字-圖像對齊，從而產生更具視覺連貫性和語義準確性的圖像生成。
效能評估：基準測試與人為研究
Token-Shuffle 的功效已在兩個著名的基準測試上進行了嚴格評估：GenAI-Bench 和 GenEval。
在 GenAI-Bench 上，當使用基於 27 億參數 LLaMA 的模型時，Token-Shuffle 在 ‘hard’ prompts 上獲得了 VQAScore 0.77。 此效能優於其他自迴歸模型，例如 LlamaGen +0.18 的顯著幅度，以及 diffusion 模型（如 LDM）+0.15 的顯著幅度。 這些結果突顯了 Token-Shuffle 在處理複雜且具有挑戰性的圖像生成任務方面的卓越效能。
在 GenEval 基準測試中，Token-Shuffle 獲得了 0.62 的總分，為在離散 Token 體系中運作的 AR 模型建立了新的基準。 這一成就突出了 Token-Shuffle 在重新定義自迴歸圖像生成標準方面的潛力。
大規模人為評估進一步證實了這些發現。 與 LlamaGen、Lumina-mGPT 和 diffusion baselines 相比，Token-Shuffle 在大多數情況下都展現出改善的文字 prompts 對齊、減少的視覺缺陷和更高的主觀圖像質量。 這表明 Token-Shuffle 不僅根據定量指標表現良好，而且還為人類觀察者提供了更令人滿意且更具視覺吸引力的體驗。
但是，重要的是要注意，相對於 diffusion 模型，在邏輯一致性方面觀察到輕微的退化。 這表明在生成的圖像的邏輯連貫性方面，仍有進一步改進和改進的途徑。
視覺質量和消融研究：探索細微差別
在視覺質量方面，Token-Shuffle 展現了在 1024x1024 和 2048x2048 像素解析度下，生成詳細且連貫圖像的卓越能力。 這些高解析度圖像展現出高度的視覺保真度，並準確地反映了相應文字 prompts 中描述的內容。
消融研究表明，較小的 shuffle 視窗大小（例如，2x2）可在計算效率和輸出質量之間提供最佳權衡。 雖然較大的視窗大小在處理時間方面提供了額外的加速，但它們可能會引入細粒度細節的輕微損失。 這表明仔細選擇 shuffle 視窗大小，對於在效能和視覺質量之間實現所需的平衡至關重要。
Token-Shuffle：一種簡單而強大的解決方案
Token-Shuffle 提供了一種直接有效的方法，來解決自迴歸圖像生成的可擴展性限制。 通過利用視覺詞彙中固有的冗餘，它可以在保持甚至在某些情況下提高生成品質的同時，實現計算成本的大幅降低。 該方法與現有的 next-token 預測框架完全兼容，使其易於整合到基於標準 AR 的多模態系統中。
這種兼容性確保了 Token-Shuffle 可以輕鬆地被使用各種自迴歸模型和多模態應用程式的研究人員和從業者採用。 它的易於整合以及提供顯著效能改進的能力，使其成為推進圖像生成技術水平的寶貴工具。
自迴歸圖像生成的未來
結果表明，Token-Shuffle 可以將 AR 模型推向超出先前解析度限制的範圍，使高保真、高解析度生成變得更加實際和可訪問。 隨著研究不斷推進可擴展的多模態生成，Token-Shuffle 為能夠大規模處理文字和圖像模態的高效、統一模型提供了有希望的基礎。
這種創新為內容創建、視覺交流和人工智能等領域的新可能性鋪平了道路。 通過以減少的計算資源生成高質量圖像，Token-Shuffle 使研究人員和藝術家能夠探索新的創作途徑，並開發先前受到技術限制的創新應用程式。
深入探討維度冗餘
Token-Shuffle 功效的基石，在於它利用了視覺詞彙中的維度冗餘。 視覺 Token 通常源自向量量化 (VQ) 模型，位於高維空間中，但它們的本質信息密度落後於文字 Token。 這種差異源於視覺資料的本質，在視覺資料中，相鄰像素通常表現出很強的相關性，從而導致視覺 Token 的不同維度上的信息冗餘。
Token-Shuffle 在 Transformer 處理之前，策略性地沿著通道維度合併空間局部視覺 Token，從而有效地將信息壓縮為更緊湊的表示。 這種壓縮降低了 Transformer 層上的計算負擔，使其能夠處理更高解析度的圖像，而不會相應地增加處理時間或內存需求。
隨後，原始空間結構在推理後會被精確地恢復，確保生成的圖像保留其視覺保真度，並準確地反映原始場景中存在的空間關係。 這種仔細的重建對於保持生成的圖像的整體連貫性和真實感至關重要。
Token-Shuffle 與現有框架的兼容性
Token-Shuffle 的一個主要優點是，它與現有的 next-token 預測框架無縫兼容。 該方法不需要對底層 Transformer 架構進行任何修改，也不需要引入輔助損失函數。 這使其易於整合到基於標準 AR 的多模態系統中，而無需進行廣泛的重新訓練或架構更改。
易於整合簡化了已經使用自迴歸模型的研究人員和從業者對 Token-Shuffle 的採用。 他們可以輕鬆地將 Token-Shuffle 技術整合到現有的工作流程中，並從其效能增強中受益，而不會中斷他們已建立的 pipeline。
Classifier-Free Guidance (CFG) Scheduler 的詳細資訊
Classifier-Free Guidance (CFG) scheduler 在增強生成圖像的質量和對齊方面，發揮著關鍵作用。 與對所有 Token 應用固定 guidance scale 的傳統方法不同，CFG scheduler 會根據每個 Token 的特性，動態調整 guidance 強度。
這種自適應方法最大限度地減少了早期 Token artifacts 的出現，這些 artifacts 通常表現為生成圖像中的視覺扭曲或不一致。 通過逐步調整 guidance 強度，CFG scheduler 可確保模型專注於生成視覺連貫且語義準確的內容。
此外，CFG scheduler 顯著改善了文字-圖像對齊，確保生成的圖像準確地反映了相應文字 prompt 中描述的內容。 這是通過引導生成過程朝向與文字描述更一致的 Token 來實現的，從而產生更忠實和上下文相關的視覺表示。
基準測試結果：綜合分析
Token-Shuffle 的效能在兩個主要基準測試上進行了嚴格評估：GenAI-Bench 和 GenEval。
在 GenAI-Bench 上，當使用基於 27 億參數 LLaMA 的模型時，Token-Shuffle 在 ‘hard’ prompts 上獲得了 0.77 的 VQAScore。 這一令人印象深刻的分數，超過了其他自迴歸模型（例如 LlamaGen）+0.18 的顯著幅度，以及 diffusion 模型（例如 LDM）+0.15 的顯著幅度。 這些結果表明，Token-Shuffle 在處理需要高度理解和推理的複雜且具有挑戰性的圖像生成任務方面，具有卓越的能力。
在 GenEval 基準測試中，Token-Shuffle 獲得了 0.62 的總分，為在離散 Token 體系中運作的 AR 模型建立了新的基準。 這一成就突顯了 Token-Shuffle 在重新定義自迴歸圖像生成標準以及推動該領域進一步發展方面的潛力。
基準測試結果提供了令人信服的證據，證明 Token-Shuffle 在提高自迴歸模型圖像生成效能方面的有效性。 在 GenAI-Bench 和 GenEval 上取得的顯著收益，突顯了 Token-Shuffle 在以減少的計算資源解鎖高質量圖像生成新可能性的潛力。
人為評估：圖像質量的主觀評估
除了定量基準測試結果外，Token-Shuffle 還接受了大規模人為評估，以評估生成圖像的主觀質量。
人為評估顯示，Token-Shuffle 在幾個關鍵方面優於 LlamaGen、Lumina-mGPT 和 diffusion baselines，包括改善的與文字 prompts 對齊、減少的視覺缺陷，以及在大多數情況下更高的主觀圖像質量。 這些發現表明，Token-Shuffle 不僅根據客觀指標表現良好，而且還為人類觀察者提供了更令人滿意且更具視覺吸引力的體驗。
改善的與文字 prompts 對齊表明，Token-Shuffle 更擅長生成準確反映相應文字描述中描述內容的圖像。 減少的視覺缺陷表明，Token-Shuffle 能夠生成視覺上更連貫且沒有 artifacts 或扭曲的圖像。 更高的主觀圖像質量表明，人類觀察者通常更喜歡 Token-Shuffle 生成的圖像，而不是其他模型生成的圖像。
但是，重要的是要承認，相對於 diffusion 模型，在邏輯一致性方面觀察到輕微的退化。 這表明在生成的圖像的邏輯連貫性方面，仍然有改進的空間，並且需要進一步研究來解決這個問題。
消融研究：探索視窗大小的影響
進行了消融研究，以探索不同 shuffle 視窗大小，對 Token-Shuffle 的效能和視覺質量的影響。
消融研究的結果表明，較小的 shuffle 視窗大小（例如，2x2）可在計算效率和輸出質量之間提供最佳權衡。 雖然較大的視窗大小在處理時間方面提供了額外的加速，但它們可能會引入細粒度細節的輕微損失。
這表明仔細選擇 shuffle 視窗大小，對於在效能和視覺質量之間實現所需的平衡至關重要。 最佳視窗大小將取決於應用程式的具體要求和輸入資料的特性。
對可擴展的多模態生成的影響
Token-Shuffle 對於可擴展的多模態生成的未來具有重大影響。 通過以減少的計算資源生成高質量圖像，Token-Shuffle 為內容創建、視覺交流和人工智能等領域的新可能性鋪平了道路。
以有限的計算資源生成高解析度圖像的能力，將使研究人員和藝術家能夠探索新的創作途徑，並開發先前受到技術限制的創新應用程式。 例如，Token-Shuffle 可用於為虛擬實境環境生成逼真的圖像、為社交媒體平台創建個性化的視覺內容，或開發能夠理解和響應視覺信息的智慧系統。
隨著研究不斷推進可擴展的多模態生成，Token-Shuffle 為能夠大規模處理文字和圖像模態的高效、統一模型提供了有希望的基礎。 這種創新有可能徹底改變我們在數位時代與視覺內容互動和創建視覺內容的方式。