NVIDIA 近期推出了 Llama Nemotron Nano VL，這是一個視覺語言模型 (VLM)，經過精心設計，以高效率和無與倫比的精確度來處理文件層級的理解任務。這個創新系統建立在強大的 Llama 3.1 架構之上，並結合了精簡的視覺編碼器，使其非常適合需要精確解析複雜文件結構的應用，例如掃描表格、詳細的財務報告和複雜的技術圖表。
模型架構與全面概述
Llama Nemotron Nano VL 將 CRadioV2-H 視覺編碼器 與經過精心微調的 Llama 3.1 8B Instruct 語言模型 無縫整合。這種強大的組合創建了一個能夠協同處理多模態輸入的管道，包括具有視覺和文字組件的多頁文件。
該模型架構專為最佳 token 效率而設計，可容納高達 16K 的圖像和文本序列的上下文長度。它能夠處理多個圖像以及文本輸入，使其特別擅長長篇多模態任務。透過使用先進的投影層和旋轉位置編碼，精確的視覺-文本對齊得以實現，這些編碼是為圖像 patch 嵌入客製化設計的。
訓練計劃策略性地分為三個不同的階段：
- 第一階段：在廣泛的商業圖像和影片資料集上採用交錯的圖像-文本預訓練。這個階段對於將模型紮根於大量的視覺和文本資訊至關重要。
- 第二階段：利用多模態指令調整來實現互動式提示，從而實現動態互動並增強對使用者查詢的反應能力。
- 第三階段：重新混合純文本指令資料，以完善標準 LLM 基準測試的效能，從而增強模型在一般語言理解和推理方面的能力。
整個訓練過程都是使用 NVIDIA 的 Megatron-LLM 框架 和高性能 Energon 資料載入器執行的。該工作負載分佈在由尖端 A100 和 H100 GPU 驅動的叢集上，從而確保了最佳的計算效率。
基準測試結果與評估指標的深入分析
Llama Nemotron Nano VL 在 OCRBench v2 上進行了嚴格的評估，這是一個複雜的基準，旨在全面評估文件層級的視覺語言理解能力。該基準包含各種任務，包括 OCR（光學字元識別）、表格解析和圖表推理。OCRBench 包含超過 10,000 個經人驗證的 QA 對的大量集合，涵蓋來自金融、醫療保健、法律和科學出版等多個領域的文件。
評估結果表明，該模型在這個具有挑戰性的基準上，在緊湊型 VLM 中實現了最先進的準確性。值得注意的是，其效能可與顯著更大且效率較低的模型相匹敵，尤其是在涉及提取結構化資料（例如，表格和鍵值對）和回答與版面相關的查詢的任務中。
該模型能夠有效地推廣到非英語文件和掃描品質下降的文件，突顯了其在真實場景中的穩健性和實用性。
部署策略、量化技術和效率最佳化
Llama Nemotron Nano VL 專為靈活部署而設計，支援伺服器和邊緣推論場景。NVIDIA 提供 量化的 4 位元版本 (AWQ)，可使用 TinyChat 和 TensorRT-LLM 實現高效推論。這個量化的版本也與 Jetson Orin 和其他資源受限的環境相容，從而將其適用性擴展到更廣泛的應用。
有助於其效率和多功能性的主要技術功能包括：
- 模組化 NIM (NVIDIA 推論微服務) 支援，簡化了 API 整合並促進了微服務架構內的無縫部署。
- ONNX 和 TensorRT 匯出支援，確保了與硬體加速的相容性並優化了跨各種平台的效能。
- 預先計算的視覺嵌入選項，透過預先處理視覺資訊來減少靜態圖像文件的延遲。
核心技術基礎
深入研究 Llama Nemotron Nano VL 的技術層面，剖析有助於其在視覺語言理解方面的實力的各個組件和訓練方法至關重要。該模型透過 Llama 3.1 架構與 CRadioV2-H 視覺編碼器的無縫融合來實現卓越，最終形成一個能夠同時處理多模態輸入的和諧管道。這需要能夠理解包含視覺和文字組件Multi-page文件，使其對於需要詳盡分析複雜文件編排的應用程式而言，具有顯著價值。
中心設計理念圍繞著代幣的最佳使用，這是模型能夠適應跨圖像和文本序列達到 16K 的上下文長度的屬性。此擴展的上下文視窗使模型能夠保留和利用更多上下文細節，從而顯著提高其在複雜推理作業中的精確度和可靠性。此外，管理多個圖像以及文本輸入的能力使其非常適合擴展的多模態任務，其中各種視覺和文本元素之間的相互作用至關重要。
精確的視覺-文本對齊是通過應用最先進的投影層和旋轉位置編碼來實現的，這些編碼是專為圖像片段嵌入而設計的。這些機制確保視覺和文本數據的準確同步，從而增強了模型從Multi-modal輸入中提取有意義的洞察力的能力。
訓練過程的全面概述
Llama Nemotron Nano VL 的訓練範例被精心結構化為三個特定階段，每個階段都為模型的綜合技能組做出了貢獻。訓練的戰略分區允許針對性的增強和微調，從而最大程度地提高模型的最終功能。
初始階段包括在大型商業圖像和影片資料集上交錯的圖像-文本預訓練。此基礎步驟對於賦予模型對視覺和文本資訊的深刻理解至關重要，從而為後續學習建立強大的基礎。透過將模型暴露於廣泛的多模態資料陣列，它可以獲取檢測跨不同模式的複雜關聯和模式的能力。
後續階段專注於多模態指令調整，以啟用互動式提示。此階段需要使用各種基於指令的資料集微調模型，從而使其能夠以周到的方式回應使用者查詢和指令。互動式提示使模型能夠參與動態互動，從而根據上下文傳達相關的回應，從而顯示其改進的理解和推理技能。
最後階段包括重新混合純文本指令資料，以完善標準 LLM 基準的效能。此階段用作完善模型語言理解能力的關鍵步驟。在純文本資料上微調模型使其能夠提高其流暢度、連貫性和語言任務的精確度。
基準結果和評估的徹底審查
Llama Nemotron Nano VL 在廣泛認可的 OCRBench v2 基準上進行了嚴格的評估，這是一個全面的審查過程，旨在仔細評估文件級別的願景語言理解能力。該基準涵蓋了廣泛的責任範圍，包括OCR、表格解析和圖表思考，從而在多元文件處理作業中提供對模型能力的整體評估。
OCRBench 包括大量人工驗證的 QA 對編譯，使其成為比較不同模型效能的可靠標準。QA 對是經過人工驗證的事實保證了高度的準確性和可靠性，從而為評估模型能力創建了強大的基礎。
評估結果顯示，Llama Nemotron Nano VL 在 OCRBench v2 基準上在緊湊型 VLM 中達到了最先進的準確性。這一成就在文件理解作業中突出了模型的卓越效能，使其成為該領域中的突出競爭者。令人驚訝的是，其功能與顯著更大且效率較低的模型的競爭力，尤其是在需要提取結構化資料（例如表格和鍵值對）以及回答與版面相關的查詢的企業中。這突出了模型的效率和可擴展性，從而表明它可以實現頂級結果，而無需廣泛的計算資源。
該模型能夠成功地推廣到非英語文件和掃描品質下降的文件，突顯了其在現實場景中的穩健性和實際適用性。這種適應性使其非常適合在各種情況下進行部署，在這些情況下，它可能會遇到具有不同語言和視覺品質的文件。解決掃描品質下降的能力尤其重要，因為它可以使模型在處理不完善或過時的文件時也能維持其有效性。
闡述部署情境和量化程序
Llama Nemotron Nano VL 用於功能部署，可容納server和hedge推理場景。這種多功能性使其能夠部署在廣泛的情況下，從雲端服務器到資源約束的邊緣設備。
NVIDIA 提供一個量化的 4 位元版本，可以使用 TinyChat 和 TensorRT-LLM 實現高效的推論。這個量化版本也與 Jetson Orin 和其他資源約束的設定相容，從而將其適用性擴展到廣泛的應用範圍。量化是一種重要的最佳化方法，可以降低模型的大小和計算要求，從而使其在硬體功能受限的設備上更易於部署。
該模型與 TinyChat 和 TensorRT-LLM 的相容性促進了與當前工作流程的順利整合，使客戶能夠利用 Llama Nemotron Nano VL 的優勢，而無需對其基礎結構進行重大修改。這種整合的簡潔性是一個巨大的優勢，因為它可以降低進入門檻並允許快速採用模型。
此外，該模型與 Jetson Orin 和其他資源約束的設置的相容性將其預期的部署擴展到edge運算場景，在具有受限功率和計算能力的設備上部署計算場景。這就開啟了在智慧型手機、平板電腦和嵌入式系統等設備上進行即時文檔理解的新機會。
深入檢視關鍵技術規格
Llama Nemotron Nano VL 具有各種技術選項，可增強其效率、多功能性和部署輕鬆性。這些規格適用於廣泛的應用要求，從而使其成為多元文件理解作業的靈活解決方案。
模組化 NIM 支援簡化了 API 整合，從而可以在微服務架構中進行順利整合。NIM (NVIDIA 推論微服務) 是一種容器化部署格式，可產生可存取推論功能的標準介面。這種模組化簡化了模型的實作和管理，尤其是在微服務型系統中。
該模型對 ONNX 和 TensorRT 匯出的協助保證了硬體加速相容性，可以在眾多平台上最佳化效能。ONNX (開放神經網路交換) 是一種開放標準，用於表示機器學習模型，從而實現了不同框架和硬體平台之間的互通性。TensorRT 是 NVIDIA 的高效能推論最佳人工化工具和執行階段，可在 NVIDIA GPU 上提供大量加速。
預先運算的影像嵌入選項透過預先處理影像資訊來減少靜態影像檔案的延遲。此最佳化對於涉及固定文件的應用程式特別有用，在這種情況下，可以預先運算和重複使用視覺外觀外觀嵌入，從而最大程度地減少推論時間並增強整體使用者體驗。透過預先運算影像嵌入，模型可以專注於處理文字資訊，從而導致更快速和更有效的文檔理解。
戰略重要性和真實世界的影響
NVIDIA 的 Llama Nemotron Nano VL 的首次亮相標誌著視覺語言模型領域的顯著改進，提供精確、效率和靈活性。透過利用強大的 Llama 3.1 架構並整合簡化的影像編碼器，該模型使客戶能夠以無與倫比的效率處理文件級別的理解作業。
模型在 OCRBench v2 基準上的最先進準確性突出了其在文件理解責任中的卓越效能，從而為減少 VLM 設定了高標準。它跨非英語文件和掃描品質下降的文件推廣的機構使其成為實際部署中相當有價值的資產，在這些部署中，它可以處理各種文件類別與品質。
Llama Nemotron Nano VL 的部署多功能性、量化程序和重要技術規格進一步鞏固了其作為文檔理解變革解決方案的地位。無論是部署在伺服器還是邊緣設備上，此模型都有機會改變公司和個人與文件的互動方式，從而釋放更高程度的效率、生產力和洞察力。隨著企業不斷採用 AI 支援的解決方案來增強其營運，Llama Nemotron Nano VL 正準備在加速採用文件理解技術方面發揮關鍵作用。