NVIDIA 發表 TensorRT-LLM 加速 AI 推論效能 支援在 RTX 驅動的 Windows PC 上運行的新模型

(GNN 記者 紙箱 報導) 2023-11-16 16:09:34

  NVIDIA 於微軟 Ignite 全球技術大會發表旗下新工具和資源,包括 OpenAI Chat API 的 TensorRT-LLM 封裝器、DirectML 為 Llama 2 帶來 RTX 驅動的效能提升、其他熱門 LLM 等。官方表示,Windows PC 上的人工智慧標誌著科技史上的關鍵時刻,它將徹底改變玩家、創作者、直播主、上班族、學生乃至普通 PC 用戶的體驗。
 
  • image
    NVIDIA 執行長黃仁勳與微軟執行長 Satya Nadella 於 Mircosoft Ignite 2023 大會同台
 

【以下內容為廠商提供資料原文】

 
  Windows PC 上的人工智慧(AI)標誌著科技史上的關鍵時刻,它將徹底改變玩家、創作者、直播主、上班族、學生乃至普通 PC 用戶的體驗。
 
  AI 為 1 億多台採用 RTX GPU 的 Windows PC 和工作站提高生產力,帶來前所未有的機會。NVIDIA RTX 技術使開發者更輕鬆地創建 AI 應用,從而改變人們使用電腦的方式。
 
  在微軟 Ignite 大會上發表的全新最佳化、模型和資源,將讓開發者可以更快提供新的終端使用者體驗。
 
  TensorRT-LLM 是一款提升 AI 推論效能的開源軟體,它即將發表的更新版將支持更多大型語言模型,可在 RTX GPU 8GB VRAM 以上的 PC 和筆記型電腦上,使要求嚴苛的 AI 工作負載更容易完成。
 
  Tensor RT-LLM for Windows 即將透過全新封裝介面與 OpenAI 廣受歡迎的聊天 API 相容。這將使數以百計的開發者專案和應用能在 RTX PC 的本地運行,而非雲端運行,因此用戶可以在 PC 上保留私人和專有資料。
 
  客製的生成式 AI 需要時間和精力來維護專案。特別是跨多個環境和平臺進行協作和部署時,該過程可能會異常複雜和耗時。
     
  NVIDIA 資料科學工作台(AI Workbench) 是一個統一、易用的工具包,允許開發者在 PC 或工作站上快速建立、測試和客製預先訓練的生成式 AI 模型和 LLM。它為開發者提供一個單一平臺,用於組織他們的 AI 專案,並根據特定使用者需求來調整模型。
     
  這使開發者能夠進行無縫協作和部署,快速創建具有成本效益、可擴展的生成式 AI 模型。歡迎加入搶先體驗名單,成為首批用戶以率先瞭解不斷更新的功能,並接收更新資訊。
 
  為支援 AI 開發者,NVIDIA 與微軟共同發表 DirectML 增強功能以加速 Llama 2,時下最熱門的基礎 AI 模型之一。除了制定一個全新的效能標準,開發者現在亦有更多跨供應商部署可選擇。 
 

可攜式 AI

 
  NVIDIA 於 10 月發表了用於加速大型語言模型(LLM)推理的函式庫 TensorRT-LLM for Windows。             
  本月底發表的 TensorRT-LLM v0.6.0 更新將帶來高達 5 倍的推論效能提升,並支援更多熱門的 LLM,包括全新 Mistral 7B 和 Nemotron-3 8B。這些 LLM 版本將可在所有採用 8GB 記憶體以上的 GeForce RTX 30 系列和 40 系列 GPU 上運行,從而使最輕便的 Windows PC 設備也能具備於本地快速且準確運行 LLM 的功能。 
 
  • image
    TensorRT-LLM v0.6.0 版帶來高達 5 倍的推論效能提升
 
  新發表的 TensorRT-LLM 可在 /NVIDIA/TensorRT-LLM GitHub 儲存庫中下載安裝,全新最佳化的模型將提供於 ngc.nvidia.com
 

實現從容對話

 
  世界各地的開發者和愛好者將 OpenAI 的聊天 API 廣泛用於各種應用,包括總結網頁內容、起擬文件草稿和電子郵件、分析並視覺化資料、製作簡報等。
 
  這類以雲端為基礎的 AI 面臨的一大挑戰在於它們需要使用者上傳輸入資料,因此對於私人或專有資料或處理大型資料集而言並不實用。
 
  為應對這一挑戰,NVIDIA 即將啟用 TensorRT-LLM for Windows,藉由全新封裝器提供與 OpenAI 廣受歡迎的 ChatAPI 類似的 API 介面,為開發者帶來類似的工作流程,無論他們設計的模型和應用要在 RTX PC 的本地運行、在雲端運行,只需修改一到兩行代碼,數百個 AI 驅動的開發者專案和應用現在就能從快速的本地 AI 中受益。使用者可將資料保存在 PC 上,不必擔心將資料上傳到雲端。
 
  此外,最重要的一點是這些項目和應用中有很多都是開源的,開發者可以輕鬆利用和擴展它們的功能,從而加速生成式 AI 在 RTX 驅動的 Windows PC 上的應用。 
 
  該封裝器可與所有對 TensorRT-LLM 進行最佳化的 LLM(如:Llama 2、Mistral 和 NV LLM)配合使用,並作為參考專案在 GitHub 上發表,同步也將發表可以在 RTX 上使用 LLM 的其他開發者資源。
 

模型加速 

 
  開發者現可利用尖端的 AI 模型,並透過跨供應商 API 進行部署。NVIDIA 和微軟一直致力於增強開發者能力,透過 DirectML API 在 RTX 上加速 Llama。
 
  在 10 月已宣布,在為這些模型提供最快推論效能的基礎上,此項跨供應商部署的全新選項將使 AI 功能導入 PC 變得前所未有的簡單。
 
  開發者和愛好者可下載最新的 ONNX 執行時間、依照微軟的安裝說明進行操作,並安裝最新 NVIDIA 驅動程式(將於 11 月 21 日發表),以獲得最新的最佳化體驗。
 
  這些全新的最佳化、模型和資源將加速 AI 功能和應用在全球 1 億台 RTX PC 上的開發和部署,同時加入了 400 多個合作夥伴的行列,這些夥伴皆已推出由 RTX GPU 加速的 AI 驅動的應用和遊戲。 
 
  隨著模型易用性的提高,而開發者將更多生成式 AI 功能帶到 RTX 驅動的 Windows PC 上,RTX GPU 將成為用戶採用這一強大技術的關鍵。 
 

新聞評語

載入中...

延伸報導

GeForce NOW 將導入 G-SYNC 技術等 《暗黑 4》《崩壞:星穹鐵道》更多遊戲即將登場
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
31
Twitch、OBS 與 NVIDIA 將推出多重編碼串流 以改進觀眾觀看直播的體驗
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
7
NVIDIA ACE 微服務上線 運用 AI 提高遊戲 NPC 與玩家間互動
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
1
NVIDIA 公開 RTX 40 SUPER 系列 GPU 其中 4080 SUPER 售價 36,490 元起
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
177
NVIDIA 攜 ZOTAC 與成功大學規劃與設計學院打造 NVIDIA Studio 智慧教室
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
2
Valve 允許在 Steam 發行運用 AI 技術創作的遊戲 並將推出玩家可檢舉 AI 違法內容機制
產業 | Steam Deck / Steam Machine
55
ZOTAC GAMING GeForce RTX 40 SUPER 系列登場 延續 NVIDIA Ada Lovelace 架構
3C | ZOTAC
4
NVIDIA 發表 ACE for Games 服務 利用生成式 AI 讓遊戲 NPC 互動更逼真
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
173
【GC 23】NVIDIA ACE 搭配 NeMo SteerLM 讓 AI 驅動的 NPC 展現情感個性
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
3
NVIDIA 介紹 ACE for Games 新服務 在遊戲中打造客製化的語音、對話和動畫人工智慧模型
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
3
NVIDIA 發表全新 GeForce RTX 40 系列筆記型電腦 將陸續於 2 月上市
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
3
美國政府發表新出口管制措施 NVIDIA RTX 4090 顯示卡將不得輸入中國等地
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
93
技嘉發表 GeForce RTX 3050 6G 系列顯示卡
3C | GIGABYTE 技嘉
20
黃仁勳介紹 NVIDIA Picasso 最新功能 可透過文字提示建立 8K 畫質、360 HDRi 全景圖
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
2
NVIDIA 推出 GeForce RTX 4070 GPU 提供 Ada Lovelace 架構及 DLSS 3 技術
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
7
AMD 發表 AMD Radeon RX 7600 XT 顯示卡 將為特定遊戲帶來高達 1.9 倍光線追蹤效能提升
3C | AMD CPU 處理器 晶片組
8
技嘉科技發表 GeForce RTX 40 EAGLE OC ICE 系列顯示卡 推出白色款式
3C | GIGABYTE 技嘉
3
AMD 推出新一代桌上型處理器 Ryzen 7 5700X3D 將為玩家提供大幅提升的遊戲效能
3C | AMD CPU 處理器 晶片組
16
微星攜手 NVIDIA 與清華大學打造 STEM 協作學習環境 期望為師生提供全方位加速運算平台
產業 | MSI 微星科技
0
NVIDIA 繪圖研究推動生成式 AI 前瞻發展 預定八月在電腦繪圖大會 SIGGRAPH 發表相關論文
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
7

之前錯過!現在機會來了!

看更多

face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】