推出TensorRT 7、支持ARM，英偉達GTC China 2019給了業（yè）界大驚喜

12月（yuè）20日消息（南山）在日前舉辦的英偉達 GTC China 2019大會上，“教主”黃（huáng）仁勳發布了一係列新品，其中TensorRT 的最新版本（běn）TensorRT 7令人矚目，相比去年發布的TensorRT 5，TensorRT 7 可支持各種類型的 RNN、transformer、CNN，能夠融（róng）合（hé）水平與（yǔ）垂直（zhí）方向的運算，支持（chí） 1000 多種不（bú）同的計算變換（huàn）和（hé）優化。黃仁勳舉例，有了 TensorRT 7 的（de）支持，在 GPU 上編譯會話模型隻需要（yào）0.3秒。

TensorRT 7的典型應用，是支持交互式會話AI，為實現更加（jiā）智能的（de）AI人機交互打開了新（xīn）大（dà）門。在大會期間，英偉達加（jiā）速計算產品管理總監Paresh Kharya等人接受C114/機器成精等媒（méi）體采（cǎi）訪，對TensorRT 7新平台、兼容ARM等熱門話題進行了解讀。

支撐會話式AI全流程

Paresh Kharya介紹，AI技術正在取得長足進展，最新的（de）應用包括（kuò）會話式AI和推薦（jiàn）係統。其中，會話式AI是一個非常複（fù）雜的任務，需要AI理解語音、文本、語言，整個過程分為三個（gè）部分：識別（bié）你所說的，將你所說的（de）話轉化為（wéi）文字，理解這些文字並轉化成語言再說出來。隨著英偉達不斷發布（bù）新（xīn）版本，TensorRT 7可以完成三個流程計算，從（cóng）語音識別到語（yǔ）義（yì）理解再到語音輸出。

“要想把會話式AI做（zuò）得有用，需要符合兩個條件，要在300毫秒（miǎo）內（nèi）將整（zhěng）個三部分完成，而且要完成的非常（cháng）智能（néng）。在這個過程當中，有非常多（duō）的複雜模型需要計算，Tensor RT也在不斷完（wán）善。” Paresh Kharya表示。

“推薦係統（tǒng）也是至關重要的一環，甚至已成為了（le）互聯（lián）網最重要的引擎。” Paresh Kharya強調，用戶麵臨的選擇越來越多，網絡的信息量呈現爆炸式增（zēng）長，包括商品、視（shì）頻，以及各類選（xuǎn）擇的參數的數量都在爆炸式增長。“商品達（dá）到數十億級別（bié），網絡視頻百萬量（liàng）級增長，新聞（wén）每天都在產生海量數據。阿裏巴巴、百度，都使用了英偉達的平台支持他們的推薦係統。”

這些信息在實時、動態的變化過（guò）程中，隻有不斷對模型進行訓練，才可以有效地推薦。訓練模型需要大量算力，英偉達提供了不斷更新的各類（lèi）工具和軟件，比如最新的軟件Tensor RT 7，支持（chí）各類模型在各種情景下（xià）的部署，支持上百萬的用戶（hù）在每秒內做數十億次的搜索。

例如，阿裏的邊緣（yuán）係統如果在英偉達的GPU上跑，每秒可以做780次查詢；但是如果用CPU，每秒隻（zhī）能做3次查詢。

與ARM合作，給客戶更（gèng）多選擇

本次大會上，英偉達還宣布ARM處理器可以使用其GPU加速技術、NVIDIA Magnum IO套件，以（yǐ）及在Microsoft Azure上使用的（de）新型（xíng）雲加速GPU超級計算（suàn）機等。換句話說（shuō），英偉達（dá）將全方（fāng）位擴展高性能計算領域。

Paresh Kharya指（zhǐ）出，ARM是被業界廣泛使用的架構，服務全球1500億台（tái）設備。其成功的（de）一個重要原因是開放（fàng）平台，各家公司都能（néng）夠在ARM架構上進行創新，ARM也能夠提供互聯、內存、CPU內核、計（jì）算能力等各（gè）種功能。英偉達將通過CUDA平台和ARM架構進行兼容，在高性能計算領（lǐng）域，給客戶更（gèng）多選擇。

“加速計算和（hé）過去以CPU為基（jī）礎的計算很不一樣（yàng），性能提升是（shì）20、30甚至（zhì）是（shì）100倍的。原因不僅是在架構（gòu）上進（jìn）行了設計，更重要（yào）的是通過軟件優化和支撐。比如我們有各種各樣的平台，像應（yīng）用在醫療領域的Clara平台，應用在自動駕駛領域的Drive以及Isaac，做（zuò）到了硬件和軟件的結合。” Paresh Kharya表示。

當前，對於GPU，業界既用於圖像處理，也有一些特別的客戶會剝離圖（tú）像處理（lǐ）能力（lì），專注（zhù）於（yú）加速技術應用。Paresh Kharya認為，英偉達豐富的產品線，能夠滿（mǎn）足客戶的差異化需求，例如應用於數據中心的GPU就沒有圖像處理部分，通過（guò）Tensor Core做AI加速（sù）計算。一些新品如（rú）RTX6000、RTX8000，則圖像處理和AI加速功能兼（jiān）具。“我們的優勢是統一的架構應用於各種工作負載當中實現加速計算，這意味著在各個行業中、各種（zhǒng）各樣的商業機會。”