解密昇騰AI處理器--Ascend310簡介

【摘要】 Ascend310 AI處理器規格Ascend310 AI處理器邏輯架構昇騰AI處理器的主要架構組成：芯片系統控制CPU（Control CPU）AI計算引擎（包括AI Core和AI CPU）多層級的片上系統緩存（Cache）或緩沖區（Buffer）數字視覺預處理模塊（Digital Vision Pre-Processing，DVPP）等AI Core：集成了2個AI Core。

Ascend310 AI處理器規格

 

Ascend310 AI處理器邏輯架構

昇騰AI處理器本質上是一個片上系統（System on Chip，SoC），主要可以應用在和圖像、視頻、語音、文字處理相關的應用場景。其主要的架構組成部件包括特制的計算單元、大容量的存儲單元和相應的控制單元。該芯片大致可以劃為：芯片系統控制CPU（Control CPU），AI計算引擎（包括AI Core和AI CPU），多層級的片上系統緩存（Cache）或緩沖區（Buffer），數字視覺預處理模塊（Digital Vision Pre-Processing，DVPP）等。芯片可以采用LPDDR4高速主存控制器接口，價格較低。目前主流SoC芯片的主存一般由DDR（Double Data Rate）或HBM（High Bandwidth Memory）構成，用來存放大量的數據。HBM相對于DDR存儲帶寬較高，是行業的發展方向。其它通用的外設接口模塊包括USB、磁盤、網卡、GPIO、I2C和電源管理接口等。

昇騰AI處理器的主要架構組成：

• 芯片系統控制CPU（Control CPU）

• AI計算引擎（包括AI Core和AI CPU）

• 多層級的片上系統緩存（Cache）或緩沖區（Buffer）

• 數字視覺預處理模塊（Digital Vision Pre-Processing，DVPP）等

• AI Core：集成了2個AI Core。昇騰AI芯片的計算核心，主要負責執行矩陣、向量、標量計算密集的算子任務，采用達芬奇架構。

• ARM CPU核心： 集成了8個A55。其中一部分部署為AI CPU，負責執行不適合跑在AI Core上的算子（承擔非矩陣類復雜計算）；一部分部署為專用于控制芯片整體運行的控制CPU。兩類任務占用的CPU核數可由軟件根據系統實際運行情況動態分配。此外，還部署了一個專用CPU作為任務調度器（Task Scheduler，TS），以實現計算任務在AI Core上的高效分配和調度；該CPU專門服務于AI Core和AI CPU，不承擔任何其他的事務和工作。

• DVPP：數字視覺預處理子系統，完成圖像視頻的編解碼。用于將從網絡或終端設備獲得的視覺數據，進行預處理以實現格式和精度轉換等要求，之后提供給AI計算引擎。

• Cache & Buffer：SOC片內有層次化的memory結構，AI core內部有兩級memory buffer，SOC片上還有8MB L2 buffer，專用于AI Core、AI CPU，提供高帶寬、低延遲的memory訪問。芯片還集成了LPDDR4x控制器，為芯片提供更大容量的DDR內存。

• 對外接口：支持PCIE3.0、RGMII、USB3.0等高速接口、以及GPIO、UART、I2C、SPI等低速接口。

昇騰AI處理器集成了多個ARM公司的CPU核心，每個核心都有獨立的L1和L2緩存，所有核心共享一個片上L3緩存。集成的CPU核心按照功能可以劃分為專用于控制芯片整體運行的主控CPU 和專用于承擔非矩陣類復雜計算的AI CPU。兩類任務占用的CPU核數可由軟件根據系統實際運行情況動態分配。

除了CPU之外，該芯片真正的算力擔當是采用了達芬奇架構的AI Core。這些AI Core通過特別設計的架構和電路實現了高通量、大算力和低功耗，特別適合處理深度學習中神經網絡必須的常用計算如矩陣相乘等。目前該芯片能對整型數（INT8、INT4） 或對浮點數（FP16）提供強大的乘加計算力。由于采用了模塊化的設計，可以很方便的通過疊加模塊的方法提高后續芯片的計算力。

針對深度神經網絡參數量大、中間值多的特點，該芯片還特意為AI計算引擎配備了容量為8MB的片上緩沖區（On-Chip Buffer），提供高帶寬、低延遲、高效率的數據交換和訪問。能夠快速訪問到所需的數據對于提高神經網絡算法的整體性能至關重要，同時將大量需要復用的中間數據緩存在片上對于降低系統整體功耗意義重大。為了能夠實現計算任務在AI Core上的高效分配和調度，還特意配備了一個專用CPU作為任務調度器（Task Scheduler，TS）。該CPU專門服務于AI Core和AI CPU，而不承擔任何其他的事務和工作。

數字視覺預處理模塊主要完成圖像視頻的編解碼，支持4K分辨率，視頻處理，對圖像支持JPEG和PNG等格式的處理。來自主機端存儲器或網絡的視頻和圖像數據，在進入昇騰AI芯片的計算引擎處理之前，需要生成滿足處理要求的輸入格式、分辨率等，因此需要調用數字視覺預處理模塊進行預處理以實現格式和精度轉換等要求。數字視覺預處理模塊主要實現視頻解碼（Video Decoder，VDEC），視頻編碼（Video Encoder，VENC），JPEG編解碼（JPEG Decoder/Encoder，JPEGD/E），PNG解碼（PNG Decoder，PNGD）和視覺預處理（Vision Pre-Processing Core，VPC）等功能。圖像預處理可以完成對輸入圖像的上/下采樣、裁剪、色調轉換等多種功能。數字視覺預處理模塊采用了專用定制電路的方式來實現高效率的圖像處理功能，對應于每一種不同的功能都會設計一個相應的硬件電路模塊來完成計算工作。在數字視覺預處理模塊收到圖像視頻處理任務后，會讀取需要處理的圖像視頻數據并分發到內部對應的處理模塊進行處理，待處理完成后將數據寫回到內存中等待后續步驟。