燧原科技發布首款AI訓練芯片( 二 ) 來源：內容來自公眾號半導

燧思

作為一顆從可重構理念出發，基于燧原科技自身的指令集和架構設計的芯片，除了領先的計算單元以外，邃思還使用了2.5D高級立體封裝，集成了全世界領先的ESL高速片間互聯接口、HBM存儲接口和第四代PCIe接口，這些都是針對當下AI市場數據量日益暴增的市場現狀而設計的。

其中兩通道的HBM存儲接口，每通道能提供1024鏈路，每鏈路速率為2Gbps，總共提供了512GB的接口帶寬。這就讓邃思的32個通用可擴展神經元處理器（SIP）組成的四個可擴展的智能計算群（SIC，每個計算群八個SIP）通過HBM實現高速互聯，通過片上的調度算法，讓數據在轉運的過程中完成計算，最大化地可利用SIP。

而邃思芯片用到的2.5D高級立體封裝技術難度極大，國內少有公司能夠駕馭，這一切都得益于公司研發團隊過去的深厚的研發經驗和積累；四通道的ESL片間互聯接口每通道有八條鏈路，每條鏈路的速率做到了25GB/s，總共提供雙向200GB的接口帶寬，這可以滿足E級數據中心規模部署需求；至于其配備的第四代PCIe高速接口則支持16條鏈路，每條鏈路的速率為16Gbps。這就給邃思帶來了雙向64GB的接口帶寬，能夠滿足當下主流的AI服務器的需求；此外，這個芯片還集成了系統管理模塊、啟動管理、功耗管理、可靠性管理和安全管理等功能，能為其提供更多的保障。

基于這顆芯片，燧原科技還推出了其首款人工智能訓練產品“云燧T10”。

云燧T10內部細節

據介紹，這是一款面向云端數據中心的人工智能訓練加速卡，雙槽位標卡，支持PCIe 4.0。其獨特的25GB雙向背板互聯方案有別于業內通用的InfiniBand組網，在相同的互聯帶寬下，較大幅度降低組網的復雜度和成本。其單卡的單精度算力也大到了20TFLOPS(FP32)，半精度及混合精度算力更是高達80TFLOPS（BF16/FP16）。但最大的功耗僅為225W，這個能耗比在業內是極其領先的。

在模型方面，云燧T10支持CNN、RNN、LSTM和Bert等常用人工互聯模型，可用于圖像、流數據和語音等訓練場景。在ResNet -50的實際性能測試中，云燧T10可以的FPS是518、FPS/Watt為2.3。與友商的旗艦產品相比毫不遜色。

為了滿足不同客戶對深度學習的訓練需求，燧原科技基于云燧打造了單節點模式、單機柜模式和集群模式三種分布式訓練方案。

其中單節點模式是在單臺服務器內以標準PCIe卡方式，提供4到8張云燧訓練加速卡，滿足小型深度學習訓練需求；單機柜則以整個機柜的方式提供AI算力，適用于中大型企業、院校和科研機構等深度學習訓練場景；集群模式則是以ESL高速偏間互聯為核心，可提供1024節點大規模集群。據介紹，在1024集群規模下，深度學習訓練線性度可以做到業內領先的86%，能為云端的深度學習訓練、超算中心等超大規模場景提供支持。

值得一提的是，前面兩種模式都可以平滑地向后擴展，滿足客戶的不同性能需求。張亞林表示，燧原科技的芯片和板卡之所以能夠展現出如此優秀的實力，與他們自主研發的計算及編程平臺“馭算”有重要的聯系。

從他的介紹我們得知，馭算主要包含了分布式調度、軟件開發包（SDK）和設備驅動層，并提供Benchmarks等，能夠降低開發門檻。同時還兼容TensorFlow、Pytorch、MXNet和ONNX等主流框架（目前只支持TensorFlow，下一階段支持其他三個），支持C/C++算子編程、支持基于LLVM的編程工具鏈、支持基于GDB算子調試器和性能分析器，提供算子、指令集優化和開放硬件加速能力。這就可以讓開發者可以將其已有訓練系統，無縫遷移至邃思平臺上運算，而不需要二次開發或者模型轉換工作。

“未來，我們的軟件會從支持一個AI框架走向支持更多的AI框架，同時在可靠性、完整性、易用性方面不斷補齊”，趙立東強調。

瞄準三大市場

在打造了如此優越表現的軟硬件出發，燧原科技開始向市場發起猛烈攻勢。

趙立東先生表示，燧原科技主要瞄準的的云服務商（公用云、私有云和混合云）、行業服務商（金融、保險、醫療、交通等）和AI超算中心和智慧城市。而為了在這些市場獲得客戶的高度認可，燧原科技計劃采取兩步走戰略。

在趙立東看來，當下的燧原科技處于1.0階段，在這個階段公司的工作重心主要是放在建設頂級的工程化團隊，完成產品研發和量產、實現產品熱啟動，加速產品落地、完成首個個人人工智能訓練平臺的商業化落地。

到了2.0階段，燧原科技會專注于建立市場銷售和服務支持體系，迅速拓展業務。同時還會持續產品的研發和迭代，構建云端訓練和推理平臺完整解決方案。而為了實現這個，燧原科技下一步將會推出了一個面向推理的AI芯片。此外，加強國內外學術端的合作，引進高端人才，構建產業生態也是燧原科技在這階段的目標。

趙立東多次強調，燧原科技的目標是打造一個本土普惠AI的算力平臺，而目前也正是這樣一個天時地利人和的好時機。

所謂天時，就是指當前的AI芯片還處于起步階段，算法和架構方面還有很大的上升空間；地利則指國內擁有巨大的人口紅利，同時擁有海量的數據、大量的應用場景和市場機會，在國家層面也表達了對AI的關注；至于人和則是指過去多年里，國內尤其是上海培養了足夠多的人才，這有利于燧原打造更具競爭力的團隊。

根據知名機構ABI Research 預測，到 2024 年，云端 AI 推理和訓練所產生的 AI 芯片市場將會從當前的42億美元上升到100億美元。初戰告捷的燧原科技能在這個市場取得怎么的市場表現？這就需要我們等到其“結果”的那一天。