亞馬遜(AMZN.US)公佈兩顆芯片新進展，arm服務器芯片最亮眼

在拉斯維加斯舉行的AWS re：Invent會議上，亞馬遜(AMZN.US)帶來瞭兩款芯片的介紹。一款是去年推出的，專註於推理的芯片inferentia的應用，另一款是新的arm服務器芯片Graviton2。

首先看inferentia。據瞭解，該芯片於去年首次宣佈。據瞭解，AWS Inferentia 是一個由 AWS 定制設計的機器學習推理芯片，旨在以極低成本交付高吞吐量、低延遲推理性能。AWS Inferentia 將支持 TensorFlow、Apache MXNet 和 PyTorch 深度學習框架以及使用 ONNX 格式的模型。亞馬遜進一步指出，AWS Inferentia 提供數百 TOPS（每秒萬億次運算）推理吞吐量，以允許復雜模型能夠進行快速預測。對於更復雜的性能需求，可以組合使用多個 AWS Inferentia 芯片來支持數千 TOPS 的吞吐量。

從數據上看，AWS Inferentia每個芯片集成瞭4的neuroncore，每秒可提供128 Tera操作（每秒TOPS或數萬億次操作），支持FP16、BF16、INT8等數據類型，能支持多個框架（包括TensorFlow，PyTorch和Apache MXNet），每個Amazon EC2 Inf1實例最多可提供2000 TOPS。

正如AWS首席執行官安迪·賈西（Andy Jassy）指出的那樣，許多公司都在關註可讓您訓練模型的定制芯片（盡管Google和其他公司肯定會對此表示反對）。他進一步指出，推理通常可以在常規CPU上很好地工作，但是定制芯片顯然會更快。

“與EC4上的常規Nvidia G4實例相比，借助Inferentia，AWS可提供更低的延遲和三倍的吞吐量，且每次推理成本降低40％”，Andy Jassy強調。

從亞馬遜的介紹我們可以看到，新的Inf1實例可實現多達2,000 TOPS的功能，並與TensorFlow，PyTorch和MXNet集成，以及用於在框架之間移動模型的ONNX格式。但目前，這顆芯片僅在EC2計算服務中可用，但很快也會用於AWS的容器服務及其SageMaker機器學習服務。

除此之外，亞馬遜還帶來瞭新一代的，擁有強悍性能表現的Arm服務器芯片Graviton2。據亞馬遜介紹，AWS Graviton 2處理器的速度比以前一代的芯片快7倍，浮點性能是2倍。AWS進一步表示，Graviton2芯片的單核高速緩存是其兩倍大，並具有額外的存儲通道（根據定義，它幾乎必須如此），並且這些功能一起使Graviton2的存儲速度比原始Graviton快5倍。

資料顯示，Graviton2是一個基於Arm全新內核Neoverse 定制設計的7nm SOC，具有64個Arm Neoverse N1內核（每個64KB L1 / 1MB L2高速緩存），支持雙SIMD，並支持int8和fp16處理的特殊指令。

作為一個用300億晶體管的野獸，Graviton2的大小與AMD的EPYC相似，比其他任何數據中心處理器都要大。N1內核通過網狀架構連接，具有大約2TB /秒的帶寬，32MB L3高速緩存和64通道PCIe gen 4通道。Graviton2服務器通過帶有臨時密鑰的AES-256支持8個DDR4-3200通道的始終加密的內存以及高達1Tbit / sec的壓縮內存加速。這幾乎是一個“核心”，具有一些非常特殊的功能，例如用於ML推理的本地fp16和始終加密的內存。給我留下深刻的印象。

針對更快的機器學習推理提供瞭優化的指令，以及針對壓縮工作負載的自定義硬件加速。另外，AWS Graviton2處理器還提供始終在線的完全加密的DDR4內存，每核加密性能提高50％，以進一步增強安全性。

據透露，與第一代Graviton相比，AWS稱Graviton2的性能是前代的7倍，計算核心是4倍，而內存則是5倍”。它還提供25Gbps網絡和18Gbps EBS帶寬。在和競爭對手相比，AWS Graviton2的實例也能提供不錯的性能表現。

以下是AWS提供的，M6g在數據中心實例中，實測數據與M5對比，有瞭很好的提升：  

整數性能比SPECint2017速率高40％以上（估計）  

SPECfp2017速率的浮點性能提高瞭20％以上（估計）  

SPECjvm2008上的Java性能提高瞭40％以上（估計）  

NGINX上的Web服務性能提高20％以上  

在Memcached上的性能提高40％以上，並具有更低的延遲和更高的吞吐量  

對於未壓縮的1080p到H.264視頻，媒體編碼性能提高20％以上  

BERTML推理提高25％  

CadenceXcelliumEDA工具的EDA性能提高50％以上  

另外，據亞馬遜AWS介紹，客戶可以在這個芯片的系統上運行以下程序：  

操作系統/環境：AmazonLinux2;Ubuntu16.04/18.04/18.10;RHEL7.6/8.0；適用於Arm15的SUSELinuxEnterpriseServer；FedoraRawhide/原子；Debian9.8;Docker桌面社區和Docker企業引擎（測試版），“更多即將推出”  

容器：AmazonECS和AmazonEKS（在預覽中），AWS表示“在DockerHub中托管的大多數Docker官方映像（截至今天，已超過70％）已經支持64位Arm系統以及x86。”  

工具：AWSMarketplace，SystemsManager，CloudWatch，CodeBuild，CodeCommit，Cloud9，CodePipeline，Inspector，批處理，CDK，CodeDeploy，CodeStar，CLI，X-Ray和AmazonCorretto（OpenJDK發行版）。  

AWS服務：AmazonElastiCache，EMR，彈性負載平衡  

亞馬遜的芯片業務主要基於他們在2015年收購的以色列芯片設計公司AnnapurnaLabs。據悉，亞馬遜收購AnnapurnaLabs的價格約為3.5億美元。該公司主要研發微處理器，這種微處理器可以讓低功率的的計算服務器和存儲服務器快速地運行數據。AnnapurnaLabs是過去10年中以色列國內成長起來的優秀初創型芯片廠商之一。  

Jassy在re：Invent的開幕主題演講中也表示：“在AWS的歷史上，對我們來說，一個重大的轉折點是我們收購瞭AnnapurnaLabs，這是一群由以色列非常有才華和專業的芯片設計師和制造商組成的團隊，我們決定實際上將設計和制造芯片以嘗試為您提供更多功能，”  

因為數據中心是一個擁有超過90%以上的市場，為此亞馬遜進入這個市場，被看作是與Intel的直接競爭。但亞馬遜的賈西（Jassy）表示，英特爾是“非常緊密的合作夥伴，但為瞭更高的性價比，我們必須自己進行一些創新。而據介紹，這個價格/性能比會較之X86系統高於40%。