芯东西7月7日报导，在2021国际人工智能大会上，瀚博半导体推出其首款云端AI通用推理芯片SV100系列，以及通用AI推理加快卡VA1。
瀚博半导体创始人兼CEO钱军说，这两款新品能有效应对低延时、通用性和视频处理等方面的职业痛点，推动云端与边际的智能运用落地。
据悉，其SV100系列首发产品SV102现与国表里多家头部互联网公司协作，估计将于本年第四季度量产上市。
瀚博半导体建立于2018年12月，总部设在上海，在北京、深圳和多伦多有研制分部。当时其团队规划已超越200人，硕士及以上学历占80%。本年2月，瀚博研究院建立。
融资发展方面，瀚博半导体先是在2019年3月取得线月取得天狼星、耀途Pre-A轮融资，上一年7月取得快手、五源、红点、赛富A轮融资5000万美元，本年3月取得我国互联网出资基金、经纬我国、联发科5亿元A+轮融资。
瀚博半导体的两位创始人，CEO钱军和CTO张磊，都具有20多年的芯片规划经历，并均在创业前曾任AMD高管，深度了解职业客户对吞吐量、推迟、通用性和本钱的需求。
据钱军共享，瀚博的中心职东西有超越15年的GPU相关芯片及软件规划经历，包含业界第一颗7nm GPU在内的约100款芯片流片、量产经历。
不过，不同于中心团队以往的研制方向，瀚博半导体没有挑选继续深耕GPU赛道，转而研制针对各种深度学习推理负载进行优化的DSA架构。
钱军引用了一些职业数据，AI进入运用期，数据中心推理算力需求的复合增长率是练习的2倍以上，2021年我国商场AI服务器的推理负载有望超越练习负载。在推理侧，GPU不是最好的解决计划，功用不及DSA架构。依据这些原因，瀚博半导体挑选首要研制依据DSA架构的推理芯片。
对此，瀚博半导体的应对之道是在视频处理方面，让高并发的解码才能与AI算力匹配；在LTE方面，具有极低延时、极高吞吐量功用，并坚持低功耗；在立异方面，供给负载剖析、硬件通用可扩展、软件栈。
自建立起，瀚博半导体即发动自研AI核，随后在2020年5月完成其首颗半定制7nm芯片的流片。今日，瀚博半导体正式发布其首款云端AI通用推理芯片SV100系列。
瀚博SV100系列是一款超高功用人工智能与视频处理芯片，中心优势是能统筹智能视频解码和AI核算的需求。2021年6月，SV100系列芯片测验成功。钱军泄漏说，这款推理芯片开端测验8分钟就宣告点亮。
瀚博SV100单芯片INT8峰值算力超200 TOPS。相同功耗下，SV100可完成数倍于现有干流数据中心GPU的深度学习推理功用指标，具有超高吞吐率、超低延时的特性。
SV100依据瀚博自主研制的通用DSA架构，支撑FP16、BF16和INT8等数据格局，可完成很多干流神经网络的快速布置，适用于核算机视觉、智能视频处理、自然语言处理和查找引荐等多种推理运用场景。
一起，SV100系列集成高达64路以上H.264/H.265/AVS2的1080p视频解码，广泛适用于云端与边际智能运用场景，能协助客户节约设备出资、下降运营本钱。
除了发布SV100系列，瀚博半导体也同步推出了依据SV102芯片（SV100系列首发产品）的VA1 PCIe推理加快卡。
VA1选用单宽半高半长75瓦PCIe x16卡规划，支撑32GB内存和PCIe 4.0高速接口协议，适用于绝大多数服务器，无需额定供电，即可完成数据中心高密度算力布置。
该加快卡可供给高功率深度学习AI推理加快，在平等能耗下，完成2-10倍于GPU的最高AI吞吐率，而延时不到GPU的5%，合适实时运用。
一起，它兼备杰出的通用性和可扩展性，支撑FP16、BF16和INT8数据类型的干流神经网络快速布置，包含检测、分类、辨认、切割，视频处理、LSTM/RNN、NLP/BERT、查找引荐等。
如下图所示，同为75瓦功耗时，在处理两种AI模型时，瀚博VA1吞吐率均超越了英伟达的A10和T4云端推理GPU。
依据瀚博半导体共享的测验成果，平等推理功用下，瀚博SV102/VA1计划比英伟达T4 GPU节约60%服务器本钱，比A10 GPU节约50%的TCO。
相比之下，市面上许多云端AI推理芯片没有内置视频解码，而是用多个GPU来做视频解码，因而从更适配处理到AI加快要用到多颗芯片，而VA1只用一颗SV102就能统筹两类功用，且功耗更低、处理才能更强。
现在，瀚博半导体正将其加快卡与联想、浪潮、新华三、超微服务器以及CentOS、Ubuntu、红帽、中标麒麟、银河麒麟等操作系统做适配。
考虑到向前兼容性非常重要，瀚博半导体的软件栈具有极高灵活性与可扩展性，可以支撑未来新式算法模型和用户自定义算子扩展等。
另一方面，占有过半我国AI运用商场的核算机视觉运用，需求高密度的视频解码算力合作AI算力完成端到端的核算加快，在两者之间的算力配比平衡方面，瀚博半导体也做了很多的作业。
瀚博半导体创始人兼CTO张磊说：“咱们的软件栈齐备，一起供给了契合职业开发者运用习气的东西，便利运用者以极低本钱向瀚博硬件渠道搬迁、布置现有算法运用。”
现在瀚博半导体的VastStream软件渠道已支撑TensorFlow、PyTorch、Caffe2等干流深度学习结构模型与ONNX格局的模型，经过高度定制的AI编译器充沛优化模型在瀚博硬件上的履行功率。
跟着瀚博半导体推出其SV100系列芯片，国产云端AI芯片的部队迎来又一位新成员。
AI芯片赛道继续炽热，本钱出资热心不减。不过与前两年不同的是，现在人们看待AI芯片愈加理性，不再容易相信故事，而是聚集在审视其中心技术的共同竞赛优势以及落地才能上。
现在全球AI芯片仍在起步阶段，无论是科研立异仍是工业运用都有宽广的探究空间。关于AI芯片创企来说，这仍是个创始未来的黄金时代。
快速链接
下载
公司