开云-智能无处不在：安谋科技“周易”NPU开启端侧AI新时代

2024-11-11

[导读]在科技之光的晖映下，年夜模子从云真个殿堂飘但是至终真个舞台。这一汗青性的逾越，不但付与了数据处置以迅捷之翼，更将智能体验推向了史无前例的高度。终端上的年夜模子以灵动的姿态，即时捕获并回应着每个细微的需求，将AI的触角延长至世界的每个角落。在科技之光的晖映下，年夜模子从云真个殿堂飘但是至终真个舞台。这一汗青性的逾越，不但付与了数据处置以迅捷之翼，更将智能体验推向了史无前例的高度。终端上的年夜模子以灵动的姿态，即时捕获并回应着每个细微的需求，将AI的触角延长至世界的每个角落。近日，在EEVIA主办的第12届中国硬科技财产链立异趋向峰会暨百家媒体论坛上，安谋科技产物总监鲍敏祺颁发了出色的主题演讲《端侧AI利用芯机缘，NPU加快终端算力进级》。他深切分解了端侧AI成长的广漠前景，并具体介绍了安谋科技自研NPU的最新进展。端侧AI正在突起 AIGC年夜模子带来的算力晋升是端侧AI迎来的最年夜机缘。鲍敏祺暗示，从近期头部年夜厂的发布中都可以看出，端侧AI的利用已获得了业界的一致承认。当前，国际和国内现实摆设的主流端侧年夜模子体量首要集中在100亿参数以下。这一限制首要是因为端侧装备的内存带宽规模凡是在50-100GB/s之间。为了知足用户对利用及时性的需求，10-30亿参数的年夜模子最合适摆设在现有的带宽前提下。这些模子可以或许在连结高效机能的同时，供给快速响应和高质量的办事。头部终端厂商如OPPO、vivo、小米、光荣和华为等，都在积极鞭策端侧AI的成长。他们不但自研了合适端侧摆设的年夜模子，还将其与具体营业场景慎密连系。芯片厂商也告竣了共鸣，认为AI NPU（神经收集处置单位）将是将来消费类电子产物成长的重点。NPU经由过程专门优化的硬件架构，可以或许年夜幅晋升端侧装备的AI计较能力，同时下降功耗。虽然端侧AI的成长势头强劲，但鲍敏祺强调，这其实不意味着要完全抛却云端AI。相反，他认为二者应当实现互补，才能发生最年夜的收益。端侧AI的优势在在当时效性和数据当地化带来的平安性。因为数据处置产生在装备当地，用户的隐私获得更好的庇护，同时也能实实际时响应。而云端AI则具有更强的推理能力和年夜范围数据处置能力，可以进行更复杂的使命。是以，连系端侧和云真个优势，将为用户供给加倍周全和高效的AI体验。从人机交互界面的成长汗青来看，从最初的物理按键到触摸屏和语音交互，再到当前的Agent智能体，每次变化都极年夜地晋升了用户体验。将来的趋向将是多模态场景，即连系图象、音频、视频等多种输入体例，使装备可以或许更周全地舆解用户的需求。经由过程不雅察和进修，将来的AI系统将可以或许更好地猜测和知足用户的期望，从而实现真实的智能化。以三重进级应对三重挑战端侧AI的快速成长给硬件装备带来了三重挑战：本钱、功耗和生态系统。本钱的挑战首要来自在装备的存储容量、带宽和芯片计较资本。功耗则源自对数据的年夜量搬运，并且年夜模子没法像CNN一样实现高度复用，也会年夜幅晋升功耗。最后，开辟东西的不竭优化和撑持也是挑战地点。针对这些挑战，安谋科技自研的“周易”NPU环绕微架构、能效和并行处置等方面进行了进级。微架构：鉴在CNN与Transformer的差别性，“周易”NPU在保存CNN能力的根本上，又针对Transformer进行了优化，降服了现实计较中的瓶颈。效力：进行夹杂精度的量化，好比int4和fp16，在算法和东西链层面上实现低精怀抱化。同时，对数据进行无损紧缩和改变稀少度，从而增添有用带宽。别的，采取In-NPU interconnection手艺，实现了对总线带宽的扩大。并行处置：采取数据并行或模子并行，利用负载平衡和Tiling，削减了数据的搬运。鲍敏祺还具体介绍了下一代的周易“NPU”架构，不但包括了可以或许顺应多使命场景的Task Schedule Manager，并且全部架构具有可扩大能力，并增添DRAM以实现高带宽的匹配，还增添了OCM（Optional on Chip SRAM），以撑持有非凡要求的算法。鲍敏祺在演讲中特殊强调了“周易”NPU对异构计较的撑持，并指出不管是从能效仍是全部SoC（系统级芯片）的面积角度来看，异构计较都是端侧AI芯片的最好选择。他注释道，面临分歧的利用场景，异构计较可以或许实现算力的矫捷裁剪，并将没必要要的功耗降到最低。跨范畴的利用专家周易“NPU”已在多个要害范畴展现了其壮大的机能和矫捷性，特殊是在汽车利用、AI加快卡和AIoT场景中。在汽车利用中，分歧的场景会对应分歧的算力需求。假如是车载信息文娱系统，对算力的要求不会太高，可是在ADAS利用中，良多环境下要履行多使命，对算力的要求就会年夜幅晋升。而“周易”NPU的算力规模是20~320TOPS，可以按照需求裁剪出所需的算力。鲍敏祺暗示，搭载了“周易”NPU的芯擎科技“龍鷹一号”已累计出货跨越40万片，并成功定点利用在吉祥旗下的领克、银河系列和一汽红旗等20余款主力车型中。在AI加快卡的利用中，周易“NPU”可以或许与智能汽车、PC、机械人等分歧类型的主机处置器（Host AP）进行高效交互，处置音频、图象、视频等多种数据情势。这类多模态模子的撑持能力使得周易“NPU”可以或许在复杂的数据情况中连结高机能和矫捷性。在AIoT场景中，装备凡是遭到面积和功耗的严酷限制。虽然如斯，周易“NPU”仍能供给高效的算力撑持，同时包管高度的平安性。这使得它成为多个利用场景的抱负选择。鲍敏祺最后暗示，下一代周易“NPU”将会继续并显著加强前代产物的强算力、易摆设和可编程等特点和优势，并环绕精度、带宽、调剂治理、算子撑持等多个方面进行延续优化。同时，NPU不但要斟酌适配此刻的存储介质，还要斟酌到对将来各类存储介质的适配，使得NPU可以或许更好地知足当前和将来市场需求。