分享好友 最新资讯首页 最新资讯分类 切换频道
把大模型揣进自己的小口袋,上海交大团队发布全球首个端侧原生稀疏大模型
2025-08-24 10:51

图片

如果拥有一个能揣进裤子口袋的大模型,它能随时连接你的手机、汽车、电脑、眼镜,不用联网保护隐私,还能随时随地用聪明大脑辅助工作、娱乐等各种需求,你会心动吗?

7月26日,在徐汇西岸,上海交通大学携手徐汇区人民政府举办的2025世界人工智能大会分论坛“AI 未来发展论坛:超级智能,无界共创”主题论坛上,上海交通大学发布了多项AI重大科研成果,其中“全球首个端侧原生稀疏大模型”吸引了与会者的好奇。

目前智能终端厂商提供的端侧大模型服务集中于小规模量化模型,模型效能相比于云端大规模未压缩模型大幅下降。上海交大计算机学院特聘教授糜泽羽介绍,这款端侧大模型面向端侧设备的异构算力、异构内存、功耗等约束进行原生设计,“一步到位”训练出与端侧硬件“精巧匹配”的百亿大模型,并与终端智能操作系统在推理部署时进行协同设计,能够解决模型智能水平衰减问题,为端侧设备提供接近云侧大语言模型智能水平的流畅大语言模型服务。

糜泽羽从口袋中拿出手机大小的初代产品,这只能够“握在手中”的硬件智力水平指标已领先国际同等规模开源大模型,并且在百元级国产端侧芯片上流畅运行(>10 Tokens/s)。

据悉,端侧原生大模型可在AI PC、AI手机、智能座舱、AI眼镜等新型智能终端中广泛应用,无需联网即可体验接近云端智能水平的大模型智能服务,有效解决数据隐私焦虑、云上调用成本高、时延不稳定等问题。“这个产品将面向所有人。我们希望它能够在保护数据隐私的同时,提供千人千面的个性化智能服务,提升生活品质。同时,能显著降低云服务成本,并引爆智能终端市场、催生新应用新业态。”糜泽羽说。

会上同时发布的还有科学基座大模型Innovator与科研智能体 SciMaster、DeepRare:推理型罕见病智能体诊断系统、MemOS全球首个大模型记忆操作系统,以及Data-centric AI 基础设施,这些成果集中展示了上海交大在AI底层技术突破方面的进展,以及AI在终端、医疗等领域大规模应用、赋能行业的巨大潜力,在彰显高校科研实力的同时,为相关产业提供了可复制、可推广的技术方案。论坛上还展示了由上海交大和中国福利会联合成立的上海市青少年AI学院的学生作品,富有想象力的AI创作与原型展现了科技传承的生机与活力。

最新文章
王忠林在武汉调研时强调 加快建设国家网络安全人才与创新基地 打造更高水平的“中国网谷”
7月15日,省委书记、省人大常委会主任王忠林在武汉市调研国家网络安全人才与创新基地和武汉网络安全大学(筹)建设情况。他强调
最高人民法院发布军事设施司法保护典型案例
军事设施是国防建设的重要组成部分,是军队履行使命的依托,是国家战略能力和军事行动的重要支撑。近年来,最高人民法院深入学习
农银人寿金融保险安全守护指南:心系投资者 携手共行动
为进一步倡导理性投资文化,切实维护广大投资者合法权益,中国证监会决定将每年5月15日设立为“全国投资者保护宣传日”,在全国
濠江区工商联“企业家走进机关”活动顺利启动——首站走进区人力资源和社会保障局
近日,区工商联组织开展“企业家走进机关”活动。4月10日,区工商联(总商会)企业家走进活动第一站——区人社局,并开展座谈交
网络安全巨头CrowdStrike业绩公布前夕 Wedbush大幅上调目标价至525美元
智通财经APP获悉,网络安全领域的重要参与者CrowdStrike Holdings Inc.(CRWD.US)周二成为股票市场焦点,主要因华尔街知名投资机
A股2025年上半年收官!七成个股上涨,143股股价翻倍
A股2025年上半年收官,沪深股指均以红盘结束上半年交易。iFinD数据显示,2025年上半年上证指数累计上涨2.76%,深证成指累计收涨0
普法宣传进社区 法律知识入民心
8月13日,温泉街道岔路口社区新时代文明实践站开展“美好生活,民法典相伴”普法宣传讲座,特邀温泉公安分局警官周子琦现场说法
工行北京分行推进留学金融业务 携手美世教育举办国际教育展
一直以来,工商银行北京市分行始终致力于推进留学金融业务快速发展,为客户提供全面、专业的出境留学一站式服务。5月18日,中国
2025年国家统一法律职业资格考试将于6月16日起报名
2025年国家统一法律职业资格考试客观题网上报名时间为6月16日至6月30日,客观题考试时间为9月13日、14日,主观题考试时间为10月1
加盟商还没回本,库迪又要和全家、罗森抢生意
为了冲刺5万家门店的扩张目标,库迪咖啡要进军便利店行业了,早期加盟商们还没回本,便利店会是个好生意吗?近期,库迪咖啡宣布