【新智元导读】模型落地中国芯取得关键突破!这得益于一个AI开源社区,以生态协作之力打通了AI落地的最后一公里。目前已有上千模型成功适配国产算力。从此,国产算力孤岛彻底打破,众多AI厂商积极上车,开发者狂喜! 硬件上,华强北在大秀「焊接工艺」,国外的科技巨头则搞出了堪比硬盘容量的巨大内存。与此同时,国产芯片也在加速崛起,比如华为的昇腾Ascend系列、寒武纪的思元系列。 主流平台(如Hugging Face)虽高效分发模型,却并不注重模型的异构算力适配。由于缺乏协同平台,导致异构算力推理适配重复开发率高。 推理代码:指的是用于加载权重、执行模型计算、生成文本的程序,决定了模型是否可以在你的设备上跑起来,以及怎么跑、跑得多快。这是模型开源最关键的环节之一,直接决定你能否顺利使用。 很多人想玩大模型,好不容易下载完开源模型的权重,却发现因为缺乏适配自身硬件(如国产芯片)的推理代码,根本跑不动。 而魔乐社区的差异,就在于从「模型分发」转向「全链路协作」:不止提供模型与权重,更聚焦模型的协同开发和适配,实现「开源模型,开源体验」。 你可以在GitHub上找到前端、后端、Python、Go、数据库等几乎所有技术栈开源项目;也可以在Hugging Face上找到DeepSeek-R1、通义千问、Llama等各种模型,模型尺寸从1B到500B应有尽有。 而Hugging Face作为AI模型共享平台,其项目往往对计算硬件有较高要求,特别是依赖特定硬件生态进行模型训练和推理,在国产芯片等异构硬件上的适配存在门槛。 这就是AI开源生态中最大的那个问题:构建自主可控的AI开源生态,不仅是技术问题,更是战略需求。我们需要一个更开放、更适配国产硬件的AI开源平台,让全球开发者无障碍参与。 考虑到行业的发展进程,魔乐社区将当前的任务重点聚焦在打通打通模型与国产硬件的适配壁垒,让开源生态的协同价值真正落地。 我们无法否认的现状是:国内AI芯片的发展势头一片大好,但模型与硬件的适配生态仍面临挑战:大量开源模型无法直接在国产芯片上高效运行,适配工具分散、技术标准不统一,导致算力有了,模型却用不起来。 目前大部分AI开源平台以模型分发和使用为主,没有解决模型推理适配的协同开发问题,亟需公共生态平台破解协同效率难题。 他们除了会联动壁仞科技、海光、华为(昇腾)、摩尔线程、沐曦、算能、燧原科技等国产算力厂商(按中文首字母排序,无先后顺序),为开发者提供硬件、工具和技术支持外。 还会整合多元化适配和推理软件生态,并联合生态伙伴,助力开发者快速掌握适配工具链,实现跨硬件平台与引擎组合的深度推理性能调优。 魔乐社区,也希望能破局突围,通过硬件厂商、软件工具链与开发者的协同体系,打造出一个高效、开放、可深度参与的闭环生态,加速模型迁移、部署与应用效率。 具体来看,当开源模型入驻魔乐社区后,社区将激活模型开发者、芯片厂商、工具方等多方协同:开发者可深度参与推理代码优化,甚至适配各类推理引擎;芯片与工具厂商提供技术支持,共同推动适配方案迭代。 这一过程中,各方投入被简化:芯片厂商无需额外投入大量资源,模型团队可专注核心训练,工具厂商仅需提供基础支持。以最小成本参与,却能通过社区平台汇聚成生态合力,加速模型从开源到落地的全流程。 模型的推理适配协作是个起点,接下来,魔乐社区将分阶段推进生态建设:第二阶段计划实现模型、数据与应用层的协同联动;第三阶段则聚焦训练环节的协作体系搭建,让模型研发过程更高效地汇聚开发者智慧。 当前开源模型数量已超数万,但能与国产算力深度适配的仅数百款,多数模型仍依赖Ollama、vLLM等国外工具链运行。这种「模型多、适配少」的现状,凸显了国产算力生态的碎片化问题。 目前,魔乐社区上的多数模型已完成国产算力的适配。同时,社区还依托这些适配成果,正式上线了AIGC专区——开发者与创作者可直接调用社区内的开源模型,基于国产算力快速生成图像内容。 这一专区的落地,正是魔乐用生态合力打通「模型-算力-应用」链路的生动例证,也让大家看到国产AI生态从「能跑通」到「用得顺」的扎实进展。 这场赛事紧密围绕「国芯国用」核心主题,旨在通过搭建技术交流与成果转化平台,加速国产算力芯片及智能算法的协同创新。 同步进行的还有魔乐社区近期上线的「基于国产算力的AIGC创作专区」特色活动。 开发者、创作者及爱好者可免费使用社区提供的NPU算力资源与专业创作工具,体验高效、低成本的AIGC开发流程,在实战中比拼创意与技术,共同探索国产算力驱动的生成式AI应用场景。 无论你是AI技术爱好者,还是深耕领域的开发者,都可以一展身手——在国产算力生态的建设中,让每一份创新热情都能转化为推动行业进步的力量。


