DeepSeek本地化部署教程大热，如何将AI大模型安装到本地计算机
随着人们继续流行，人们对使用网络和应用程序不满意，并尝试进行本地化部署。本地化部署是指在不依赖网络或云服务的情况下将AI模型安装到本地计算机中。记者搜索了视频网站，发现许多用户上传了有关如何部署到本地计算机的教程，许多视频观看了超过100万。导致本地部署繁荣
教人们部署也已成为一项业务。记者在电子商务平台上搜索了“本地部署”，发现许多商店已经开设了本地部署业务，单价从几元到几十元人民币不等，其中一些人最近购买了1,000人。
试图部署的AI爱好者告诉记者，当网络方面运行缓慢并且访问的数量太大时，“服务器很忙，请稍后再试。”为了获得更好的用户体验，他尝试使用本地部署。据了解，本地部署不需要深入的编程知识，并且可以逐步通过教程成功部署。
首席分析师张Yi告诉记者：“当地部署支持个人根据他们的需求进行一些定制的修改，这也是驱动力之一。”张Yi补充说，云无法满足隐私需求，本地部署中的个人数据无法获得。
释放具有不同参数的模型，范围从10亿到6710亿参数。参数越大，需要计算资源的越大。由于个人计算机，手机和其他设备的计算资源有限，因此参数6710亿个型号通常无法在本地部署。 “普通笔记本电脑只能部署10亿个参数。如果个人计算机配备了良好的GPU图形卡或更高的内存（例如32GB），则它可以运行70亿个参数。”上述AI技术爱好者告诉记者。
https://img0.baidu.com/it/u=397631721,2418502031&fm=253&fmt=JPEG&app=120&f=JPEG?w=970&h=500
就本地部署效果而言，版本越小，大型模型的答案质量越糟。 “我试图在本地部署70亿个参数版本，并且操作更加顺畅，但是答案质量比云版本差得多，较小的参数版本的效果会更糟。”上述AI爱好者说。
随着本地部署的普及，专门为PC添加NPU的AI PC有望看到销售增长。据了解，华为，联想和戴尔等计算机品牌已经推出了AI PC。这台新的PC配备了专门处理本地部署AI大规模计算的处理器芯片。这些处理器芯片由Intel，AMD和等芯片制造商提供。 。
这些AI PC可以在本地部署并平稳运行具有数万个参数的AI模型。例如，在此CES 2025中，AMD启动了Ryzen AI Max系列处理器，据说该处理器在计算机上本地有700亿个参数运行AI型号。 。但是，配备此处理器芯片的AI PC昂贵。据了解，华硕的游戏笔记本电脑的价格为近15,000元。此外，有些人质疑花费大量资金购买AI PC在本地部署AI模型，但是实现功能与Cloud AI模型高度吻合。 AI PC只是制造商的头。
企业试图在本地部署
除了开始本地部署的个人外，公司还渴望尝试。在蛇的一年的第一天，蒂姆·韦阿奥（Tim Wei'ao）的创始人王·贾（Wang ）发布了一个微信的时刻：“大型模型的本地计算机部署体验已成功地部署，进口到煤矿知识安全数据库中，以备问答，下一步是将其与工业现场运营相结合。”
Tim Viao是一家提供工业管理解决方案的企业。它使用AR眼镜和AI软件为工业现场人员维护，质量检查和故障排除提供实时观察和指导。 Wang 告诉记者，他只使用AI模型来创建当地知识库的问答。鉴于他更好的推理能力，他正在考虑与企业深入融合。
“我们将根据特定工业场景的需求和数据微调特定参数，或进行二级开发以适应IT系统并实施新功能。” Wang 告诉记者：“我们的目标是将其与现场相机进行本地联系，以更好地确定现场危险的操作，并实现诸如隐藏危险检查和产品质量检查之类的功能。”
他认为，工业客户是否采用本地部署主要取决于数据的机密性。 “一些国有企业，军事行业和医疗设备公司通常要求我们实施当地部署解决方案，因为它们对数据安全有很高的要求。”他进一步补充说：“云访问解决方案可以在非固定场景中使用，尽管会有某些情况下会有云访问的情况。操作延迟不错，但影响不大，解决方案价格是降低。”
https://img2.baidu.com/it/u=2088413,2673607101&fm=253&fmt=JPEG&app=120&f=JPEG?w=500&h=1022
如果采用本地部署，这些客户需要具有4或8张GPU的服务器来实现本地推理服务。 “我的客户通常选择的消费级图形卡来配置服务器，例如4090，这更具成本效益。” Wang 说：“如果客户有国内配置要求，我们将购买更高价格的国内GPU图形卡。”
除行业外，越来越多的企业开始在本地部署。郭金证券表示，它可以应用于信息检索，文档处理，行业研究，市场分析和其他方案。此外，医疗行业，网络安全和其他行业的公司最近也进行了本地化，包括Wanda ，Qihoo 360，Etch。
张Yi告诉记者，随着企业扩大对本地化部署的要求，对国内推理计算能力的需求将增加。此外，美国已禁止高端芯片，国内芯片计算电源公司将带来巨大的机会。
AI应用程序将爆炸
高通首席执行官克里斯蒂亚诺·阿蒙（ Amon）表示，-R1是AI行业的转折点，AI推理将迁移到最终方面，基于特定方案，AI将变得更小，更高效，更定制和大型AI。模型和AI应用程序将出现。 AVIC证券的一份研究报告认为，-R1表明，末端AI的部署将变得更具包容性，并且所有事物的智能时代都将加速。
开源将吸引更多开发人员基于它们构建应用程序。国内GPU卡（例如华为上升，摩尔线，Biren 和Core）已得到了改编；云制造商（例如腾讯云，阿里巴巴云，移动云和华为云）也得到了改编。国内计算能力的适应优化有望进一步降低推理方面的成本。
由于支付申请的国内习惯尚未完全成熟，因此AI应用的商业化可能会受到阻碍。郭金计算机负责人孟·坎（Meng Can）认为，美国有10年甚至20年的申请付款基础，这有助于AI申请的商业化。由于中国没有这样的基础，因此AI应用程序的时间和进度将被实施和商业化。慢点。但是，该国一直在追赶，预计时间的进度将缩短到不到半年。
页:
[1]