家电和消费电子正成为大模型落地的新试验场

2024-3-19 09:43| 发布者: admin| 查看: 22801| 评论: 0|来自: 数智前线

摘要: 　　大模型的浪潮正在向家电和消费电子终端蔓延。3月14日开幕的中国家电及消费电子博览会AWE 2024成了观察这股趋势的窗口。　　过去一年来，各个行业都在探索和大模型结合的可能性。　　家电厂商们也加入了行列。在A ...

　　业界普遍认为大模型的优势在它的泛化特性，如何用好这种泛化特性，可能是寻找到合适场景的关键。

　　聆思科技的工程师介绍，他们在空调里加入大模型后，用户可以更自由与设备对话。针对空调场景专门训练的模型了解空调设备的故障和使用方式，一旦空调滴水，用户提问，大模型能够理解意思，它可以去说明书里调用相关的知识来引导操作。这个体验就比之前的智能语音的能力有了大幅提升。

　　云米智能家居GTM林石列也看到，大模型帮助定位用户使用过程中的问题和疑惑并帮助用户解答场景的价值，“比如开关或者插座能支持多大功率的电器，我可能不知道。我随口问一下我们云米小微，你的插座能用多大的功率?它就能解答。”

　　另外，在推荐场景里，他认为，大模型可以基于用户所处的环境，通过各类传感数据，针对地区的日落时间和紫外线情况，去推荐一个光照的个性化解决方案。“大模型并不是要用来做多复杂的事，而是通过它的计算能力，让产品学习用户的需求更快一点。”

　　长虹智能家居板块的工程师告诉数智前线，他们看到未来智能家居板块与大模型结合的场景可能是，人不再主动发出指令，设备可以主动服务人。“根据用户的使用习惯，去学习和判断用户的需求。各类家电设备和系统能主动提供服务，这是机器去学习的过程。大模型能否在这个过程发挥作用，可能是行业拭目以待的。”

　　长虹云帆AI平台电视产品人士则介绍，目前他们推出的三个场景都是特意挑选，也是比较适合展示在大屏上展示的功能。

　　在手机上，一些人士看到大模型落地可能会使得用户使用手机的习惯发生改变，可能不再有App，去APP化，而在家电和家庭场景里，前些年许多厂商都希望把电视作为家庭设备的入口，大模型到来后，电视作为家庭中控入口被重新提及。

　　该人士认为电视要作为入口，需要开发专门的Agent框架。“现在都在提Agent框架，要做到去App化，就要搭建这样的框架。这也是我们今年的研究方向之一，希望能做到今年上线。”上述人士说。

　　在一些更小型的设备例如摄像头等产品上，一些工程师们就认为没有看到太好的场景要在端侧去接入大模型。创维智能摄像头展台，一位工程师告诉数智前线，比如智慧屏，其实本身就有类似于备忘的功能，而大模型的强项在自然语言沟通，老人或小孩用这个东西，可能未来就变成类似于机器人的角色了。

　　在展会上，一些行业上下游人士已经对大模型嵌入设备表露出了浓厚的兴趣。在聆思科技的展台，一个家电行业的制造端口人士已经在询问除了软硬件一体的模组的成本，后续用户调用大模型能力时如何付费的问题。

　　端侧落地大模型还有多远?

　　数据前线观察，目前家电和各类消费电子产品接入大模型能力的产品主要还是从云端调用大模型的能力。

　　业界普遍反馈，目前家电产品要在端侧实现大模型落地，从模型能力和端侧的算力能力条件都不太具备。

　　首先是模型方面，目前国内的大模型厂商们尚未发布能在端侧运行的模型。在海外，去年5月谷歌在年度开发者大会上发布了PaLM2.四种尺寸的模型里最小的Gecko可以在移动设备上运行，各方反馈称速度足够快，即使离线状态也可以进行交互应用。当时业界认为端侧运行大模型有了可能。不过根据官方文档显示，这个模型并不支持文本生成及对话的能力。

　　一位国内大模型厂商方资深人士告诉数智前线，目前端侧的算力大小可能有不同，但整体看他预估模型的参数规模要小于5B才更适合到端侧运行;另一位家电行业人士则给出了7B大小的概念。这和目前运行在云端集群上的模型不是一个量级。

　　而单靠家电厂商们自己去开发端侧可运行模型，是一笔巨大的投入，多数企业不具备这个能力。长虹云帆AI平台电视人士告诉数智前线，他们不打算自己投入研发底层模型，投入太大。此前一位电脑配件企业的创始人尝试将大模型和设备结合时也发现，研发上的投入成本惊人，对他们是巨大的压力。

　　三星展台上一位资深行业人士认为，手机设备的利润率明显高于家电产品，因此手机厂商们有实力去投入大模型的研发，而家电企业多数在资金能力上不具备模型研发和投入的条件。三星目前手机端已有端侧大模型的能力，未来在家电场景里，同一个模型经过剪裁和调整可以用到家电设备上。

　　其次是，目前边缘算力层面，还不足以支持大模型部署到边缘。即使是非常轻量级的模型，到设备上也需要非常大的算力支撑，会带来巨大的成本提升。家电市场竞争激烈，价格提升后产品的市场空间可能变小，“我们要提供的是具有质价比的产品，不能把产品售价定得高高的，用户说，我只是使用了它的1% 、2%的这种能力，这样就很多冗余在里面。”海信爱家板块的智能解决方案人士说。

　　一位芯片行业相关人士提到，目前业界通常认为，存储和计算需求在5GB以下，才视作可以进入到端侧运行。而对存储和计算的能力要求在5GB到20GB之间，通常认为适合部署在边侧，更大的则适合在云上。

　　同时，还有多位受访人士认为，家庭场景里很多时候并不太需要把大模型放到端侧。“家电设备现在很容易连网。从便捷性、安全性，还是稳定性角度，目前连接云端效率都非常高的。有现成网络资源的话，就应该用这个资源，而不是说专门去搞一个硬件跑，不划算。”聆思科技展台的技术人士告诉数智前线。

　　该人士提到，他们的模组里大模型是跑在云上。把大模型放到云端跑，反映到产品端，成本的上升幅度非常小，甚至还有可能出现下降。“现在放在边缘端侧的，只需要一个听指令的收音工具，它只是加了一个WiFi模组芯片，其实并没有增加多少成本，甚至此前离线的一些命令词都可以去掉，一些在本地的GPU算力也可以阉割掉，成本还有可能降低。”

　　哪些大模型的场景一定要在端侧去完成呢?百度资深人士告诉数智前线，端侧没有时延，或者时延非常短。那些对时延要求特别高的场景在端侧完成体验肯定会更好。

　　三星智能家居展台解决方案人士则介绍，家庭场景里，云上和端侧会有分工。家庭场景里一旦录入了用户的使用习惯，形成了策略，就可以下放到本地执行。策略不需要每天更新，本地算力不够，要运算的放到云端。

　　青岛国创智能研究院的工程师也在探索和尝试往端侧部署模型，他们认为随着模型不断优化和端侧算力的不断提升，会有一些模型直接运行在家电边缘端。

　　另外，除了直接部署到端侧，业界认为，家庭场景里，在云之下，端之上，有一个边侧的计算和智能中枢也是一种解决方案。

　　云米智能家居GTM林石列提到，他们正在开发一个类似中枢网关的产品，现在它的计算能力还有待加强。未来推出一个性能更好的主机，可以直接来负责整个家庭的计算，一些大模型可以部署到这个网关或者主机上。

　　“快速高效的决策放到端侧，端侧很便捷去交互，这是大的发展趋势，但仍然有一个长期发展的过程。”一位行业观察人士称。