【自有技术大讲堂】数据驱动的AI（系列7）：边缘侧的机器学习

边缘 ML 涉及将 ML 模型放在消费者设备上，在那里它们可以在没有互联网连接的情况下实时、免费地独立运行推理。

在过去十年中，许多公司已转向云来存储、管理和处理数据。对于机器学习解决方案来说，这似乎是一个更有前途的领域。通过在云上部署 ML 模型，您可以访问由第三方维护的大量功能强大的服务器。您可以在最新的图形处理单元（GPU）、张量处理单元（TPU）和视觉处理单元（VPU）上生成预测，而无需担心初始设置成本、可扩展性或硬件维护等问题。此外，基于云的解决方案提供了对高性能服务器的访问接口，这些服务器可以比本地服务器更快地进行推理（生成预测）。

人们可能会认为在云上部署ML模型更便宜。毕竟，您不需要在内部构建基础架构或维护所有内容。您只需为服务器的使用时间付费。然而，这与事实相去甚远。云成本年复一年地持续飙升，大多数组织都很难控制这些成本。据Gartner报告预测，到 2022 年，终端用户在公共云服务上的支出将超过 30000亿元。

大型公司每年已经在云账单上花费数亿元。即使对于中小型企业，这一成本平均约为500万。机器学习工作负载需要大量计算，这在云上成本高昂。尽管云解决方案提供了一种管理ML应用程序的简单方法，但边缘ML最近已经起飞。

Source: Flexera 2022 State of the Cloud Report

从云机器学习到边缘机器学习

为了控制运行成本，许多公司已经开始寻找在终端用户设备上推动尽可能多的计算的解决方案。这意味着将 ML 模型放在消费者设备上，它们可以在没有互联网连接的情况下实时、免费地独立运行推理。相比于云机器学习，边缘机器学习在推理性能，数据隐私和成本方面都具备独特优势。

性能

即便是具有最高精度的最先进的 ML 模型， 如果响应时间再长一些，可能就无法满足工业用户对实时性的需求。即使将 ML 模型部署到云端可以访问的高性能硬件上，也不一定意味着应用程序的延迟会减少。通过网络传输数据通常比使用特殊硬件加速模型性能的开销更大。即便将深度学习模型的性能提高几毫秒，但通过网络传输的数据可能会长达几秒钟。 

离线推理

云计算要求应用程序具有稳定的互联网连接，以实现持续的数据传输。借助边缘计算，您的应用程序可以在没有互联网连接的地方运行。这在网络连接不可靠但应用程序严重依赖计算的领域特别有用。即使互联网连接中断，模型也应在边缘设备上生成推理。

数据隐私

边缘计算提供了数据隐私的好处。用户的生成数据是在用户附近处理的，而不是在公司数据中心积累的。这也使其不易通过网络被拦截。事实上，对于许多工业用户来说，边缘计算是确保工厂数据安全的唯一解决方案。

成本

转向边缘ML的还有一点是，用户需要为云上的计算的经常性成本付费。如果模型保留在用户设备上，则所有计算都由该设备产生。该模型利用消费级设备的处理能力，而不是为云计算付费。同时，边缘学习对初学者和专家来说都是一个可行的解决方案。它可以寻找一种简单的方式将自动化集成到生产线上，并且可以由经常使用机器视觉但缺乏特定ML专业知识的经验丰富的工程师来部署及维护。

边缘机器学习的发展

在工厂自动化中部署人工智能的一个常见障碍是其复杂程度。边缘学习是一种改变游戏规则的技术，它的能力极强，部署起来也很简单。它可以实现各种任务的自动化，无需事先的人工智能经验或技术专长。从零件检测到分拣和字符阅读应用，边缘学习是将自动化带到工厂车间的简单答案。到目前为止，您已经了解了边缘 ML 如何为您提供竞争优势。然而，机器学习基础设施的当前格局表明，要有效利用这一优势，还需要做大量工作。边缘学习面临的挑战是如何编译 ML模型以优化的方式在异构硬件平台上运行。这是一个不断增长的研究领域，许多硬件公司正在投入数十亿美元来引领 ML 硬件竞赛。包括英伟达、苹果和特斯拉在内的大公司已经在制造自己的人工智能芯片，这些芯片经过优化，可以运行特定的ML模型。相信随着配套技术的发展和完善，边缘机器学习的解决方案会更加成熟，获得更多用户的青睐。