由 Arm 提供

本博客由 Arm 的 PyTorch 团队提供。更多详情请见此处。

Arm 的计算平台正在为手机、笔记本电脑和服务器上的 GenAI 应用提供支持。成本、隐私、性能、安全性和能效只是开发者研究设备上 AI 的一些原因。

现已推出一个新的学习路径,解释如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型(LLMs)的功能。

这里是您将学习的内容摘要:

  • 开发环境搭建

    学习路径从引导您设置开发环境开始,确保您已安装所有必要的工具,包括 Android Studio、Android NDK、Java JDK 和 Python。

  • ExecuTorch 和 XNNPACK

    你将了解核心技术:ExecuTorch,一个将 PyTorch 模型部署到边缘设备的框架,以及 XNNPACK,一个在基于 Arm 平台的设备上执行神经网络的高性能库。

  • Llama 模型

    学习路径探索 Llama,一个强大的LLMs系列,专注于 8B Llama 3 模型。你将了解量化技术,这对于优化模型在移动设备上的大小和性能至关重要。

  • 为 ExecuTorch 准备 Llama 模型

    您将指导完成下载、导出和评估 Llama 模型的过程,确保它们可以使用 ExecuTorch 进行部署。

  • 检查模型在 Android 上的性能

    学习路径将指导您为 Android 交叉编译 Llama 运行器二进制文件,让您可以在手机上测试模型性能。

  • 构建并运行 Android 聊天应用

    最后,您将学习如何使用 ExecuTorch 仓库中的 LlamaDemo 应用程序构建原生 Android 聊天应用。这种动手实践经验让您将知识付诸实践,并创建一个真实世界的应用。

如果您想在您的 Android 手机上利用LLMs的强大功能,并掌握设备端机器学习工具的技能,请探索这条学习路径。

深入了解构建 Android 聊天应用的激动人心之处,并在 Arm 开发者中心了解它们是如何工作的。