本博客由 Arm 的 PyTorch 团队提供。更多详情请见此处。
Arm 的计算平台正在为手机、笔记本电脑和服务器上的 GenAI 应用提供支持。成本、隐私、性能、安全性和能效只是开发者研究设备上 AI 的一些原因。
现已推出一个新的学习路径,解释如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型(LLMs)的功能。
这里是您将学习的内容摘要:
-
开发环境搭建
学习路径从引导您设置开发环境开始,确保您已安装所有必要的工具,包括 Android Studio、Android NDK、Java JDK 和 Python。
-
ExecuTorch 和 XNNPACK
你将了解核心技术:ExecuTorch,一个将 PyTorch 模型部署到边缘设备的框架,以及 XNNPACK,一个在基于 Arm 平台的设备上执行神经网络的高性能库。
-
Llama 模型
学习路径探索 Llama,一个强大的LLMs系列,专注于 8B Llama 3 模型。你将了解量化技术,这对于优化模型在移动设备上的大小和性能至关重要。
-
为 ExecuTorch 准备 Llama 模型
您将指导完成下载、导出和评估 Llama 模型的过程,确保它们可以使用 ExecuTorch 进行部署。
-
检查模型在 Android 上的性能
学习路径将指导您为 Android 交叉编译 Llama 运行器二进制文件,让您可以在手机上测试模型性能。
-
构建并运行 Android 聊天应用
最后,您将学习如何使用 ExecuTorch 仓库中的
LlamaDemo
应用程序构建原生 Android 聊天应用。这种动手实践经验让您将知识付诸实践,并创建一个真实世界的应用。
如果您想在您的 Android 手机上利用LLMs的强大功能,并掌握设备端机器学习工具的技能,请探索这条学习路径。
深入了解构建 Android 聊天应用的激动人心之处,并在 Arm 开发者中心了解它们是如何工作的。