大型语言模型（LLMs）在云环境中表现出色，但存在隐私和成本方面的担忧。为了解决这些问题，研究者们开发了更小的模型以部署在边缘设备上，如智能手机、汽车、VR头显和个人电脑。
今天介绍一个能在手机端运行的AI大模型：Octopus V2
Octopus V2 是一款由 NexaAIDev 开发的 20 亿参数的开源、轻量级、移动设备的AI语言模型，旨在为智能手机和其他边缘设备提供强大的 AI 功能。
Octopus V2使用了Google Gemma-2B模型作为预训练模型，并采用了全模型训练和LoRA（Low-Rank Adaptation）模型训练两种方法。
Octopus-v2能力如何？
准确性
在Android系统函数调用的基准测试中，Octopus模型展示了极高的准确性。具体来说，Octopus模型在评估数据集上达到了99.524%的准确率。
延迟
Octopus模型在延迟方面的表现也非常出色，它能够显著减少函数调用所需的时间。在设备端模型的测试中，Octopus模型能够在1.1到1.7秒内完成对20到30个令牌的典型查询的函数调用。
与现有模型的比
归功于其独特的功能令牌设计。Octopus与“Llama7B + RAG解决方案”相比，快36倍。与依赖于A100/H100 GPU集群的GPT-4-turbo相比，Octopus-v2的速度快168%。
在功能调用准确性上提高了31%。它在基准数据集上的功能调用准确性与GPT-4和RAG + GPT-3.5相当，得分在98%到100%之间。
如果你想体验，可以访问如下网址
模型地址：
https://huggingface.co/NexaAIDev/Octopus-v2
论文地址：
https://arxiv.org/abs/2404.01744
© 版权声明
文章版权归作者所有，未经允许请勿转载。
