英伟达的生成式AI微服务有什么用？公司：在更小的GPU占用空间上放置相同大小的模型

每经记者 杨卉    实习生 卞昱媛    每经编辑 梁枭    

当地时间3月18日，在GTC（GPU Technology Conference）2024大会上，英伟达宣布推出生成式AI微服务，供开发者在已安装NVIDIA CUDA GPU的系统中创建和部署生成式AI助手。企业可以利用这些微服务在自己的平台上创建和部署定制应用，同时保留对知识产权的完整所有权和控制权。

据英伟达介绍，这些云原生微服务目录在NVIDIA CUDA平台上开发，其中包括NVIDIA NIM微服务，可适用于NVIDIA及合作伙伴生态系统中20多个热门的AI模型进行推理优化。用户将能够从亚马逊SageMaker、谷歌KubernetesEngine和微软AzureAI中访问NIM微服务，并与Deepset、LangChain和LlamaIndex等流行的AI框架集成；还能以NVIDIA CUDA-X微服务的形式使用NVIDIA加速软件开发套件、库和工具，用于检索增强生成（RAG）、护栏、数据处理、HPC等。

根据英伟达的说法，包括Adobe、Cadence、CrowdStrike、GettyImages、SAP、ServiceNow和Shutterstock在内的诸多应用、数据和网络安全平台提供商已经率先使用了NVIDIA AI Enterprise5.0中提供的这些全新NVIDIA生成式AI微服务。

用更通俗的理解方式，英伟达的这些AI微服务能为企业带来什么？3月18日，英伟达生成式AI软件产品管理副总裁Kari Briski在媒体吹风会上提出，NIM为企业提供的是一个能够迅速收集数据的预训练模型，而不是预训练数据，可以将它视为一种具有学习能力的模型。

由于在每一次优化和产品发布中，Nvidia都在大语言模型上进行一些新的优化或压缩，NIM会帮助用户公司节省一些成本。“举个例子，比如我们首次发布NIM时采用的是FP16，Hopper推出后采用的则是FP8，这样就可以在更小的GPU占用空间上放置相同大小的模型。”Kari Briski称。

谈及开源，Kari Briski还在回答《每日经济新闻》记者提问时表示，2023年是关于探索开源模型的一年，但许多企业开发人员缺乏将开源模型以安全方式引入生产环境的能力。NIM的出现可以避免安全性漏洞，向开发人员提供简单的API，缩短从探索到生产的时间。“我认为这将改变人工智能领域的格局，大部分企业在发现AGI后的第一年仅停留在概念验证阶段，但现在他们可以更快地将其转化为生产。”