融云大模型 API 服务概述

版本说明

当前文档为大模型 API 服务 1.0 版本。如需查看最新的 2.0 版本文档，请访问：https://console-xmodel.rongcloud.cn/developer-doc

产品介绍

融云大模型 API 服务是集顶尖大模型于一体的一站式云服务。其核心使命是为开发者提供高效、全面且流畅的模型 API 服务，助力开发者快速实现 GenAI 应用。通过集成融云大模型 API 服务，开发者和企业能够聚焦于产品创新，无需为产品大规模推广过程中可能产生的高昂算力成本而担忧，有效降低技术实现门槛与运营成本。

产品功能

便捷开发

融云提供开箱即用的大模型 API，采用灵活的按量收费模式，助力开发者轻松实现应用开发。

丰富的模型资源

融云已上架多种大语言模型、向量与重排序模型以及多模态大模型。这些丰富的模型资源广泛覆盖自然语言处理、智能推荐等多样化应用场景，满足不同开发者和企业的业务需求。具体模型详情可参考模型资源。

推理加速

融云提供高效能的大模型推理加速服务，通过对模型推理过程的优化，显著提升 GenAI 应用的响应速度和处理效率，为用户带来更流畅、高效的使用体验。

产品特性

• 高稳定性

  经过大量开发者实践验证，融云大模型 API 服务拥有坚实的技术基础和稳定的架构设计，能够确保平台高可靠稳定运行。配备完善的监控和容错机制，实时监测平台运行状态，即使发现并解决潜在问题，保障服务的连续性和稳定性。此外，平台提供专业技术支持，满足企业级场景需求，确保服务的高可用性。

• 高速推理

  凭借自研高效算子和优化框架，融云大模型 API 服务搭载全球领先的推理加速引擎。该引擎在提升吞吐能力方面表现卓越，能够全面满足高吞吐场景业务需求，确保在大量数据处理和高并发访问情况下，系统依然能够稳定、高效运行。同时，针对低延迟场景，平台对计算延迟进行了显著优化，提供了卓越的性能保障，使应用能够快速响应用户请求。

• 高扩展性

  支持动态扩容的弹性业务模型，可无缝适配多种复杂场景，无论是业务流量的突然增长，还是新功能模块的添加，都能灵活应对。

• 高性价比

  通过端到端的极致优化，融云大模型 API 服务大幅降低推理和部署成本。同时，融云提供灵活的按需付费模式，根据实际使用量进行计费，有效减少资源浪费，帮助开发者和企业精准控制预算。

• 安全合规

  融云不保留任何客户的调用 API 数据，保障客户数据的安全。