跳到主要内容

IM 内容审核服务

常规审核方案

融云内容审核产品中的 IM 审核服务,为 IM 内容提供全面保障与支持,支持审核文本、图片、语音片段和小视频,精准识别敏感信息。 使用该服务无需额外代码集成,只需开通服务即可实现消息自动审核,如需调整审核力度或有其他审核需求,可联系商务经理沟通。

开通位置

您可以通过融云控制台开通IM 审核服务,并在功能配置页面进行配置。 a

该审核配置页面支持以下功能点:

  • 进入审核管理后台(三方审核平台,方便您查看审核记录或其他审核策略调整)
  • 配置审核结果回调
  • 支持自行启用或关闭审核规则
  • 支持开通服务端 API 发送消息过滤敏感词功能

b

计费说明

  • 开发环境:免费试用 30 天。
  • 生产环境:首次开通可免费体验 7 天,免费额度用尽后服务将关停。如需再次开启需预存 600 元并开始计费。

每日结算前一天统计用量费用,月底按整体使用量核算月度费用,费用按最小条数计算,不足一分钱不计费。

详细计费规则请参考IM 审核计费说明

自定义事件审核方案

在您的实际业务中,根据用户的级别、性别、地域等背景信息,可以执行不同的审核策略。

实现步骤

  1. 审核方根据客户的业务需求,分配不同的审核事件 ID(eventId)。例如:根据性别进行审核时,数美需要分别提供男性和女性的审核事件 ID(eventId)。在实际操作前,可联系商务经理创建审核群进行对接。
  2. 开通内容审核支持自定义事件审核功能。此功能暂不支持自助开通,请提交工单申请。
  3. 在通过融云 SDK 发送消息时,根据发送消息用户的不同,携带相应的事件 ID。融云服务端在送审时会将事件 ID 同步给数美,数美会根据传入的事件 ID 执行相应的审核策略。

计费说明

免费

客户端集成代码示例

从 5.6.8 版本开始支持,发送消息时,设置消息对象中的 auditInfo 内容,如下:

Java
MessageAuditInfo messageAuditInfo =
new MessageAuditInfo(
MessageAuditType.ALLOW,
"",
"strategy");
textMessage.setAuditInfo(messageAuditInfo);
Message message = Message.obtain("targetId", Conversation.ConversationType.PRIVATE, textMessage);

属性说明:

  • auditType:审核类型,需要设置为审核 MessageAuditType.ALLOW
  • strategy:对应为数美审核的事件 ID(eventId)。

注:使用默认审核逻辑时可不设置 auditInfo

提示

如果使用默认审核逻辑,则无需设置 auditInfo

服务端 API 接口

通过服务端 API 发送消息时,可以在消息体中添加 audit 属性内容来实现:

JSON
{
"content":"Hello world! 单聊消息 ",
.....
"audit":
{
"auditType" : 1,
"strategy" : "message_restrict", // 例子,实际与数美的事件值一致。
},
"extra":""
}

属性说明:

  • auditType:审核类型,需要设置为 1(表示需要审核)。
  • strategy:对应数美审核的事件 ID(eventId)。
提示

如果使用默认审核逻辑,则无需设置 audit

自定义消息审核方案

融云支持自定义消息的审核功能,但目前暂不支持自助配置。您可以通过提交工单申请开通。在提工单时,请提供以下信息:

  1. 应用的 App Key。
  2. 会话类型:需要审核的自定义消息所属的会话类型(如单聊、群聊、聊天室、超级群)。
  3. 自定义消息的消息类型(ObjectName),例如:融云内置消息类型 RC:TxtMsg
  4. 自定义消息中 Content 的 JSON 结构内容。目前仅支持 JSON 结构。以下是文本消息的示例结构:
JSON
{
"content":"Hello world!",
"user":
{
"id":"4242",
"name":"Robin",
"portrait":"http://example.com/p1.png",
"extra":"extra"
},
"extra":""
}
  1. 需要审核的 JSON 结构中的属性名称,例如客户的自定义消息结构如下,需要审核 msg 的内容:
JSON
{
"msg":"需要审核的内容",
"user":
{
"id":"4242",
"name":"Robin",
"portrait":"http://example.com/p1.png"
}
}

计费说明

免费

流式消息审核方案

该功能适用于大模型流式响应场景,例如 AI 生成文本、实时翻译或动态内容发送等场景,确保消息能够分块传输并逐段展示,减少延迟,增强互动性。 目前仅支持单聊和群聊场景使用,详见发送流式消息概述

  • 同一流发送中断间隔最大 30 秒。超过 30 秒后服务自动判断为流已中断,不再接收后续发送的流数据,拉到的流 stopReason 为 29003。
  • 在持续发流超时情况下最长支持 30 分钟,超过 30 分钟后自动阶段并丢弃 30 分钟后的流数据,拉到的流 stopReason 为 29004。
提示

无需开通,可直接调用服务端 API 接口发送流式消息。

支持 SDK 版本

  • IMLib SDK:Android、iOS、Web、Electron SDK 在 5.16.0 版本开始支持。
  • IMKit SDK:Android、iOS SDK 在 5.16.0 版本开始支持。

计费说明

流式消息审核费用与 IM 消息审核计费中的文本审核计费一致。

统计规则

  • 流式消息正常计入分发、下行统计,终端 SDK 每次拉取流式消息时,计做一个消息下行数据。
  • 以单聊场景为例:
    • 一个 SDK 发送消息,需要返回流式消息时,将产生 2 条分发消息,3 条下行消息
      • 消息分发包括:流式消息首包、流式消息摘要的同步。
      • 消息下行包括:流式消息首包、流式消息摘要的同步、SDK 拉取完整消息内容。

IM 用户信息托管审核方案

支持对信息托管服务中用户、好友、群组资料信息审核,只有审核通过后才会更新。

提示
  • 针对 5.16.0 之前版本的 SDK 如设置了资料信息审核不通过后,将返回错误码 25480。
  • 目前仅支持国内数据中心,暂不支持海外数据中心(数美针对此功能暂不支持外语审核能力)。
  • 托管资料设置不支持融云敏感词审核。

开通位置

登录融云控制台,在 IM 信息托管配置中配置。

c

该审核配置页面支持以下功能点:

  • 支持对信息托管服务中用户、好友、群组资料信息开启、调整和关闭。
  • 支持配置信息托管审核回调地址。
  • 支持开通服务端 API 设置托管信息是否审核功能

d

计费说明

托管资料审核与 IM 消息审核计费规则相同,审核费用将在 "IM 内容审核账户"中自动扣除。

用户资料审核配置

e f

功能描述:

  • 内置属性:除头像外,所有属性都使用文本审核方式。
  • 自定义属性:仅支持文本审核。
  • 最多可以设置 20 个需要审核的资料信息(包括所有内置和自定义属性)。
  • 设置审核时最少需要选择一个审核的属性。
  • 审核默认策略:
    • 文本:默认审核涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义,与 IM 消息审核一致。
    • 图片:默认审核涉政识别、广告识别、色情识别、暴恐识别,涉政和广告为必选项不支持删除。

好友资料审核配置

g

功能描述:

  • 内置属性和自定义属性都使用文本审核方式。
  • 最多可以设置 20 个需要审核的资料信息(包括所有内置和自定义属性)。
  • 设置审核时最少需要选择一个审核的属性。
  • 审核默认策略:
    • 文本:默认审核涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义,与 IM 消息审核一致。

群组资料审核配置

h i

功能描述:

  • 内置属性:除头像外,所有属性都使用文本审核方式。
  • 自定义属性:仅支持文本审核。
  • 最多可以设置 20 个需要审核的资料信息(包括所有内置和自定义属性)。
  • 设置审核时最少需要选择一个审核的属性。
  • 审核默认策略:
    • 文本:默认审核涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义,与 IM 消息审核一致。
    • 图片:默认审核涉政识别、广告识别、色情识别、暴恐识别,涉政和广告为必选项不支持删除。

群成员资料审核配置

j

功能描述:

  • 只有内置属性,使用文本审核方式。
  • 设置审核时最少需要选择一个审核的属性。
  • 审核默认策略:
    • 文本:默认审核涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义,与 IM 消息审核一致。

发送方如何知道消息是否被拦截

默认情况下,消息发送方无法感知消息是否已被融云审核服务拦截。如果 App 希望在消息因触发审核规则而无法下发时通知消息发送方,可开通含敏感词消息屏蔽状态回调发送端功能。

融云的内容审核服务(包括消息敏感词、IM 审核服务、消息回调服务),会在以下情况下拦截消息:

  • 文本消息内容命中了您自定义的消息敏感词(屏蔽敏感词),导致消息不下发给接收方。
  • 消息命中了 IM 审核服务,导致消息不下发给接收方。
  • 消息命中了消息回调服务设置的路由规则,导致消息不下发给接收方。

开通位置

登陆融云控制台,开启 含敏感词消息屏蔽状态回调发送端 功能。

k

计费说明

免费

IM 审核记录

登陆融云控制台,点击 IM 审核记录可以按时间范围、消息类型以及供应商查询和导出审核用量。

提示

2021 年 3 月 12 日前内容审核用量,请查看内容审核 1.0 审核记录

i