跳到主要内容

开发指南

内容审核概述

即时通讯支持对 IM 内容进行审核。

  • 即时通讯(IM)服务已内置敏感词机制。注意,敏感词机制仅是一种基础保护机制,且仅限于文本内容(默认最多 50 个敏感词),不可替代专业内容审核服务。
  • 融云的内容审核服务产品中的 IM 审核服务,可为 IM 内容提供全面的保障与支持,支持审核文本、图片、语音片段、小视频,精准识别敏感信息。
  • 如需自行实现审核或对接第三方审核服务,可以使用消息回调服务

如果消息因被判定违规导致无法下发收件人,默认情况下消息发送者不会收到通知。如果 App 希望通知消息发送者消息已被拦截,可在融云控制台的免费基础功能界面开通含敏感词消息屏蔽状态回调发送端,并在客户端设置监听(要求 Android/iOS SDK 版本 ≧ 5.1.4,Web ≧ 5.0.2)。详见敏感信息拦截回调

提示

默认情况下,单聊发送的消息,若因含有敏感词或审核不通过时,也会存储在发送者的服务端历史消息中。同时该用户在其他终端登录时,也会补偿收到该条消息。如您不希望含敏感词或者审核不通过的消息进入发送者的历史消息或收到消息补偿,可在融云控制台,通过应用配置>IM 服务>免费基础功能>安全,开通单聊含敏感词消息不保存到发送者历史消息功能。

敏感词机制

注意

  • 客户端不提供针对该功能的管理接口,仅提供回调接口,可在消息被判定为不下发时通知消息发送方。详见敏感信息拦截回调
  • 如需审核文本(支持语义检测)、图片、语音片段、小视频,建议使用融云提供的内容审核服务产品

敏感词机制是一种基础保护机制,仅支持对文本消息内容中的敏感词进行识别与过滤。对命中敏感词的消息,您可以选择进行屏蔽该消息(不会下发给接收方),或按指定规则替换消息中的敏感词后再进行下发。

目前支持的敏感词过滤语言包括:中文、英文、日语、德语、俄语、韩语、阿拉伯语。

您可以通过以下方式管理 App Key 下开发环境或生产环境的敏感词:

功能描述客户端 API融云服务端 API控制台
添加敏感词,支持设置替换内容不提供该 API添加敏感词敏感词设置页面
移除敏感词不提供该 API移除敏感词敏感词设置页面
批量移除敏感词不提供该 API批量移除敏感词敏感词设置页面
获取敏感词列表,支持获取设置的替换内容不提供该 API获取敏感词列表敏感词设置页面

默认行为

  • 默认最多设置 50 个敏感词。
  • 默认仅针对从客户端 SDK 发送的消息生效。
  • 默认仅支持识别官方内置的文本消息类型(消息标识为 RC:TxtMsg)中的敏感词。支持单聊、群聊、聊天室、超级群会话。超级群中文本消息修改后的内容默认也会敏感词识别、拦截或过滤。

调整配置

  • IM 旗舰版IM 尊享版可以在控制台 IM 服务管理 页面的扩展服务标签下自行调整敏感词上限数。具体功能与费用以融云官方价格说明页面及计费说明文档为准。
  • 如果您对使用服务端 API 发送的消息进行敏感词过滤,可以在控制台的免费基础功能界面打开 Server API 发送消息过滤敏感词开关。
  • 如果您需要对自定义消息类型启用敏感词机制,可以在敏感词设置页面点击设置自定义消息。提供自定义消息的消息类型的 ObjectName,及该消息类型下内容(Content)JSON 结构中对应的键值 Key,即可对该 Key 所对应的 Value 值进行敏感词过滤处理。

IM 内容审核服务

注意

客户端不提供针对该功能的管理接口,仅提供回调接口,可在消息被判定为不下发时通知消息发送方。详见敏感信息拦截回调

如果您希望全面审核 IM 内容,可以使用融云的内容审核服务产品,该产品提供 IM 审核服务与音视频审核服务。

IM 审核针对即时通讯业务,具体可提供以下能力:

  • 审核文本内容
  • 审核图片
  • 审核语音片段
  • 审核小视频
  • 审核自定义消息类型(需要提交工单申请)
  • 审核超级群业务中的消息修改
  • 从控制台查看审核报告
  • 从控制台查询 IM 审核记录
  • 审核结果回调

您可以在控制台的 IM & 音视频审核 页面开通 IM 审核服务,配置接收审核结果回调的地址。详见服务端文档审核结果回调

IM 内容审核计费

内容审核服务为付费服务,开发环境可免费体验,生产环境下需预存才能使用服务。具体计费说明详见资费标准 · IM 审核

消息回调服务

如果您希望对接自己的审核系统或其他第三方内容审核服务,可以使用消息回调服务

消息回调服务(原模版路由)提供一种消息过滤机制。您可以根据发送用户 ID、接收用户 ID、消息类型、会话类型等参数,将相应的消息同步到您指定的服务器。超级群业务中,修改消息内容、更新消息扩展也支持通过消息回调同步到您指定的服务器。

消息同步到您指定的服务器后,可以使用您自己的审核系统执行内容审核,也可以对接其他第三方审核系统。融云服务端会根据您应用服务器返回的响应结果,决定是否将消息下发、是否替换消息中的内容,以及如何进行内容替换。

您可以通过控制台的消息回调服务页面管理 App Key 下开发环境或生产环境的消息回调服务状态和路由规则。

关于如何创建路由规则,以及回调参数的具体说明,请参见消息回调服务文档。

消息回调服务计费

费用以融云官方价格说明页面及计费说明文档为准。