跳到主要内容

内容审核概述

即时通讯支持对 IM 内容进行审核。

  • 即时通讯(IM)服务已内置敏感词机制。注意,敏感词机制仅是一种基础保护机制,且仅限于文本内容(默认最多 50 个敏感词),不可替代专业内容审核服务。
  • 融云的内容审核服务产品中的 IM 审核服务,可为 IM 内容提供全面的保障与支持,支持审核文本、图片、语音片段、小视频,精准识别敏感信息。
  • 如需自行实现审核或对接第三方审核服务,可以使用消息回调服务

如果消息因被判定违规导致无法下发收件人,默认情况下消息发送者不会收到通知。如果 App 希望通知消息发送者消息已被拦截,可提交工单开通含敏感词消息屏蔽状态回调发送端,并在客户端设置监听(要求 Android/iOS SDK 版本 ≧ 5.1.4,Web ≧ 5.0.2)。详见敏感信息拦截回调

敏感词机制

提示
  • 客户端不提供针对该功能的管理接口,仅提供回调接口,可在消息被判定为不下发时通知消息发送方。详见敏感信息拦截回调
  • 如需审核文本(支持语义检测)、图片、语音片段、小视频,建议使用融云提供的内容审核服务产品

敏感词机制是一种基础保护机制,仅支持对文本消息内容中的敏感词进行识别与过滤。对命中敏感词的消息,您可以选择进行屏蔽该消息(不会下发给接收方),或按指定规则替换消息中的敏感词后再进行下发。

目前支持的敏感词过滤语言包括:中文、英文、日语、德语、俄语、韩语、阿拉伯语。

您可以通过以下方式管理 App Key 下开发环境或生产环境的敏感词:

功能描述客户端 API融云服务端 API控制台
添加敏感词,支持设置替换内容不提供该 API添加敏感词敏感词设置页面
移除敏感词不提供该 API移除敏感词敏感词设置页面
批量移除敏感词不提供该 API批量移除敏感词敏感词设置页面
获取敏感词列表,支持获取设置的替换内容不提供该 API获取敏感词列表敏感词设置页面

默认行为

  • 默认最多设置 50 个敏感词。
  • 默认仅针对从客户端 SDK 发送的消息生效。
  • 默认仅支持识别官方内置的文本消息类型(消息标识为 RC:TxtMsg) 中的敏感词。支持单聊、群聊、聊天室、超级群会话。

调整配置

  • IM 旗舰版IM 尊享版可以在控制台 IM 服务管理 页面的扩展服务标签下自行调整敏感词上限数。具体功能与费用以融云官方价格说明页面及计费说明文档为准。
  • 如果您对使用服务端 API 发送的消息进行敏感词过滤,可以在控制台的免费基础功能界面打开 Server API 发送消息过滤敏感词开关。
  • 如果您需要对自定义消息类型启用敏感词机制,可以在敏感词设置页面点击设置自定义消息。提供自定义消息的消息类型的 ObjectName,及该消息类型下内容(Content)JSON 结构中对应的键值 Key,即可对该 Key 所对应的 Value 值进行敏感词过滤处理。

IM 内容审核服务

提示

客户端不提供针对该功能的管理接口,仅提供回调接口,可在消息被判定为不下发时通知消息发送方。详见敏感信息拦截回调

如果您希望全面审核 IM 内容,可以使用融云的内容审核服务产品,该产品提供 IM 审核服务与音视频审核服务。

IM 审核针对即时通讯业务,具体可提供以下能力:

  • 审核文本内容
  • 审核图片
  • 审核语音片段
  • 审核小视频
  • 审核自定义消息类型(需要提交工单申请)
  • 从控制台查看审核报告
  • 从控制台查询 IM 审核记录
  • 审核结果回调

您可以在控制台的 IM & 音视频审核 页面开通 IM 审核服务,配置接收审核结果回调的地址。详见服务端文档审核结果回调

IM 内容审核计费

内容审核服务为付费服务,开发环境可免费体验,生产环境下需预存才能使用服务。具体计费说明详见资费标准 · IM 审核

消息回调服务

如果您希望对接自己的审核系统或其他第三方内容审核服务,可以使用消息回调服务

消息回调服务(原模版路由)提供一种消息过滤机制。您可以根据发送用户 ID、接收用户 ID、消息类型、会话类型等参数,将相应的消息同步到您指定的服务器。

消息同步到您指定的服务器后,可以使用自己的审核系统执行内容审核,也可以对接其他第三方审核系统。融云服务端会根据您应用服务器返回的响应结果,决定是否将消息下发、是否替换消息中的内容,以及如何进行内容替换。

您可以通过控制台的消息回调服务页面管理 App Key 下开发环境或生产环境的消息回调服务状态和路由规则。

消息回调服务计费

费用以融云官方价格说明页面及计费说明文档为准。

关于如何创建路由规则,以及回调参数的具体说明,请参见消息回调服务文档。