内容审查

内容审查，指对用户输入的、及 Agent 生成的内容进行涉黄、涉爆等方面的审查，确保内容的健康、安全，降低客户的业务违规风险。

审查服务

当前支持 OpenAI Moderation 服务。

Key 配置

GPTBots Key：即直接通过 GPTBots 官方提供的 Key 使用对应的内容审查服务，用户无需再去对接 OpenAI。
我的 Key：即用户可以通过自己的 OpenAI Key，来使用对应的内容审查服务。

自定义 API 扩展

若您需要使用其他厂商的内容审查服务，可参考下方自定义 API 扩展的方式，进行扩展。

API 开发

使用自定义的 API 进行内容审查，则 API 必须遵循下列要求开发。

提供Bearer鉴权。
使用POST方法。

请求体必须是如下结构：

{ "point": "agent.moderation.input", "params": { "agent_id": "66dacfb60d3bb525b33e7b2b", "query": [ { "type": "text", "text": "...text to classify goes here..." }, { "type": "image", "url": "https://example.com/image.png" } ] } }

                      
                      {
    "point": "agent.moderation.input",
    "params": {
        "agent_id": "66dacfb60d3bb525b33e7b2b",
        "query": [
            {
                "type": "text",
                "text": "...text to classify goes here..."
            },
            {
                "type": "image",
                "url": "https://example.com/image.png"
            }
        ]
    }
}

此代碼塊在浮窗中顯示

字段	类型	说明
point	String	审查端点。如果是输入审查，请入参`agent.moderation.input`。如果是审查输出，请入参`agent.moderation.output`。
params	Object	当内容审查不通过时，将使用该文案给用户回复。
- agent_id	String	要审查的智能体的 ID。
- query	Array	要审查的内容。
- - type	String	内容的类型：`text`、`image`。
- - text	String	若类型为`text`，则此参数入参其文本内容。
- - url	String	若类型为`image`，则此参数入参图片的 URL 地址。

响应体必须是如下结构：

{ "flagged": true, "preset_response": "Your content violates our usage policy." }

                      
                      {
    "flagged": true,
    "preset_response": "Your content violates our usage policy."
}

此代碼塊在浮窗中顯示

字段	类型	说明
flagged	Bool	表示审查结果，是否审查通过。`true`为不通过，`false`为通过。
preset_response	String	当内容审查不通过时，将使用该文案给用户回复。

API 添加

点击“新增 API 扩展”。

将该 API 扩展的信息配置到面板内，并点击“测试”。

若测试通过，则可点击“保存”，则该 API 扩展即可生效。