Moderación

La moderación de contenido se refiere a la revisión del contenido introducido por los usuarios y del contenido generado por los agentes para detectar elementos como pornografía, violencia, etc., lo que ayuda a garantizar la seguridad del contenido y reduce los riesgos de cumplimiento normativo para el negocio de los clientes.

Servicio

Actualmente, solo se admite OpenAI Moderation.

Configuración de la clave

GPTBots Key: Esto permite a los usuarios utilizar directamente el servicio de moderación de contenido correspondiente a través de la clave proporcionada por GPTBots. No es necesario que los usuarios realicen una integración independiente con OpenAI.
My Key: Los usuarios también pueden usar su propia clave de OpenAI para acceder al servicio de moderación de contenido correspondiente.

Extensión de la API

Si necesita utilizar servicios de moderación de contenido de otros proveedores, puede consultar el método de extensión de API personalizada que se indica a continuación para realizar la integración y ampliación.

Desarrollo de la API

Para utilizar una API personalizada para la moderación de contenido, la API debe desarrollarse de acuerdo con los siguientes requisitos:

Debe admitir la autenticación Bearer.
Debe utilizar el método POST.

El cuerpo de la solicitud debe seguir la estructura que se muestra a continuación:

{ "point": "agent.moderation.input", "params": { "agent_id": "66dacfb60d3bb525b33e7b2b", "query": [ { "type": "text", "text": "...text to classify goes here..." }, { "type": "image", "url": "https://example.com/image.png" } ] } }

                      
                      {
    "point": "agent.moderation.input",
    "params": {
        "agent_id": "66dacfb60d3bb525b33e7b2b",
        "query": [
            {
                "type": "text",
                "text": "...text to classify goes here..."
            },
            {
                "type": "image",
                "url": "https://example.com/image.png"
            }
        ]
    }
}

Este bloque de código en una ventana flotante

Campo	Tipo	Descripción
point	String	El endpoint de moderación. Para la moderación de entrada, utilice `agent.moderation.input`. Para la moderación de salida, utilice `agent.moderation.output`.
params	Object	Este parámetro es un objeto que contiene los detalles de la solicitud de moderación.
- agent_id	String	El ID del agente que se va a moderar.
- query	Array	El contenido que se va a moderar.
- - type	String	El tipo de contenido: `text`, `image`.
- - text	String	Si el tipo es `text`, este parámetro debe contener el contenido de texto.
- - url	String	Si el tipo es `image`, este parámetro debe contener la URL de la imagen.

El cuerpo de la respuesta debe seguir la estructura que se muestra a continuación:

{ "flagged": true, "preset_response": "Your content violates our usage policy." }

                      
                      {
    "flagged": true,
    "preset_response": "Your content violates our usage policy."
}

Este bloque de código en una ventana flotante

Campo	Tipo	Descripción
flagged	Bool	Indica el resultado de la moderación (si el contenido ha superado la revisión). `true` significa no superado y `false` significa superado.
preset_response	String	Cuando el resultado de la moderación de contenido es no superado, este texto se utilizará para responder al usuario.

Añadir una API

Hacer clic en "New API Extension".

Configurar la información de la API extendida en el panel y hacer clic en "Test".

Si la prueba es satisfactoria, hacer clic en "Save" y la extensión de la API pasará a estar activa.