Entrée et sortie multimodales et prévisualisation de fichiers

Vue d'ensemble

Work prend en charge des interactions multimodales riches : les utilisateurs peuvent envoyer à l'Agent divers types de contenu tels que des images, documents, fichiers audio, etc. ; les réponses de l'Agent peuvent inclure des sorties dans de nombreux formats comme du code, des documents, des graphiques, tous prenant en charge la prévisualisation intégrée et l'affichage en plein écran.

Entrée multimodale

Types d'entrée pris en charge

Méthodes d'envoi

1. Glisser-déposer — Faites glisser directement le fichier vers la zone de saisie
2. Clic pour envoyer — Cliquez sur le bouton de pièce jointe de la zone de saisie pour sélectionner un fichier
3. Coller — Collez une image depuis le presse-papiers

Adaptation du format selon le modèle

Le système convertit automatiquement le format d'entrée en fonction du fournisseur LLM actuellement utilisé :

Le système détecte automatiquement les capacités multimodales du modèle actuel (vision / document / audio) via la fonction resolveCapabilities ; les types non pris en charge avertissent l'utilisateur ou font l'objet d'un traitement rétrogradé.

Sortie multimodale et prévisualisation

9 types de prévisualisation

Les fichiers produits par l'Agent voient leur type automatiquement identifié et sont rendus dans le composant de prévisualisation correspondant :

Carte de prévisualisation intégrée

Les fichiers produits par l'Agent apparaissent d'abord dans le flux de conversation sous forme de carte de prévisualisation intégrée (InlinePreviewCard) :

Boutons d'action (icône + info-bulle) :

Fenêtre de prévisualisation en plein écran

Cliquez sur le bouton « Développer » pour accéder à la fenêtre de prévisualisation en plein écran :

Barre d'outils de prévisualisation (PreviewToolbar) :

• Contrôle du zoom : agrandir / réduire / ajuster à la largeur
• Navigation des pages : précédente / suivante (documents multipages)
• État de pagination : page actuelle / nombre total de pages

Raccourcis clavier :

Modes de disposition de la prévisualisation

Partage des capacités entre Web et APP

Les composants centraux de la prévisualisation multimodale sont implémentés dans la couche claw-shared, Web et APP partageant le même code :

• DocumentPreviewModal — Conteneur de la fenêtre de prévisualisation
• InlinePreviewCard — Carte de prévisualisation intégrée
• PreviewToolbar — Barre d'outils de prévisualisation
• previewUtils.ts — Outils d'identification du type de fichier et de chargement

Les deux plateformes abstraient la méthode de lecture des fichiers via l'interface FileAccess :

• Côté APP : lecture via l'API de fichiers locaux Tauri
• Côté Web : chargement via une URL HTTP ou une data URL

Guide d'utilisation

Comment envoyer une image / un document à l'Agent

1. Glisser-déposer : faites glisser le fichier depuis le bureau ou le gestionnaire de fichiers directement vers la zone de saisie de Work
2. Clic pour envoyer : cliquez sur le bouton de pièce jointe 📎 à gauche de la zone de saisie et sélectionnez le fichier
3. Coller une image : après avoir copié l'image, collez-la dans la zone de saisie avec Ctrl+V / Cmd+V
4. La pièce jointe apparaît dans la barre de prévisualisation au-dessus de la zone de saisie
5. Saisissez une description textuelle de ce que vous voulez que l'Agent fasse (par exemple « Analyse cette image »), puis appuyez sur Entrée pour envoyer

Limite de taille de fichier : l'outil Read File prend en charge des fichiers d'une taille maximale de 5 Mo. Pour les fichiers plus volumineux, il est recommandé de les téléverser d'abord vers un stockage cloud puis de fournir le lien.

Comment utiliser la prévisualisation de fichiers

1. Lorsque la sortie de l'Agent contient un fichier, une carte de prévisualisation intégrée apparaît dans le flux de conversation
2. Survolez la carte pour afficher plus d'informations
3. Cliquez sur le bouton Développer pour accéder à la prévisualisation en plein écran
4. En prévisualisation plein écran, utilisez la barre d'outils (zoom, pagination, etc.)
5. Appuyez sur Esc ou cliquez sur le bouton de fermeture pour quitter la prévisualisation

Questions fréquentes

Pourquoi l'Agent n'a-t-il pas analysé l'image après son envoi ?

• Le modèle actuel ne prend peut-être pas en charge la capacité vision. Vérifiez dans la configuration des modèles si le modèle est marqué comme prenant en charge la vision. Les modèles de la série DeepSeek ne prennent pas en charge l'entrée d'images.
• Il est recommandé de basculer vers Claude Sonnet 4 ou GPT-4o.

Pourquoi le PDF ne renvoie-t-il que « Non pris en charge » après son envoi ?

• La capacité document n'est actuellement prise en charge nativement que par les modèles de la série Anthropic (Claude). Avec un modèle OpenAI, le PDF fait l'objet d'un traitement rétrogradé.
• Solution alternative : demandez à l'Agent d'utiliser l'outil Read File pour lire le chemin du fichier PDF.

Affichage anormal d'un fichier dans la fenêtre de prévisualisation

• Vérifiez que le format du fichier est correct (par exemple, un fichier .xlsx ne peut pas porter l'extension .csv)
• Les fichiers très volumineux peuvent se charger lentement, veuillez attendre la fin du chargement
• Certains fichiers Office aux formats spéciaux peuvent nécessiter une ouverture dans une application externe

Documents connexes

• Vue d'ensemble des conversations Work — Disposition de l'interface et points d'accès
• Interaction conversationnelle — Flux de messages et gestion des sessions
• Gestion des outils — Capacité de sortie de fichiers des outils