Anthropic, la société à l’origine de l’assistant conversationnel Claude, vient de franchir une nouvelle étape majeure dans le domaine de l’intelligence artificielle.
Avec la dernière version de son modèle, Claude Sonnet 3.5, il est désormais possible pour cet agent conversationnel de contrôler directement un ordinateur.
Cette avancée ouvre de nouvelles perspectives passionnantes pour les développeurs et les utilisateurs, tout en soulevant également des questions sur les limites et les enjeux de cette technologie.
Les fonctionnalités de Claude Sonnet 3.5 en matière de contrôle d’ordinateur
Pricing et nom d’API
La fonctionnalité de contrôle d'ordinateur par Claude Sonnet 3.5 est accessible via l'API "computer-use-2024-10-22".
Son utilisation est facturée selon le même modèle que les autres requêtes à l’API Claude, avec un coût basé sur le nombre de tokens utilisés.
Voici un tableau récapitulatif des coûts supplémentaires en tokens pour chaque outil de contrôle d’ordinateur proposé par Anthropic :
| Outil | Tokens supplémentaires |
|---|---|
| computer_20241022 | 683 tokens |
| text_editor_20241022 | 700 tokens |
| bash_20241022 | 245 tokens |
Prérequis techniques et étapes pour mettre en place cette fonctionnalité
Pour utiliser les capacités de contrôle d’ordinateur de Claude Sonnet 3.5, plusieurs prérequis techniques sont nécessaires. Tout d’abord, il faut disposer d’un environnement virtualisé ou conteneurisé adapté (généralement via Docker), afin de garantir la sécurité et l’isolation des actions effectuées par l’IA.
Ensuite, il est nécessaire d’implémenter au moins un des outils de contrôle d’ordinateur définis par Anthropic, parmi lesquels :
- computer_20241022 : un outil générique de contrôle d’ordinateur
- text_editor_20241022 : un éditeur de texte
- bash_20241022 : un interpréteur de commandes bash
Une fois ces prérequis remplis, la mise en place de la fonctionnalité se fait en suivant ces étapes :
- Configurer une boucle d’agent qui interagit avec l’API Anthropic et exécute les résultats des requêtes d’utilisation d’outils
- Mettre en place une API ou une interface utilisateur permettant de lancer cette boucle d’agent à partir d’une entrée utilisateur
- Tester et affiner la configuration pour s’assurer du bon fonctionnement de l’ensemble
Avantages et cas d’usage potentiels de cette nouvelle capacité pour les développeurs et les utilisateurs
La possibilité pour Claude Sonnet 3.5 de contrôler un ordinateur ouvre de nombreuses perspectives intéressantes. Pour les développeurs, cela permet d’automatiser des tâches complexes ou répétitives, comme les tests logiciels ou la génération de code.
Du côté des utilisateurs, cette fonctionnalité rend possible la création d’assistants personnalisés capables d’interagir directement avec leur environnement informatique. On peut par exemple imaginer un assistant capable de rechercher et de synthétiser des informations provenant de multiples sources, puis de les présenter dans un document formaté.
Voici quelques autres cas d’usage potentiels :
- Automatisation de tâches administratives comme la gestion de fichiers et de dossiers
- Assistance à la rédaction et à la mise en forme de documents
- Analyse de données et génération de rapports
- Support utilisateur et dépannage informatique
Limites actuelles et aspects encore en développement de cette fonctionnalité
Bien que prometteuse, la fonctionnalité de contrôle d’ordinateur par Claude Sonnet 3.5 comporte encore certaines limites. Tout d’abord, la latence des interactions peut être trop élevée pour certains cas d’usage nécessitant une réactivité importante.
De plus, la précision et la fiabilité des actions effectuées par l’IA ne sont pas encore parfaites, notamment en ce qui concerne la reconnaissance visuelle et la sélection des outils appropriés. Des erreurs ou des comportements inattendus peuvent survenir, en particulier lors de l’interaction avec des applications spécialisées ou multiples.
| Aspect | Niveau de maturité |
|---|---|
| Latence | Élevée, peut être un frein pour certains usages |
| Précision des actions | Imparfaite, des erreurs peuvent survenir |
| Fiabilité de la sélection d’outils | Variable, des comportements inattendus sont possibles |
| Interaction avec des applications spécialisées | Limitée, peut entraîner une baisse de fiabilité |
Enfin, des questions de sécurité et de confidentialité se posent quant à l’utilisation de cette technologie. Il est primordial de mettre en place des garde-fous pour éviter toute action inappropriée ou illégale de la part de l’IA, ainsi que pour protéger les données sensibles des utilisateurs.
Malgré ces limitations, Anthropic travaille activement à l’amélioration de cette fonctionnalité. On peut s’attendre dans le futur à une plus grande précision et fiabilité des actions, ainsi qu’à une meilleure gestion des enjeux de sécurité et de confidentialité.