Il y a quelques mois, je me suis lancée dans la traduction d’un livre chinois en utilisant l’API d’OpenAI, j’en ai parlé ici. En relisant la traduction, j’ai constaté quelques erreurs. Puisque que le modèle que j’avais utilisé à cette époque n’était pas assez précis, j’ai testé les derniers modèles de ChatGPT, ClaudeAI et leurs API correspondants.
Traduction de livres
ChatGPT 4 et ClaudeAI Sonnet me proposent désormais des traductions de grande qualité mais les réponses sont toujours très courtes et pour un livre entier, il me faut de nombreux « suivant » pour qu’ils finissent un chapitre.
Ainsi, j’ai préféré passer par l’API. J’ai dû couper le texte en 3000 caractères chinois à la fois, pour obtenir des réponses de moins de 8192 tokens par request.
Le code a été écrit par l’IA. Je ne fais que corriger le code (en PHP) pour arriver à un programme exécutable en ligne de commande. L’inconvénient du code écrit par ClaudeAI, c’est qu’il comporte pas mal d’erreurs (algorithme), qu’il faut savoir corriger et il n’est pas au courant qu’un nouveau modèle d’API a été sorti, il m’a fait utiliser claude-3-opus-20240229 au début.
Cependant, au début l’API d’Anthropic, avec le même prompt, ne donne pas du tout la même réponse que Claude AI. J’utilise claude-3-sonnet-20240229 pour Anthropic API et il a beaucoup de mal à comprendre mon prompt. J’allonge le prompt pour l’API Anthropic en lui donnant des exemples de traduction qui me plaisent, mais le résultat n’est toujours pas à la hauteur de Claude AI. Malgré de nombreuses tentatives, je n’arrive pas à trouver un prompt me permettant d’avoir le même résultat que Claude AI. Je m’aperçois ensuite que je n’utilise pas le modèle le plus récent. Le plus récent est claude-3-5-sonnet-20241022. Désormais, pour m’assurer d’avoir la meilleure des versions, j’utiliserai claude-3-5-sonnet-latest. Dès l’utilisation du modèle le plus récent, la traduction est de meilleure qualité d’un coup.
Entre ChatGPT 4 et ClaudeAI Sonnet, je trouve la traduction de ClaudeAI Sonnet plus précise, notamment la compréhension des expressions et du contexte. Entre l’API OpenAI et l’API Anthropic, l’API Anthropic donne également une meilleure traduction.
En traduisant +700 pages d’un coup, j’ai eu deux erreurs :
Error translating 48: API request failed with status code: 429. Response: {« type »: »error », »error »:{« type »: »rate_limit_error », »message »: »Number of tokens has exceeded your per-minute rate limit (https://docs.anthropic.com/en/api/rate-limits); see the response headers for current usage. Please reduce the prompt length or the maximum tokens requested, or try again later. You may also contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase. »}}
Error translating 235: API request failed with status code: 529. Response: {« type »: »error », »error »:{« type »: »overloaded_error », »message »: »Overloaded »}}
En tant que Tier 1, j’ai atteint trop vite la limite par minute et la limite par jour.
J’ai dû modifier le code pour faire une request toutes les 7 secondes. Ensuite, j’ai lancé la traduction le soir quand Anthropic était surchargé, d’où l’erreur 529. J’ai modifié le code pour qu’en cas d’erreur, on réessaie la traduction du texte qui ne passait pas 20 fois max, et le cas échéant, le garder dans un fichier à part pour compléter la traduction plus tard.
A partir de Novembre 20, les limites seront séparées par input tokens/output tokens.
Résumé de livres
Maintenant, je vais switcher en français pour que vous puissiez mieux apprécier les réponses. Pour comparer, j’ai envoyé tout le roman d’Alchimiste de Paulo Coelho en français dans l’API Anthropic et Claude AI. J’utilise le prompt suivant pour les deux :
Je voudrais que tu analyses ce roman et me donner une longue réponse. Structure ton analyse selon les points suivants : Résumé chronologique détaillé de l'histoire. Inclus les Principaux rebondissements Voici le roman à analyser :Voici la réponse donnée par ClaudeAI :
Je vais analyser « L’Alchimiste » de Paulo Coelho de manière structurée.
RÉSUMÉ CHRONOLOGIQUE DÉTAILLÉ :
- Le début du voyage :
- Santiago est un jeune berger espagnol qui fait deux fois le même rêve concernant un trésor près des pyramides d’Égypte
- Il rencontre une gitane qui interprète son rêve, puis un mystérieux roi Melchisédec qui l’encourage à suivre sa « Légende Personnelle »
- Le roi lui donne deux pierres divinatoires, Ourim et Toumim, et lui conseille de suivre les signes
- Première étape – Tanger :
- Santiago vend son troupeau et part pour l’Afrique
- À Tanger, il se fait voler tout son argent
- Il trouve du travail chez un marchand de cristaux où il reste presque un an
- Il modernise la boutique et fait prospérer le commerce
1. La traversée du désert :
- Il rejoint une caravane pour traverser le Sahara
- Il rencontre un Anglais qui cherche un légendaire alchimiste
- Ils arrivent à l’oasis de Al-Fayoum où ils doivent s’arrêter à cause d’une guerre tribale
2. L’oasis et la rencontre avec Fatima :
- Santiago tombe amoureux de Fatima, une femme de l’oasis
- Il rencontre l’Alchimiste qui accepte de le guider
- Fatima l’encourage à poursuivre sa quête malgré leur amour
3. Les épreuves avec l’Alchimiste :
- L’Alchimiste devient son mentor et lui enseigne le « Langage du Monde »
- Santiago doit prouver ses capacités en se transformant en vent face à des guerriers
- Il réussit l’épreuve grâce à sa communion avec l’Univers
4. La fin du voyage :
- Santiago arrive aux pyramides et creuse
- Il se fait attaquer par des brigands
- L’un des voleurs lui révèle involontairement que le trésor se trouve en réalité dans l’église abandonnée en Espagne où tout a commencé
- Il retourne en Espagne et trouve le trésor
PRINCIPAUX REBONDISSEMENTS :
- Le vol initial qui force Santiago à repenser sa stratégie
- La découverte que l’Alchimiste vit dans l’oasis alors que l’Anglais le cherchait depuis des années
- L’ultimatum des guerriers qui force Santiago à se transformer en vent
- La révélation finale : le trésor se trouvait depuis le début là où tout a commencé, dans l’église abandonnée en Espagne
- La découverte que le voyage lui-même était plus important que le trésor, car il lui a permis de :
- Apprendre le « Langage du Monde »
- Trouver l’amour
- Se découvrir lui-même
- Comprendre les secrets de l’Alchimie spirituelle
Le roman est construit comme une quête initiatique où chaque étape et chaque rencontre contribue à la transformation du personnage principal. Le véritable « trésor » n’est pas tant l’or matériel que la sagesse et la connaissance acquises pendant le voyage.
Et voici la réponse donnée par l’API Anthropic:
Voici une analyse chronologique détaillée de L’Alchimiste de Paulo Coelho :
RÉSUMÉ CHRONOLOGIQUE :
1. Le début du voyage
- Santiago est un jeune berger espagnol qui fait deux fois le même rêve d’un trésor caché près des pyramides d’Égypte
- Il rencontre une gitane qui interprète son rêve et lui dit de chercher son trésor
- Il fait la rencontre d’un mystérieux roi, Melchisédec, qui l’encourage à suivre sa « Légende Personnelle »
- Il vend son troupeau et part pour l’Afrique
2. Les premières épreuves
- Arrivé à Tanger, il se fait voler tout son argent
- Il trouve du travail chez un marchand de cristaux et y reste près d’un an
- Il fait prospérer le commerce et économise de l’argent
3. La traversée du désert
- Il rejoint une caravane pour traverser le Sahara
- Il rencontre un Anglais qui cherche un alchimiste
- Ils arrivent à l’oasis de Fayoum où Santiago rencontre Fatima dont il tombe amoureux
4. La rencontre avec l’Alchimiste
- L’Alchimiste prend Santiago sous son aile pour lui enseigner ses secrets
- Santiago apprend à communiquer avec le désert et les éléments
- Une épreuve majeure : il doit se transformer en vent pour échapper à des guerriers
5. L’accomplissement
- L’Alchimiste quitte Santiago près des pyramides
- Santiago trouve l’emplacement du trésor mais se fait agresser par des voleurs
- Un des voleurs lui révèle involontairement que le trésor est en fait enterré en Espagne
- Santiago retourne en Espagne et découvre le trésor dans l’église abandonnée où tout avait commencé
PRINCIPAUX REBONDISSEMENTS :
- Le vol de l’argent à Tanger qui force Santiago à travailler chez le marchand de cristaux
- La rencontre avec Fatima qui crée un dilemme : poursuivre sa quête ou rester avec elle
- L’apparition de l’Alchimiste qui devient son guide spirituel
- L’épreuve de la transformation en vent qui représente l’accomplissement spirituel de Santiago
- La révélation finale que le trésor se trouvait depuis le début en Espagne, ce qui donne tout son sens au voyage initiatique
Cette structure narrative fait progressivement évoluer le héros à travers des épreuves physiques et spirituelles, jusqu’à une révélation finale qui montre que le véritable trésor était le voyage lui-même et les enseignements reçus.
Conclusion : Vous pouvez voir que la réponse de l’API est de meilleure qualité que son chat ClaudeAI. Cependant, ce n’est pas ainsi qu’un humain aurait résumé le livre, en tout cas pas moi 😀
Usage et tarifs
En termes de consommation, pour le résumé du roman l’Alchimiste, le input tokens de 81050 correspond au roman (41223 mots soit 233874 caractères) + prompt
Et le output token de 886 correspond à la réponse donnée, contenant un peu plus de 400 mots. Sachant que la limite de l’API d’Anthropic est de 8192 output tokens par request, je trouve que la réponse est beaucoup trop courte malgré ma demande de me fournir une « longue réponse ».
Ainsi, un résumé de l’Alchimiste m’a coûté 26 centimes de dollars (input + output).
Voici les tarifs de l’API d’Anthropic pour le moment (regardez la colonne « unit price ») :
Vous pouvez voir que c’est un peu plus cher qu’OpenAI gpt-4o actuellement :
Je suis, pour le moment, impressionnée par les résultats donnés par les API. Si les anciens modèles d’Anthropic sont décevants, le nouveau modèle claude-3-5-sonnet-20241022 est puissant et vraiment utile.
