Étude observationnelle · 2025

Signaling in the Age of AI: Evidence from Cover Letters

Étude observationnelle du lancement d’un outil de lettre de motivation par IA générative sur Freelancer.com. L’accès à l’outil a rendu les lettres plus alignées sur les offres et est associé à davantage de rappels, mais cet effet n’est significatif qu’au seuil de 10 % et les estimations sur les embauches sont trop imprécises pour conclure. Après le lancement, le lien entre l’alignement des lettres et les rappels a baissé de 51 % et les employeurs se sont davantage appuyés sur d’autres signaux, comme l’historique de travail. Le temps passé à retoucher le brouillon généré est corrélé à de meilleurs résultats.

Ouvrir la source Version archivée

La fiche

Niveau de preuve: Indice faible Un indice isolé ou indirect : à prendre avec prudence.
Auteurs: Jingyi Cui; Gabriel Dias; Justin Ye
Éditeur: arXiv (prépublication, econ.GN)
Publication: 29 septembre 2025
Type: Étude observationnelle · Déploiement naturel d’un outil de lettre de motivation par IA (AI Bid Writer, Freelancer.com, avril 2023) et différences de différences ; catégories PHP et Internet Marketing, huit mois, environ 5 millions de lettres
Langue: anglais
Lecture: Page arXiv (v1 du 29 septembre 2025, révisée en v2 le 12 novembre 2025) et version HTML v2 lues : résumé, introduction, contexte (Freelancer.com, AI Bid Writer) et conclusion ; sections de résultats parcourues. Aucune référence de revue n’est indiquée sur la page arXiv, le 24 octobre 2026
DOI: 10.48550/arXiv.2509.25054 (nouvel onglet)
Droits: Licence de la prépublication : CC BY 4.0 (indiquée sur la page arXiv). Tafio ne conserve que la notice, des citations de 15 mots au plus et ses propres paraphrases ; aucune copie du texte intégral.

Limites

Résultats propres à une plateforme et à deux catégories de missions ; prépublication. Le lien entre retouche et embauche est une corrélation, pas un effet randomisé. Une baisse de la corrélation entre personnalisation et rappels n’est pas une baisse des rappels. La source ne permet pas d’affirmer qu’une lettre augmente ou diminue les embauches en général ; les auteurs disent eux-mêmes que la généralisation reste à établir. Cette source ne permet pas d’affirmer que Tafio est scientifiquement validé, qu’un candidat précis possède une compétence, ni de garantir un entretien ou un emploi.

Extraits (5)

Résumé (page arXiv, v2)
Traduction automatique
« Le temps consacré à la révision des brouillons de lettres de motivation générés par l’IA est positivement corrélé à la réussite du recrutement »
Le temps passé à retoucher les brouillons de lettre générés par l’IA est associé à de meilleures chances d’embauche (corrélation, pas effet causal démontré).
Ouvrir la source (nouvel onglet)
Voir l’original (EN)
« Time spent editing AI-generated cover letter drafts is positively correlated with hiring success »
Résumé (page arXiv, v2)
Traduction relue
« la corrélation entre la proximité textuelle des lettres de motivation et les rappels a diminué de 51 % »
Après le lancement de l’outil, le lien statistique entre l’alignement des lettres sur l’offre et les rappels a baissé de 51 % : des lettres faciles à générer transmettent moins d’information distinctive.
Ouvrir la source (nouvel onglet)
Voir l’original (EN)
« the correlation between cover letters' textual alignment and callbacks fell by 51% »
Section 1 (Introduction), paragraphe des résultats sur les rappels
Traduction automatique
« les estimations concernant les récompenses effectivement obtenues sont trop imprécises pour tirer des conclusions définitives »
L’effet sur les rappels n’est significatif qu’au seuil de 10 % (pas de 5 %) et s’estompe après deux mois ; les estimations sur les embauches effectives sont trop imprécises pour conclure.
Ouvrir la source (nouvel onglet)
Voir l’original (EN)
« the estimates on actual awards are too imprecise to draw definitive conclusions »
Section 1 (Introduction), paragraphe sur le pouvoir de signal des lettres
Traduction automatique
« les employeurs délaissent les signaux faciles à manipuler, comme les lettres de motivation, au profit d’indicateurs de qualité plus difficiles à falsifier »
Quand les lettres deviennent faciles à produire, les employeurs se reportent vers des indices plus difficiles à imiter, comme l’historique de travail.
Ouvrir la source (nouvel onglet)
Voir l’original (EN)
« employers substitute away from easily manipulated signals like cover letters toward harder-to-fake indicators of quality »
Section 8 (Conclusion), second paragraphe
Traduction automatique
« des recherches supplémentaires sont nécessaires pour déterminer si ces résultats peuvent être généralisés plus largement »
Les auteurs rappellent que les plateformes en ligne diffèrent des marchés du travail classiques et que la portée générale de leurs résultats reste à établir.
Ouvrir la source (nouvel onglet)
Voir l’original (EN)
« further research is needed to assess whether these findings generalize more broadly »

Les conseils qui s’appuient sur cette source (2)

Consensus de praticiens
Une lettre n'est utile que si elle apporte ce que le CV ne dit pas : une raison réelle de candidater, un contexte (reconversion, interruption, mobilité), un ou deux exemples reliés aux missions de l'offre ou une précision pratique. Si elle ne ferait que répéter le CV, Tafio le signale et propose de s'en passer ; la décision reste au candidat.
- Lettre letter.usefulness
Preuve solide
Une lettre bien tournée par une IA distingue moins un candidat : des études récentes (une expérience aux Pays-Bas, deux analyses de plateformes de travail en ligne) trouvent que l'IA améliore surtout les passages génériques et réduit la valeur informative de la lettre. Tafio n'en fait donc pas un argument : la lettre ne vaut que par les faits et la motivation réels du candidat qu'elle relie à l'offre.
- Lettre letter.ai_generated