Les Français utilisent de plus en plus les intelligences artificielles génératives pour obtenir rapidement des réponses sur leurs contrats d'assurance. Pourtant, une étude menée par la néo-assurance rennaise Leocare alerte sur les limites de ces outils. Après avoir analysé 2 000 réponses fournies par ChatGPT, Gemini, Claude et Mistral, l'assureur estime que près de 80 % des réponses sont fausses, incomplètes ou trompeuses. Un constat préoccupant alors que les erreurs peuvent avoir des conséquences directes pour les assurés.
Des réponses souvent imprécises sur des sujets pourtant sensibles
Pour réaliser son étude, Leocare a soumis aux principales IA du marché les 500 questions les plus fréquemment posées par les assurés. Résultat : seules 20,6 % des réponses ont été jugées complètes et exactes. Au total, 135 questions sur 500 ont piégé au moins une IA, tandis que 34 ont mis simultanément en échec les modèles les plus performants.
Les erreurs concernent particulièrement l'assurance moto et l'assurance habitation. Sur les contrats moto, Mistral affiche jusqu'à 32 % de réponses erronées, contre 17 % pour Gemini et 15 % pour ChatGPT. Les contrats habitation posent également problème, notamment sur les exclusions liées aux trampolines, drones, feux d'artifice ou panneaux solaires.
Selon l'étude, les IA restent efficaces sur des questions simples et stables comme l'obligation d'assurance auto ou la différence entre une formule au tiers et tous risques. En revanche, elles échouent dès qu'il faut intégrer des nuances juridiques, des exceptions contractuelles ou des évolutions réglementaires récentes.
Les conséquences peuvent être importantes pour les assurés. Une mauvaise réponse peut pousser un conducteur à ne pas déclarer un sinistre qu'il pense non couvert ou, à l'inverse, lui faire croire qu'il bénéficie d'une garantie inexistante.
Des erreurs juridiques et réglementaires qui peuvent induire les assurés en erreur
L'étude identifie trois grandes catégories d'erreurs récurrentes dans les réponses des IA génératives.
La première concerne les nuances juridiques. À la question "L'assurance couvre-t-elle un accident si mon enfant mineur conduit ?", Gemini et Mistral répondent par la négative. Pourtant, la responsabilité civile des parents prévue par l'article 1242 du Code civil permet bien d'indemniser les tiers, même en cas de conduite sans permis.
Le même problème apparaît sur des sujets comme le prêt de volant, la conduite sous alcool ou stupéfiants, ou encore le passager non casqué à moto. Les IA affirment régulièrement que la garantie est annulée, sans distinguer la responsabilité civile obligatoire des garanties facultatives. Or, même lorsqu'un conducteur commet une faute grave, la garantie responsabilité civile continue généralement d'indemniser les victimes tierces.
Deuxième faiblesse : l'actualité réglementaire. Interrogé sur la carte verte, ChatGPT indique qu'elle a disparu "depuis 2022", alors que sa suppression est entrée en vigueur le 1er avril 2024. À l'inverse, Mistral affirme qu'elle reste obligatoire lors d'un contrôle routier.
Enfin, les IA omettent régulièrement des conditions essentielles dans les contrats. Sur la garantie valeur à neuf, elles oublient souvent de préciser qu'elle est limitée dans le temps, généralement entre 6 mois et 2 ans selon les contrats. Même constat pour la garantie équipement du motard : les IA expliquent qu'elle couvre le casque ou le blouson, sans préciser qu'il s'agit souvent d'une option payante non incluse dans les formules standards.
Gemini s'en sort mieux, mais l'expertise humaine reste incontournable
L'étude de Leocare s'est également intéressée au langage utilisé par chaque intelligence artificielle. Claude se distingue par des réponses très courtes et catégoriques, augmentant le risque d'erreur. ChatGPT adopte au contraire un ton prudent avec des formulations comme "selon les conditions du contrat" ou "cela peut dépendre", mais fournit souvent des réponses jugées trop vagues.
Mistral répète fréquemment la formule "sauf si une garantie spécifique est souscrite", y compris pour des garanties légalement obligatoires. Cette formulation peut laisser croire à tort que certaines protections sont facultatives.
Parmi les modèles testés, Gemini apparaît comme le plus fiable. L'IA de Google combine davantage de données chiffrées, de termes juridiques et d'avertissements pratiques invitant les assurés à vérifier leur contrat.
Pour autant, Leocare estime qu'aucune IA ne peut aujourd'hui remplacer un professionnel de l'assurance : "Un professionnel ne répondra jamais par un simple oui ou non. Il analyse la situation personnelle de l'assuré pour apporter une réponse adaptée selon les conditions particulières de son contrat ou de son historique", rappelle Christophe Dandois, CEO de Leocare.
Enfin, l'étude souligne une limite structurelle des IA génératives : elles traitent l'assurance comme une simple base de connaissances, alors que chaque contrat dépend de garanties, d'exclusions et de situations personnelles spécifiques.
La rédaction d'Assurland