Le vrai problème avec certains chatbots santé n’est pas seulement qu’ils peuvent se tromper. C’est qu’ils se trompent souvent avec une voix calme, nette, presque professionnelle. C’est ce qui ressort d’une étude publiée dans BMJ Open et résumée par BMJ Group.
L’audit a testé cinq chatbots publics sur 250 réponses couvrant le cancer, les vaccins, les cellules souches, la nutrition et la performance sportive. La moitié des réponses ont été jugées problématiques, dont 20 % très problématiques, tandis que les sorties restaient formulées avec confiance et certitude, comme l’ont aussi repris Medical Xpress et CIDRAP.
Le danger ne ressemble pas à une panne, mais à une réponse très propre
Ce qui frappe dans cette étude, c’est qu’il ne s’agit pas d’IA délirantes qui racontent n’importe quoi de façon visible. Les chercheurs décrivent plutôt des réponses incomplètes, mal référencées, ou trop affirmatives sur des sujets où un lecteur isolé cherche justement un repère rapide. C’est là que le calme apparent devient trompeur.
Les questions ouvertes sont sorties plus abîmées que les questions fermées, et les systèmes ont mieux répondu sur les vaccins et le cancer que sur la nutrition, les cellules souches ou la performance sportive, selon Medical Xpress. Autrement dit, plus la question ressemble à une vraie recherche solitaire de symptôme, de régime ou de solution simple, plus le terrain se fragilise.
Le détail qui serre un peu plus le sujet est celui-ci : il n’y a eu que deux refus de répondre sur 250 sorties, d’après CIDRAP. Le réflexe dominant n’est donc pas la prudence. C’est la production d’une réponse, même lorsque le niveau de fiabilité devrait forcer davantage de retenue. — à lire aussi : Des applis font déjà parler Jésus ou Bouddha en IA, et la vraie question n’est pl….
Ce papier tombe au moment où beaucoup de gens utilisent déjà ces outils comme une antichambre du soin
Le contexte rend l’étude encore plus concrète. KFF a montré fin mars qu’environ un tiers des adultes américains utilisent désormais des IA pour des informations ou des conseils liés à la santé. Le moteur principal est simple : aller vite, obtenir une réponse immédiate, parfois avant même de consulter.
AP a raconté la même bascule sous un angle très ordinaire : des personnes consultent déjà ces outils pour interpréter un symptôme, un effet secondaire ou un résultat médical avant de décider si cela mérite un rendez-vous. Et Pew Research Center note lui aussi que les usagers jugent les chatbots plus pratiques que vraiment exacts.
Le point le plus gênant reste intime
Une mauvaise réponse santé n’arrive pas toujours dans un cadre public où elle peut être discutée, corrigée ou moquée. Elle arrive souvent seul, devant un symptôme, une inquiétude, une fatigue ou une honte. C’est ce qui rend la voix assurée d’un chatbot plus sensible que d’autres erreurs d’IA : elle entre dans un moment déjà fragile. — à lire aussi : IA en santé (grand public) : ce qu’elle fait déjà bien… et ce qu’on ne doit pas l….
Le sujet ne dit pas qu’il faut bannir ces outils. Il dit quelque chose de plus utile : quand une IA médicale semble très sûre d’elle, cette tranquillité ne doit jamais être prise pour une preuve. En santé, le ton juste ne garantit pas encore la réponse juste.
Article créé en collaboration avec l’IA.
