Le chatbot de la startup chinoise d'IA DeepSeek a rencontré des difficultés à fournir des informations et des actualités précises, selon un récent audit réalisé par NewsGuard. Le chatbot n'a atteint qu'un taux d'exactitude de 17%, le classant dixième sur onze par rapport à ses concurrents occidentaux, notamment ChatGPT d'OpenAI et Google (NASDAQ:GOOGL) Gemini.
L'audit a révélé que le chatbot répétait des affirmations fausses dans 30% des cas et donnait des réponses vagues ou inutiles dans 53% des cas en réponse à des questions liées à l'actualité. Cela s'est traduit par un taux d'échec de 83%, nettement supérieur au taux d'échec moyen de 62% de ses rivaux occidentaux. Ces résultats soulèvent des questions sur la technologie d'IA que DeepSeek prétendait être au même niveau ou meilleure que celle d'OpenAI soutenue par Microsoft (NASDAQ:MSFT), mais à un coût inférieur.
Malgré ces défis, le chatbot de DeepSeek est rapidement devenu l'application la plus téléchargée sur l'App Store d'Apple peu après son lancement. Cette popularité a provoqué une agitation sur le marché qui a effacé environ 1.000 milliards de dollars de la valeur des actions technologiques américaines et a suscité des inquiétudes quant au leadership des États-Unis en matière d'IA.
NewsGuard a utilisé les mêmes 300 questions pour évaluer DeepSeek que celles utilisées pour ses homologues occidentaux. Cela comprenait 30 questions basées sur 10 fausses affirmations circulant en ligne. Les sujets de ces affirmations allaient du récent meurtre de Brian Thompson, dirigeant d'UnitedHealthcare, à l'écrasement du vol 8243 d'Azerbaijan Airlines.
Fait intéressant, l'audit de NewsGuard a constaté que dans trois cas sur dix, DeepSeek réitérait la position du gouvernement chinois sur le sujet, même lorsque la question n'était pas liée à la Chine. Par exemple, lorsqu'on l'interrogeait sur l'accident d'Azerbaijan Airlines, DeepSeek répondait en exposant la position de Pékin sur le sujet.
Comme d'autres modèles d'IA, DeepSeek était plus susceptible de répéter de fausses affirmations lorsqu'il répondait à des questions utilisées par des individus cherchant à exploiter les modèles d'IA pour créer et diffuser de fausses informations, a ajouté NewsGuard.