L’intelligence artificielle est devenue un outil incontournable pour détecter les troubles de santé mentale comme la dépression via les réseaux sociaux. Un examen détaillé réalisé par les récents diplômés de l’Université Northeastern, Yuchen Cao et Xiaorui Shen, met en lumière les biais significatifs et les problématiques méthodologiques de ces modèles d’IA. Leurs perspectives soulignent la dépendance de ces outils à des données et des méthodologies imparfaites, remettant ainsi en question leur fiabilité dans les applications du monde réel.

Contexte de l’étude

Yuchen Cao et Xiaorui Shen ont entrepris leur voyage de recherche sur le campus de Seattle de l’Université Northeastern. Animés par le désir d’examiner de près comment les modèles d’apprentissage automatique et d’apprentissage profond sont utilisés dans les études de santé mentale, ils ont collaboré avec des pairs d’autres universités pour évaluer de manière critique la littérature académique existante. Leur effort commun a donné lieu à une revue systématique de 47 articles, se concentrant sur l’utilisation de l’IA pour détecter la dépression chez les utilisateurs de diverses plateformes de réseaux sociaux. Ce travail exhaustif a trouvé sa place dans le Journal of Behavioral Data Science.

Les erreurs méthodologiques

L’analyse a mis en évidence plusieurs failles présentes dans les modèles d’IA à l’étude. Un constat majeur a révélé que seulement 28 % des études effectuaient des ajustements appropriés des hyperparamètres. Cette négligence compromet la performance de ces outils d’IA. De plus, environ 17 % des études ont utilisé des pratiques de division des données erronées, augmentant le risque de surapprentissage, où le modèle apprend du bruit plutôt que des motifs, conduisant à des prédictions peu fiables.

La disparité des données et ses conséquences

Des plateformes de réseaux sociaux comme Twitter, Reddit et Facebook offrent une mine de contenus générés par les utilisateurs, propice à ce type d’analyse. Cependant, les études reposaient fortement sur des données provenant d’une démographie limitée—principalement des utilisateurs anglophones aux États-Unis et en Europe. La surreprésentation des utilisateurs occidentaux soulève des questions sur la représentativité des conclusions de ces études à l’échelle mondiale. L’utilisation des plateformes était déséquilibrée, car X (anciennement Twitter) était le plus utilisé, ce qui se reflète dans les stratégies d’agrégation de données de seulement huit études combinant plusieurs plateformes.

La nature nuancée du langage

Traiter les subtilités linguistiques inhérentes au discours humain reste l’un des plus grands défis. Les études manquaient souvent de traiter adéquatement les nuances telles que les négations et le sarcasme—éléments essentiels pour détecter précisément les signes de dépression. Seulement 23 % des études examinées ont décrit comment elles faisaient face à ces défis linguistiques, soulignant une lacune dans les méthodologies.

La voie vers l’amélioration

Comme l’ont souligné les diplômés, le non-respect de certains principes fondamentaux connus des informaticiens entraîne souvent des inexactitudes. Leur revue critique a utilisé l’outil PROBAST, conçu pour évaluer la transparence et la reproductibilité du modèle prédictif. Sans surprise, de nombreuses études manquaient à fournir des informations clés, entravant ainsi leur évaluation et leur reproduction. Pour progresser vers des outils d’IA plus précis, les chercheurs plaident pour le développement d’efforts collaboratifs, suggérant la création de ressources éducatives telles que des wikis ou des tutoriels pour diffuser efficacement les connaissances d’experts.

Ces perspectives se dressent comme un appel à action pour la communauté scientifique afin de réévaluer et affiner les modèles d’IA utilisés dans les applications de santé mentale. Un ensemble de données plus diversifié, des modèles mieux ajustés et des méthodologies claires ouvriront la voie à des outils d’IA qui serviront un public véritablement mondial. Comme indiqué dans Northeastern Global News, ils envisagent de partager leurs conclusions et d’encourager un mouvement vers une construction de modèle d’IA plus rigoureuse lors de la prochaine réunion de l’International Society for Data Science and Analytics à Washington, D.C.