Montréal, le 18 octobre – Clinia est fière d’introduire heMTEB (Health-specific Massive Text Embedding Benchmark), un ensemble de données sur la santé spécialement conçu pour étendre la suite MTEB, qui fournit une nouvelle norme pour l’évaluation des modèles d’IA dédiés à la recherche d'informations en santé. La première version de cette suite introduit la CURE de Clinia — Crosslingual Understanding and Retrieval Evaluation, un ensemble de données open-source spécifique à la santé pour l'évaluation des capacités de recherche. Créée en étroite collaboration avec des experts de la santé, cette nouvelle ensemble de référence couvre des données de 10 disciplines médicales et permet d'évaluer les performances des modèles dans trois contextes trans-linguistiques: anglais-anglais, français-anglais et espagnol-anglais. Le lancement de heMTEB témoigne de l'engagement de Clinia à faire progresser les outils d'évaluation en source ouverte pour répondre aux défis uniques du développement d'applications d'IA médicales.
Le Massive Text Embedding Benchmark (MTEB) est la norme de l’industrie pour évaluer les représentations vectorielles de texte et assurer leur performance pour alimenter des applications d'IA. Il s'agit d'une suite d’évaluation complète avec une vaste gamme de jeux de données couvrant 8 tâches, y compris la récupération d'information. Jusqu’à présent, le MTEB ne comprenait pas de tâches spécifiquement conçues pour évaluer les capacités de recherche dans les applications de santé, où les nuances de la terminologie complexe et la restitution de résultats complets et précis peuvent avoir un impact significatif sur les résultats de santé d'un individu. Cela a rendu difficile pour la communauté d'évaluer la performance de leurs modèles dans des scénarios concrets et d'optimiser les applications d'IA pour des cas d'utilisation médicales complexes, où précision, fiabilité et confiance sont primordiales.
La CURE a été créé pour relever ce défi et permettre à la communauté médicale de construire des applications d'IA fiables et efficaces. Les développeurs, les chercheurs et les institutions académiques et de santé peuvent désormais évaluer la performance de leurs modèles dans des tâches de recherche d'information et obtenir une assurance mesurable pour faire avancer leurs travaux. Les clients de Clinia bénéficieront également d'un moteur de recherche en santé plus performant, qui a été conçu pour améliorer leurs flux de travail et applications de santé.
Développé en collaboration avec des professionnels de la santé pour répondre à leurs besoins concrets sur le terrain, la CURE évalue comment les modèles répondent aux différentes situations individuelles tout en testant leur spécialisation dans diverses disciplines médicales.
Les caractéristiques clés de la CURE incluent :
Supervisées par des professionnels de la santé issus de 10 spécialités, les données assurent une granularité par discipline, couvrant à la fois la spécificité et la diversité du paysage médical.
Prise en charge de niveaux de langage variés et de différents niveaux de terminologie, de l’initié à l'expert médical, la CURE évalue la performance des modèles dans diverses circonstances de communication incluant à la fois des patients et des professionnels de la santé.
Teste les capacités trans-linguistiques des modèles, garantissant que les utilisateurs peuvent rechercher dans leur langue maternelle sans compromettre la précision ni perdre du temps en traduction.
Le CURE est désormais disponible publiquement et sera intégré comme une tâche MTEB dans les prochains jours, permettant aux développeurs et aux chercheurs de l'incorporer dans leurs workflows de tests et de benchmarks. De plus, un tableau de classement public sera mis en ligne sur Hugging Face, permettant de comparer les performances de différents modèles open-source et propriétaires par rapport à ce benchmark.
Alors que Clinia continue le développement de ses modèles et produits, l'ensemble de données de la CURE sera élargi pour inclure davantage de disciplines médicales, répondant aux besoins divers et en constante évolution de la communauté médicale.
Clinia aide les organisations oeuvrant dans le domaine de santé à déployer leur moteur de recherche à même leurs écosystèmes, permettant à leurs utilisateurs d'accéder à la bonne information au bon moment. Chaque année, des millions de parcours de santé sont alimentés par l'infrastructure de recherche de Clinia, ce qui permet aux organisations de maximiser l'impact de leurs données, aux équipes de soins de fournir des soins efficaces et rapides, et de soutenir les patients dans leur quête d'une vie plus saine.
Pour plus d'informations, visitez www.clinia.com, suivez-nous sur LinkedIn ou contactez press@clinia.com.
Clinia offrira également des démonstrations sur place à la conférence HTLH (stand #V4608) du 20 au 23 octobre pour ceux qui sont intéressés à explorer les capacités de heMTEB et notre suite de produits de recherche en santé.