Aujourd'hui, nous sommes ravis d'annoncer CURE (Cross-lingual Understanding and Retrieval Evaluation), le premier jeu de données heMTEB entièrement intégré dans MTEB et disponible publiquement sur Hugging Face.
En tant qu’élément central de heMTEB (Health-specific Massive Text Embedding Benchmark), CURE est un jeu de données spécialisé en santé, développé en collaboration avec des experts médicaux pour évaluer les modèles d'IA dans le cadre de la recherche d'informations médicales. Ce jeu de données open-source a été conçu pour comparer efficacement et de manière cohérente les modèles d'embedding propriétaires et open-source dans des scénarios de recherche d'informations au point de soins.
L’utilisation de l’IA dans des flux de travail critiques en santé exige un niveau de précision et de fiabilité maximal, car les informations peuvent avoir un impact direct sur la sécurité des patients et leurs résultats de santé. C’est pourquoi des benchmarks rigoureux, spécifiques à la santé et développés en collaboration avec des experts médicaux, sont essentiels pour évaluer les modèles d'IA utilisés dans ce domaine.
CURE v1 permet aux développeurs et chercheurs d'évaluer les performances de leurs modèles dans des cas d’usage de recherche d’information au point de soins, où un accès rapide et précis aux informations de santé est essentiel. Il couvre 10 disciplines médicales et permet l'évaluation de tâches de recherche d'information dans trois configurations linguistiques : anglais-anglais, français-anglais et espagnol-anglais.
Nous avons développé CURE en collaboration avec des experts médicaux pour renforcer la confiance et garantir que les besoins réels des professionnels de santé soient pris en compte.
Répondre aux lacunes spécifiques en santé : CURE a été conçu pour renforcer les cas d’usage en santé, en se concentrant sur des scénarios de recherche d’informations médicales au point de soins.
Développé par des professionnels de la santé : En collaboration avec des experts de 10 disciplines (dont la gastroentérologie, les neurosciences, la neurologie, la psychiatrie et la psychologie), le jeu de données reflète les nuances du langage médical spécialisé et la complexité des cas d’usage réels.
Open-source pour la communauté de santé : Avec CURE étant ouvert et accessible à tous, la communauté médicale et de santé peut diriger le développement de solutions d'IA adaptées à leurs défis réels et immédiats, pour leurs collègues et leurs patients.
CURE v1 est maintenant disponible publiquement sur Hugging Face en tant que partie de MTEB. Nous prévoyons d’ajouter de nouvelles disciplines médicales dans les futures versions de CURE et d'enrichir heMTEB avec d’autres jeux de données, pour répondre aux besoins spécifiques dans tout le spectre médical et de santé.
Chez Clinia, nous constatons chaque jour le haut niveau de confiance et de précision requis pour créer des technologies et applications d'IA dans le domaine de la santé. Dès le début, nous avons reconnu la complexité et l'importance critique de soutenir les patients et les professionnels de santé dans leur quête d'une meilleure santé et d'un soin efficace. C'est pourquoi nous nous assurons que tout ce que nous développons est véritablement de qualité santé, qu’il s’agisse des modèles que nous entraînons ou des jeux de données qui guident leur développement et leur évaluation.
Pour plus d'informations techniques sur CURE, ou pour explorer des collaborations et contribuer à heMTEB, veuillez contacter Daniel Buades Marcos.
