Brenmor utilise ML.NET pour améliorer l’expérience des patients et la qualité des soins

Brenmor Technologies collabore avec des groupes médicaux et des fournisseurs de plan de santé pour créer des solutions de satisfaction des patients qui améliorent les soins aux patients. Ils travaillent en étroite collaboration avec leurs clients pour personnaliser les enquêtes sur l’expérience des patients qui sont un moyen statistiquement fiable et rentable pour identifier les points forts et les faiblesses, puis définissent des initiatives d’amélioration. Ces enquêtes contiennent souvent au moins une réponse de texte de forme libre ; pendant l’analyse, ces réponses sont examinées et entonnées dans un ensemble défini de catégories afin que les clients puissent améliorer l’expérience de visite et la qualité des soins en agissant directement sur les commentaires des patients.

Problème d’entreprise

Brenmor's solution provides deep insights and analytics that rely heavily on survey data from patients. The ability to analyze free-form patient text responses into multiple categories and into positive or negative sentiment is crucial to medical groups, health plans, and providers (that is, doctors) since these audiences are required to understand and create actionable plans based on weighted patient feedback.

En classant les réponses des patients, différentes organisations clientes reçoivent des réponses associées pour examiner et définir les initiatives de qualité. Par exemple, les commentaires classés en tant que fournisseur ou personnel sont donnés aux professionnels qui gèrent l’utilisation des patients uniques, tandis que les catégories, telles que les rendez-vous et le téléphone, sont dirigées vers le personnel de bureau.

Today, medical professionals require near real-time feedback on the quality of service provided by medical groups, offices, and providers, yet manual categorization is both slow and prone to inconsistencies. Thus, Brenmor decided to replace their monthly manual categorization process with a multiclass classification machine learning solution to quickly and accurately classify complex, free-form, patient text responses.

Pourquoi ML.NET ?

Le choix de ML.NET était une solution attrayante compte tenu de l'investissement existant de Brenmor dans les solutions .NET. De plus, un ensemble robuste d'exemples de code ML.NET fourni par Microsoft a donné à Brenmor une voie claire vers une implémentation fonctionnelle. La possibilité de générer rapidement et facilement un modèle d'apprentissage automatique avec AutoML, puis d'exploiter ce modèle dans ses solutions existantes a permis à Brenmor de fournir une solution sur le marché en quelques semaines.

Depuis que nous avons commencé avec ML.NET, Microsoft a rapidement fait évoluer le produit ML.NET. Cela a entraîné une augmentation significative de la vitesse et de la précision de la catégorisation des réponses complexes au format texte et libre des patients. Nos clients sont ravis.\ »

Impact de ML.NET et AutoML

The ability to scale the classification of free-form patient text responses has been an enormous benefit for Brenmor. Previously, categorization was done once a month and took approximately 16 human hours. With ML.NET, this classification is done in real-time and provides immediate feedback to Brenmor's analytics clients, who can now spend less time analyzing and more time implementing solutions to the problems identified by the ML.NET model.

Another huge benefit that Brenmor has seen with using ML.NET is improved accuracy. Patient text responses often contain multiple topics. Before ML.NET, accuracy was determined manually by different individuals; this was error-prone, and multiclass classification with confidence levels was not possible. ML.NET's multiclass classification support has allowed Brenmor to increase classification accuracy from 50% to approximately 76% and provides the company's clients with confidence levels for the detection of multiple categories.

Additionally, by using AutoML with ML.NET, an understanding of the low-level nuances of machine learning algorithms and the extensive set of algorithm hyperparameters was not required. Developers at Brenmor no longer had to spend hours testing different algorithms and tweaking hyperparameters looking for the best model. This time-saving was of immense benefit to Brenmor as it allowed for an increased focus on improving the initial training data.

Grâce à l’intelligence que fournit AutoML, Microsoft offre en fait un scientifique des données en modèle réduit aux utilisateurs de ML.NET. Il s’agit d’une immense valeur ajoutée pour la communauté .NET !\ »

Architecture de la solution

Création d’une application avec ML.NET

La pile technique de l'application de catégorisation des enquêtes de Brenmor comprend ML.NET, ASP.NET Core, Entity Framework Core et SQL Server.

Une grande partie du temps initial a été allouée à la création d’un ensemble propre et succinct de données d’entraînement, principalement basées sur des réponses d’enquête brutes. Maintenant que l’application s’exécute dans un environnement de production, lorsqu’il les résultats de prédiction sont peu fiables, ces commentaires sont examinés et deviennent des données d’entraînement supplémentaires. Ce flux de travail est un processus "rinse and repeat" qui injecte une intelligence et une précision supplémentaires dans le modèle Machine Learning. Les modèles Machine Learning mis à jour sont versionnés dans le contrôle de code source et sont automatiquement déployés dans le cadre de déploiements planifiés régulièrement dans Azure DevOps.

Traitement des données

Les données d’apprentissage initiales, qui étaient constituées d’environ 3 000 lignes de commentaires au format libre, proviennent de réponses aux enquêtes de patients brutes. Toutes les données utilisées par Brenmor ont été d’abord nettoyées, puis délimitées en données de formation succinctes pour obtenir des commentaires plus précis avec plusieurs catégories. Une fois qu’un ensemble de données d’apprentissage initial et précis existait et que la classification a été établie, le processus manuel a été sensiblement réduit.

Transformations de données et algorithmes d'apprentissage automatique

Brenmor a utilisé AutoML avec ML.NET pour générer automatiquement les transformations de données et les algorithmes d’apprentissage automatique qui ont généré le modèle de meilleure qualité. Les transformations de données utilisées incluent Map Value to Key et Featurize Text, et les algorithmes utilisés incluent l’algorithme One Versus All pour la classification multiclasse (catégorisation des commentaires) et le Logistic Algorithme binaire de régression logistique L-BFGS pour la classification binaire (commentaires positifs et négatifs).

AutoML avec ML.NET a également généré l'ensemble d'options d'algorithme ci-dessous pour affiner davantage le modèle afin d'optimiser sa précision :

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptimizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

Aujourd’hui, la satisfaction des patients est un besoin croissant de groupes médicaux et de plans de santé, et l’écoute directe des patients est essentielle. L’acceptation des entrées d’enquête et l’analyse et la classification des réponses de texte libre sont complexes et nécessitent un degré élevé de précision. En tirant parti de ML.NET et d’AutoML, Brenmor a pu fournir rapidement et précisément à ses clients des insights et des analyses supplémentaires liés à l’expérience des patients.