Pour mener de tels travaux sur des données à grande échelle, les technologies Big data apportent une contribution indéniable, comme le montrent de récents développements chez HP, par exemple, reposant sur le langage Open source ‘R’. L’offre ‘Haven Predictive Analytics’ utilise la technologie ‘Distributed R’, une extension qui est le fruit d’une coopération entre les HP Labs et HP Software. Elle tire notamment parti de la distribution de tâches de calculs sur plusieurs nœuds de traitement à grande capacité. Il devient ainsi possible d’élaborer des modèles d’analyse à partir de consoles Open Source ‘R’ (comme RStudio) capables de travailler sur des milliards d’enregistrements.
En clair, ce serait un changement radical d’échelle, comme en témoigne Cerner Corp. qui a testé la solution. Ce spécialiste IT du secteur de la santé a constaté que cette possibilité d’enrichir ses modèles prédictifs à l’échelle d’un traitement mondial des chiffres existants, permet de réduire considérablement le nombre des faux-positifs dans les diagnostics médicaux – ce qui signifie une réduction significative des interventions médicales inutiles.