La nueva herramienta ayuda a comprender los datos (análisis exploratorio), a entender el modelo construido a partir de esos datos y facilita el seguimiento y análisis del comportamiento del modelo, favoreciendo el uso de las metodologías de desarrollo de modelos con Machine Learning, algo muy deseable, comentan desde AIS Group, pues su utilización ofrece unos resultados de mayor calidad que los modelos convencionales, algo especialmente relevante cuando son parte de la decisión o estrategia de un área o entidad.
Comprender los datos
Un modelo machine learning aprende de los datos que maneja. Si la información no es coherente, el modelo extraerá conclusiones incorrectas, algo inaceptable cuando sus resultados afectan decisiones como la concesión de créditos. AIS Master facilita este análisis exploratorio de los datos y genera automáticamente la documentación del análisis de las variables, llegando a reducirradicalmente el tiempo empleado -de 3 semanas a 1 hora en modelos de 1.000 variables.
Entender el modelo
Una vez construido el modelo, AIS Master permite saber qué impacto tiene cada variable en el resultado final y cuál es su tendencia. Esto es imprescindible para discernir los criterios detrás de la decisión y es especialmente relevante en los modelos que están sujetos a la supervisión, ya que el regulador (Banco de España) exige que esto esté documentado. AIS Master ayuda a comprender el modelo, saber qué variables intervienen y qué peso tiene cada una. Una funcionalidad fruto del trabajo del I+D de AIS, resultado de combinar su expertise en modelos de machine learning por un lado en gestión de riesgos por otro y de conocer las exigencias del regulador al analizar un modelo.
Comportamiento del modelo.
AIS Master ayuda a controlar el proceso de aprendizaje automático de los modelos machine learning. Periódicamente y a medida que se va nutriendo de nuevos datos, genera nuevos modelos que compara con el modelo en producción de la entidad.
La herramienta dispone de alertas de autoaprendizaje que, a la vista de los resultados comparativos, puede recomendar la sustitución del modelo en producción por el modelo candidato.Según los expertos de AIS, en el ámbito de la gestión de Riesgos es recomendable realizar este análisis de comportamiento y actualización cada 6 meses, al tratarse de un área donde la estabilidad del modelo es muy relevante. En cambio, en áreas como la valoración automática de inmuebles, donde el entorno es mucho más cambiante, para obtener resultados óptimos, es conveniente ajustarlo más a menudo.
“AIS Master -explica José Manuel Aguirre, director comercial de AIS Group- aporta agilidad a la hora de comprender y realizar el seguimiento de los modelos machine learning y de analizar su comportamiento. La herramienta no funciona sola y está dirigida a los equipo de expertos que desarrollan y analizan los modelos.No sustituye a las áreas de desarrollo de modelos, pero ayuda a reducir los tiempos, a entender los datos, a saber cómo se construye el modelo machine learning y cómo se comporta. En este sentido es una herramienta totalmente alineada con las últimas recomendaciones del Banco de España en su publicación 'Inteligencia artificial en los servicios financieros', donde aconseja a las entidades servirse de la IA para mitigar sus riesgos, evitando caer en sesgos y haciendo lo posible por tratar de comprender el razonamiento de los algoritmos para llegar a una conclusión concreta.”
AIS Master incluye un potente entorno gráfico que facilita enormemente la comprensión de la operativa y la explicación del funcionamiento del modelo. “Muestra – indica Aguirre- los pasos que sigue el modelo para tomar las decisiones, eliminando la sensación de “caja negra”, que es el gran hándicappara la adopción de los modelos machine learning”.
De todos modos, aclaran desde AIS Group, AIS Master no es una herramienta exclusiva para modelos machine learning. Puede trabajar también con modelos construidos con otras técnicas.
Aguirre destaca que AIS Master nació como una herramienta interna para el uso de los consultores de AIS Group, pero su practicidad, su agilidad y sus logros en cuanto a productividad llevaron a la compañía a evolucionarla para poder llevar sus resultados y ventajas a las entidades financieras.