Alexey Utkin, conseiller principal en solutions, cabinet financier chez DataArt
Si vous êtes exposé à un petit peu de médias, vous avez probablement entendu des histoires sur la façon dont l’IA — l’intelligence artificielle — est là et que vous êtes sur le point de transformer les industries dans tous les domaines. Et il est vrai que nous assistons certainement à l’aube d’un nouvel été IA. Avec un nombre toujours croissant d’applications pratiques pour le deep learning, de nombreuses entreprises se rendent compte qu’elles doivent considérer l’IA et le ML sérieusement. Les technologies qui soutiennent l’AI/ML ont progressé rapidement au cours des dernières années et, grâce à cela, la quantité de données à analyser a énormément augmenté et ne fera que continuer de le faire.
L’ un des problèmes fondamentaux des modèles d’AI/ML modernes est qu’il est difficile, souvent impossible, d’expliquer pourquoi un modèle fait ce qu’il fait. De cette façon, les modèles sont similaires à un cerveau humain. Le MIT Technology Review affirme dans son article « The Dark Secret at the Heart of IA » que personne ne sait vraiment comment fonctionnent les algorithmes les plus avancés, ce qui est un problème imminent pour l’adoption généralisée des technologies IA. (https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/).
Alors, quels sont les défis sous-jacents en matière d’explicabilité et le rôle de la connaissance du domaine dans l’application de l’AI/ML (apprentissage automatique) dans les entreprises, en particulier dans un secteur réglementé, comme la finance ? Il s’agit là d’une considération essentielle pour ceux qui envisagent d’utiliser ces nouvelles technologies puissantes pour piloter les produits, les services et les processus de leur entreprise.
L’IA explicable (XAI) est supposément une intelligence artificielle transparente (IA) dont les actions peuvent être invoquées et compréhensibles par les humains. Il est considéré comme différent de la technologie « boîte noire » — le type d’IA qui fait sa propre chose, et aucun humain ne comprend vraiment comment il y est arrivé.
Toutefois, l’explication est souvent illusoire dans la pratique. Les explications, comme les modèles eux-mêmes, sont des simplifications de la réalité et ne sont donc jamais parfaites. Le secteur financier possède d’énormes ensembles de données et les modèles mathématiques complexes utilisés nécessitent beaucoup de temps, d’efforts, de connaissances de domaine, de compétences et de capacité cérébrale pour être bien compris par un humain. Je me souviens d’un cas dans ma pratique où la CAF vérifiait un modèle de risque de crédit d’une banque d’investissement qui avait été produit par l’un des meilleurs quants de la banque. Le modèle a été documenté avec une grande diligence scientifique, mais le vérificateur a eu du mal à comprendre pleinement le modèle en raison des niveaux de mathématiques stochastiques intégrées et a fini par effectuer des tests de scénario de boîte noire.
Les marchés financiers sont pleins de bruit et de complexités qui sont rarement compréhensibles par un humain. Michael Lewiss explique dans son livre The Big Shortcomment il a fallu à un humain rare, Michael Burry, pour relier les points sur les marchés financiers et comprendre ce qui se passait vraiment avec les dérivés de crédit subprime. L’ a montré comment les gens se sont perdus dans l’image fine du microdeuxième niveau de la mécanique du marché.
Pourquoi l’IA explicable est-elle nécessaire dans l’entreprise ?
Parce que les organisations recherchent une confiance et une transparence accrues et un contrôle opérationnel efficace. Et, avec un tas d’autres avantages, il y a le fait incontournable que les réseaux neuronaux sont faillibles.
Confiance et transparence accrues
L’explicabilité de l’IA est fondamentale pour que les gens puissent faire confiance, gérer et utiliser des modèles d’IA. C’est important parce que, du moins à son stade actuel, l’IA est un excellent outil à utiliser par les humains, plutôt qu’un remplacement pour un être humain.
Dans les industries réglementées comme la finance, une demande d’explication est souvent simplement une demande de la part des organismes de réglementation dans le meilleur intérêt des clients et des investisseurs. Les régulateurs continuent de se gratter la tête sur la façon de s’adapter à la nouvelle réalité de l’IA. On pourrait soutenir, d’une part, que les organismes de réglementation devraient étudier les tests statistiques de simulation de la boîte noire et les techniques d’apprentissage du renforcement afin de confirmer que les modèles et les machines font sont conformes aux intérêts des clients et des investisseurs et qu’ils ne sont pas dangereux pour les marchés, etc. Mais d’un autre côté, les organismes de réglementation ont raison de défier l’industrie d’adopter une approche plus responsable tout en utilisant l’IA dans leurs produits et services, et d’être conscients de l’éthique de l’IA et des limites actuelles. Par exemple, parmi les nouvelles réglementations en vigueur dans cet espace, le Règlement général européen sur la protection des données (RGDP) entré en vigueur en mai 2018 contenait ce qui a été qualifié de « droit à l’explication », et stipule que les décisions importantes affectant significativement les personnes ne peuvent être fondées uniquement sur une décision machine.
Le Conseil de stabilité financière (CSF) dans son examen approfondi de l’AI/ML dans les services financiers (http://www.fsb.org/wp-content/uploads/P011117.pdf) a également mentionné le manque d’interprétabilité de l’IA comme un défi pour la supervision et un défi pour la compréhension de la sensibilité aux chocs systémiques de la système financier et l’évolution des conditions du marché.
Contrôle et compréhension plus poussées
Lors de la gestion d’une organisation, il est important d’avoir une bonne compréhension et un contrôle solides du fonctionnement de l’entreprise, de la façon dont l’entreprise est gérée et de la manière dont les clients sont servis. Si une organisation s’appuie sur l’IA pour une partie quelconque de cela, il est impératif de comprendre comment cette pièce fonctionne et pourquoi la technologie prend des décisions, des suggestions et des prévisions. Cela joue un rôle important dans l’intégration de l’IA dans l’entreprise, en réalisant une collaboration efficace entre les humains et les machines, offrant une meilleure expérience client. Cela est lié à une discussion croissante sur l’éthique de l’IA — alors que la construction de modèles AI/ML, les organisations doivent s’assurer que les modèles ne sont pas biaisés, ne créent pas de boucles auto-renforçant, qu’ils ne discriminent pas ou sont de toute façon injustes envers un groupe de
Un exemple de ceci pourrait être un modèle de notation de crédit, qui est formé à l’aide d’un jeu de données qui inclut les codes postaux des personnes et qui n’inclut pas explicitement d’informations sur la race. Pourtant, comme un code postal est un prédicteur potentiel de la race d’un sujet, il est possible que le modèle soit susceptible d’être victime d’une discrimination raciale involontaire.
Entraînement pour d’autres améliorations
L’explicabilité ou l’interprétabilité d’un modèle est susceptible d’ouvrir des moyens concrets d’améliorer le modèle. L’équipe d’ingénierie de l’apprentissage automatique peut donc mieux comprendre les biais du modèle et travailler à les éliminer dans le produit. Il est important de comprendre que les machines apprennent de vastes ensembles de données et que ces ensembles de données peuvent ne pas refléter le monde réel et peuvent être biaisés de manière inattendue. Par exemple, si les données reflètent déjà certains processus et décisions organisationnels ou simplement manquer une partie importante des données.
Le niveau d’explicabilité dépend du modèle particulier que vous choisissez d’utiliser. Certains modèles d’apprentissage automatique peuvent expliquer, tandis que d’autres modèles, tels que les réseaux neuronaux profonds, sont inexplicables à ce stade. La règle générale semble être qu’il y a une corrélation inverse entre l’explicabilité et la précision, plus explicable, moins précise.Ajoutée à cela, plus le modèle est explicable, plus l’effort requis d’un ingénieur machine learning pour concevoir le modèle, choisir les caractéristiques et transformer les données afin de atteindre un niveau de bonne précision. En effet, dans une certaine mesure, plus le modèle est opaque et précis, plus il faut disposer de données. Ainsi, les réseaux neuronaux profonds, étant du côté inexplicable du spectre, nécessitent la plus grande quantité de données et de puissance de calcul pour former, tout en offrant une plus grande précision et peuvent souvent donner un bon résultat sans beaucoup d’effort d’ingénierie des fonctionnalités.
Les experts du domaine sont-ils nécessaires pour le processus ?
Il ne fait aucun doute qu’au cours des dernières années, il y a eu une percée dans l’application de l’apprentissage profond à divers problèmes difficiles, en particulier dans les domaines de la vision par ordinateur, de la parole et de l’analyse de texte. Les avancées récentes en matière d’apprentissage approfondi ont été largement favorisées par l’augmentation de la puissance de calcul (Cloud/GPU) et des données disponibles pour la formation sur modèle. Un autre aspect passionnant des réalisations récentes des modèles d’apprentissage profond est que beaucoup de percées exigeaient très peu de connaissances dans le domaine.
L’ AlphaZero du DeepMind — un moteur qui, fin 2017, a battu les programmes des champions du monde en Go, aux échecs et au shogi. Contrairement aux approches historiques des ordinateurs d’échecs, AlphaZero a appris par l’entraînement en soi, sans utiliser aucune contribution sur les jeux humains — c’est-à-dire sans apport de connaissances sur le domaine humain.
Numerai, un nouveau type de fonds spéculatifs, lance un concours de science des données sur les prévisions boursières à l’aide d’ensembles de données boursières entièrement anonymisés. Cela est partiellement fait en raison des contraintes de confidentialité de Numerai, un effort pour éliminer tout biais dans la perception humaine. Les spécialistes des données construisent des modèles pour trouver des modèles dans les données sans vraiment savoir quelles sont les données et, par conséquent, sans aucune possibilité d’utiliser les connaissances du domaine. Les modèles réussis sont ensuite testés sur un marché réel et font partie de la stratégie d’investissement Numerai.
Il y a certainement une promesse passionnante pour l’apprentissage profond, mais peut-être trop belle pour être vraie.
En effet, il existe de nombreux cas où le deep learning a initialement fourni une bonne précision sans trop de configuration d’un expert de domaine ou d’un ingénieur ML. Mais la plupart du temps, le modèle initial a été considérablement amélioré, tant en termes de performance que de précision, par les efforts des concepteurs ML, des ingénieurs ML et des scientifiques de données citoyens possédant une expertise dans le domaine. L’ingénierie des fonctionnalités et l’architecture de modèle sont là où l’expertise du domaine est inestimable. Par exemple, la décomposition du modèle global en quelques sous-modèles visait à des tâches subordonnées spécifiques, en choisissant le nombre et la taille optimaux des couches de réseau neuronal pour chaque sous-modèle et en choisissant des approches d’apprentissage.
Pour la mise en œuvre pratique des systèmes basés sur ML dans l’entreprise, il aide à avoir une idée des limites des capacités actuelles des différents modèles ML dans différentes tâches.
Dans un épisode récent du O’Reilly Data Show (http://radar.oreilly.com/tag/oreilly-data-show-podcast) sur Enterprise AI, Kristian Hammond et Ben Lorica ont proposé qu’il y ait trois étapes générales ou domaines du traitement de l’IA : la détection (collecte de données), la perception (reconnaissance, classification) et le raisonnement ( prendre une décision ou une suggestion). Dans le contexte de l’entreprise, la détection est souvent hors de portée car les données existent déjà. La perception est là où l’apprentissage profond est particulièrement puissant. Et le raisonnement est un domaine où l’apprentissage profond se heurte réellement ou n’est simplement pas pratique à mettre en œuvre, nécessitant trop de données et de temps pour apprendre. Le raisonnement est également souvent étroitement lié aux objectifs du processus d’entreprise, et il est bien préférable de les définir explicitement par un expert du domaine plutôt que d’être déduits à partir de données.
En résumé, l’approche optimale est une approche hybride pratique dans un contexte d’entreprise. Dans l’approche hybride, le deep learning est utilisé pour le traitement de bas niveau — reconnaissance et classification, puis il fournit une contribution à un modèle de raisonnement de niveau supérieur, comme un arbre de décision avec des règles métier. De cette façon, on obtient une bonne explication de l’ensemble du système.
En pratique, cela peut se dérouler de la manière suivante : vous commencez par un réseau neuronal profond qui répond à vos besoins, puis commencez à développer un modèle ML plus interprétable comme un arbre de décision ou un RuleFit, comme épine dorsale de votre modèle global. Utilisation de sorties nettes neuronales profondes comme entrée pour le modèle interprétable et visant à ne pas diminuer significativement la précision globale d’une étape à l’autre. Les experts du domaine et les spécialistes des données travaillent ensemble pour faire évoluer les arbres décisionnels, ses modèles explicables, avec des règles et des objectifs métier clairement énoncés, ainsi que l’architecture globale de modèle ML pour améliorer progressivement la précision.
