Abstract :
[en] The present time is witnessing growing evidence indicating that Artificial Intelligence (AI) will play a central role in the upcoming major industrial revolution. According to experts, this groundbreaking technology will significantly transform the daily lives of billions of people worldwide. With each passing day, new AI-based solutions are emerging in a wide range of fields, not only automating repetitive tasks but also tackling intricate problems. In parallel, the present era is characterised by the ubiquitous presence of markets, propelled by major trends such as economic liberalisation. This serious evolution has given rise to a plethora of complex decision-making problems, with far-reaching implications for countless individuals across the globe. Therefore, the elaboration of novel, effective solutions to these challenges could yield immense benefits. This situation motivates the scope of the present doctoral thesis, which can be summarised as follows: the study of complex sequential decision-making problems related to markets, and the development along with analysis of novel algorithmic solutions on the basis of innovative AI techniques.
The research carried out within the framework of this thesis can be classified into three primary categories: applied research, fundamental research and sustainable research. Firstly, the applied research conducted focuses on the development of novel AI-driven algorithmic solutions aimed at addressing several sequential decision-making problems that arise in the energy and stock markets. Specifically, the Deep Reinforcement Learning (DRL) approach is explored for that purpose. This applied research yields two important contributions. First, innovative solutions to the decision-making problems studied are designed, explained and rigorously evaluated. Second, the analysis of these new algorithmic solutions highlights the potential of the DRL methodology, but also reveals key limitations related to characteristics of market environments. Building upon these observations, a fundamental research is carried out to enhance existing DRL techniques, so that they are more robust to stochastic and poorly observable environments such as markets. In particular, emphasis is placed on the distributional RL approach, which is concerned with the learning of the complete probability distribution of the random return rather than solely its expectation. The main contributions of the fundamental research comprise the introduction of a novel distributional RL algorithm, together with an intuitive methodology for learning risk-sensitive policies. Finally, the author is strongly committed to imbuing this thesis with a more sustainable dimension. To this end, an important decision-making problem in energy markets is rigorously formalised, with the objective to contribute to the improved synchronisation of power consumption and electricity production of intermittent renewable energy sources.
[fr] À l'heure actuelle, de plus en plus d'éléments indiquent que l'Intelligence Artificielle (IA) jouera un rôle majeur dans l'importante révolution industrielle à venir. Selon les experts, cette technologie novatrice transformera considérablement la vie quotidienne de milliards d'êtres humains. Chaque jour, de nouvelles solutions basées sur l'IA émergent dans un large éventail de domaines, permettant non seulement d'automatiser des tâches répétitives mais aussi de résoudre des problèmes complexes. Parallèlement, notre époque est caractérisée par l'omniprésence des marchés, sous l'impulsion de tendances majeures telles que la libéralisation économique. Cette évolution a donné naissance à une multitude de problèmes complexes de prise de décision, avec d'importantes implications pour d'innombrables individus à travers le monde. Par conséquent, l'élaboration de solutions innovantes et efficaces à ces défis pourrait générer d'immenses bienfaits. Ce constat motive la portée de la présente thèse de doctorat, qui peut être résumée comme suit : le développement et l'analyse de solutions algorithmiques innovantes tirant profit de techniques d'IA avancées pour résoudre des problèmes complexes de prise de décision séquentielle relatifs aux marchés.
Les recherches menées dans le cadre de cette thèse s'inscrivent dans ces trois catégories principales : les recherches appliquée, fondamentale et à caractère durable. Tout d'abord, la recherche appliquée se concentre sur le développement de nouvelles solutions algorithmiques pilotées par l'IA pour résoudre des problèmes de prise de décision séquentielle qui se posent dans les marchés de l'énergie et de la bourse. En particulier, l'approche Deep Reinforcement Learning (DRL) est explorée. Cette recherche appliquée produit deux contributions notables. Premièrement, des solutions innovantes aux problèmes étudiés sont conçues, commentées et rigoureusement évaluées. Deuxièmement, l'analyse de ces nouvelles solutions algorithmiques met en évidence le potentiel de l'approche DRL, mais révèle également ses principales limites liées aux caractéristiques des environnements de marché. Sur la base de ces observations, une recherche fondamentale est menée pour améliorer les techniques DRL existantes, afin qu'elles soient plus robustes face à des environnements stochastiques et peu observables tels que les marchés. Plus précisément, l'accent est mis sur l'approche distributional RL, qui s'intéresse à l'apprentissage de la distribution de probabilité complète des récompenses plutôt qu'à sa seule espérance. Les principales contributions de cette recherche fondamentale comprennent un nouvel algorithme de ce type, ainsi qu'une méthodologie intuitive pour l'apprentissage de politiques décisionnelles sensibles au risque. Enfin, il est important pour l'auteur de donner à sa thèse une dimension plus durable. A cette fin, un défi clé dans les marchés de l'énergie est formalisé, avec l'objectif de contribuer à une meilleure synchronisation de la consommation d'énergie et de la production d'électricité à partir de sources d'énergie renouvelables.
