Abstract :
[en] In this paper, we propose a semiotic study on generative artificial intelligences, considering the work of Midjourney and DALL·E, that are computational devices capable of producing original images on the basis of the training they have received on large databases of visual, verbal and multimodal documents. The aim is to frame their functioning from a semiotic point of view and to describe the operations that can be performed during image composition, through the options available on the two platforms. To achieve this objective, the paper will be developed into three main parts. In the first part, we will provide a general contextualisation of the relationship between semiotics and artificial intelligence, in the broad sense. Starting from Pierluigi Basso Fossali’s (2017) assumptions about a semiotic perspective understood as the study of the social organization of meaning, AIs reconfigure the thresholds between the four dimensions he defined (perception, enunciation, communication and transmission). By considering the transmission and perceptual dimension, we will define the phases of the database construction and AI model training as pertaining to an archival (distributed) perception. In the second part, we will deal with the dimension of enunciation. On the one hand, we will describe the functioning of the diffusion models guided by human prompts. On the other hand, we will show the limits and potential of these AIs, through a discussion of the operable commands and the results obtained, in the light of the experiments we have carried out over the past months (August 2023-May 2024). In particular, we will test how generative AIs produce images on the basis of prompts containing the styles of specific artists, how they fuse different styles together, and how they work on visual stereotypes. In the third part of the paper, we will focus on the relationship between verbal description and visual generation in order to provide, in accordance with the perspective of the intersemiotic translation, a new research object and a new methodology.
[fr] Cet article propose une étude sémiotique des intelligences artificielles génératives, et notamment du travail de Midjourney et DALL-E, qui sont des modèles génératifs capables de produire des images originales sur la base de l’entraînement reçu à partir de grandes bases de données de documents visuels, verbaux et multimodaux. L’objectif est d'étudier leur fonctionnement d'un point de vue sémiotique et de décrire les opérations qui peuvent être effectuées dans les phases de composition de l'image. Pour atteindre cet objectif, l'article se compose de trois parties. Dans la première partie, nous fournirons une contextualisation générale de la relation entre la sémiotique et l'intelligence artificielle. À partir des hypothèses de Pierluigi Basso Fossali (2017) concernant une perspective sémiotique entendue comme l'étude de l'organisation sociale du sens, nous étudieront la manière dont les IA reconfigurent les seuils entre les quatre dimensions prises en compte dans son livre (perception, énonciation, communication et transmission). Du point de vue de la transmission et de la perception, nous définirons les phases de construction de la base de données et de l'entraînement des modèles génératifs comme relevant d'une perception archivistique (distribuée). Dans la deuxième partie, nous aborderons la dimension de l'énonciation. D'une part, nous décrirons le fonctionnement des modèles de diffusion guidés par des « prompts ». D'autre part, nous montrerons les limites et le potentiel de ces IA, à travers une discussion sur les commandes et les résultats obtenus, à la lumière des expériences que nous avons menées au cours de ces derniers mois (août 2023-mai 2024). En particulier, nous testerons comment les IA génératives produisent des images sur la base de prompts mentionnant les styles de divers artistes, la manière dont elles fusionnent différents styles et comment elles travaillent sur les stéréotypes visuels. Dans la troisième partie de l'article, nous nous concentrerons sur la relation entre la description verbale et la génération visuelle afin de fournir, conformément à la perspective de la traduction intersémiotique, un nouvel objet de recherche et une nouvelle méthodologie.
Name of the research project :
Pour une généalogie des formes visuelles. Approches sémiotique et computationnelle aux larges collections d'images
Scopus citations®
without self-citations
1
