CONVÊNIO CAPES-PRINT-UNESP

PROFESSOR VISITANTE NO BRASIL (PVBr)

PLANO DE ATIVIDADES
(máx. 5 páginas)

Título: La théorie de l’énonciation entre linguistique et sémiotique.

Nome do Professor Visitante: Maria Giulia DONDERO
PPG associado: Programa de Pós-Graduação em Linguística e Língua Portuguesa da
FCLAr/UNESP
Unidade Universitária: Unidade Universitária: Departamento de Letras Modernas e da Pós-
graduação em Linguística e Língua Portuguesa da Faculdade de Ciências e Letras da Unesp,
de Araraquara (SP). Universidade Estadual Paulista “Júlio de Mesquita Filho”.

1. Programa da Disciplina a ser ministrada

Cette année, je souhaite programmer deux événements pour mon séjour de recherches et
d’enseignement à l’UNESP-Araraquara.
Le premier est de donner le cours « La théorie de l’énonciation entre linguistique et
sémiotique » dont le programme est détaillé ci-dessous :

Responsables : Maria Giulia Dondero, Jean Cristtus Portela et Matheus Schwartzmann.

Crédits: 2.
Résumé: L’énonciation est un concept central qui a permis à la linguistique, particulièrement dans le
monde francophone, de faire évoluer le modèle structural qui a été le sien à partir des années 1960. Le
concept d’énonciation a eu un impact important sur la sémiotique visuelle qui s’est développée, pour
l’essentiel, dans la période post-structurale (années 1990-2000). La transposition du concept
d’énonciation dans le domaine du visuel a impliqué une transformation du concept d’énonciation, en
répondant notamment à ces questions : qu’est-ce qu’une identité visuelle, à savoir produite par une
image ? Comment construire des modèles d’interactions et ainsi d’intersubjectivité via l’image ?
Comment étudier la temporalité énoncée dans une image fixe qui est a priori un art de l’espace ? Le
cours propose, pour répondre à ces questions, un parcours autour de ce concept depuis les premiers
développements théoriques en sémiotique visuelle, notamment sur l’image artistique, en passant par
une étude des images employées dans le discours scientifique, jusqu’aux questionnements récents sur
l’énonciation dans le cadre de la visualisation des données massives.
Objectifs : Notre cours vise dans un premier temps à reparcourir le développement de la théorie de
l’énonciation dès les années 1960 lorsque Émile Benveniste (1966 et 1974) avait envisagé la possibilité
d’étendre ce concept à la musique et à d’autres langages. Ce sera seulement avec des historiens et
théoriciens de l’art tel que Meyer Schapiro (2000), ou des philosophes tel que Louis Marin (1993), que
la théorie de l’énonciation a pu devenir opérationnelle pour analyser les images, notamment de statut
artistique. L’analyse énonciative est un instrument qui, dans le cadre du visuel, permet de décrire « d’où
l’on voit », à savoir les points de vue à partir desquels l’image a été conçue et dont elle témoigne.
L’analyse énonciative est donc un outil qui permet d’étudier les façons dont les valeurs, les formes de
vie, ainsi que les idéologies sont incarnées par des signes visuels. L’analyse énonciative des images a
été, dans un second temps, développée par un certain nombre de sémioticiens de l’Ecole de Paris (Floch
1985, 1986, Fontanille 1989) et testée sur des corpora d’images artistiques et scientifiques (Beyaert-
Geslin 2017, Dondero 2009, 2010, 2012, 2014, Basso Fossali et Dondero 2011, Dondero et Fontanille
2012).
Contenus du cours :
1. La subjectivité en image (personne/espace/temps) ;
2. L’énonciation et les genres en peinture et en photographie
3. Analyses de corpora d’images artistiques et scientifiques ;
Méthodes d’enseignement : Exposés, études de cas, lectures dirigées.
Modalité d’évaluation : Un compte rendu critique en portugais de 5 à 10 pages sur un sujet abordé en
cours. Mise en page : Taille A4, Marges 3cm, Interligne 1,5cm, Times New Roman 12.

1. Énonciation et visualisation des données

COMPAGNO, Dario (2017), « Signifiant et significatif. Réflexions épistémologiques sur la sémiotique et
l’analyse des données », Questions de communication, 1/31, pp. 49-70.
DONDERO, Maria Giulia (2017), “The Semiotics of Design in Media Visualization: Mereology and
Observation Strategies”, Information Design Journal 23/2, p. 208-218, DOI: 10.1075/idj.23.2.09don.
DONDERO, Maria Giulia (2018), « La remédiation d’archives visuelles en vue de nouvelles
iconographies : le cas de la Media Visualization de Lev Manovich », Interin 1, 23, p. 85-107. URL :
https://seer.utp.br/index.php/i/issue/view/41.
DONDERO, Maria Giulia (2019) “Visual semiotics and automatic analysis of images from the Cultural
Analytics Lab: how can quantitative and qualitative analysis be combined?”, Semiotica 230, 121-142.
https://doi.org/10.1515/sem-2018-0104.
DONDERO, Maria Giulia (2020), Les Langages de l’image. De la peinture aux Big Visual Data, Paris,
Hermann Éditeurs.

2. Identités numériques : les images dans les réseaux sociaux et produites par Midjourney et l’IA
BORDRON, Jean-François & DONDERO, Maria Giulia (2023) « L’expression : de Hjelmslev à l’analyse
computationnelle des larges collections d’images ». Actes Sémiotiques, (129).
https://www.unilim.fr/actes-semiotiques/8077
D’ARMENIO, Enzo (2020a), « La gestione digitale del sé. Immagini e prestazioni identitarie sui social
network », Lexia 37-38 — Transhuman visages Artificial Faces in Arts, Science, and Society.
D’ARMENIO, Enzo (2020b), « L’économie de l’influence dans les réseaux sociaux en ligne », Invention
et Institution (Basso Fossali, dir. ), Limoges, Pulim.
D’ARMENIO, Enzo et Dondero, M.G. (2020), « La photographie à l’époque des réseaux sociaux : pour
une approche quali-quantitative », Les sociabilités numériques (Ablali et Bertin, dirs.), Academia-
L’Harmattan. Disponible ici :
https://www.researchgate.net/publication/340061470_La_photographie_a_l%27epoque_des_reseaux_
sociaux_pour_une_approche_quali-_quantitative.
MANOVICH, Lev (2001), The Language of New Media, Cambridge, MIT Press (tr. fr. Le langage des
nouveaux médias, Dijon, Les Presses du réel, 2015).
MANOVICH, Lev (2017), Instagram and Contemporary Image, Creative Commons license,
http://manovich.net/index.php/projects/instagram-and-contemporary-image
Le second projet concerne un mini-cours de 6 heures (3+3) ayant pour titre « La révolution
numérique et les Big Data : l’analyse des larges collections d’images artistiques et la
génération d’images via Midjourney ».

Ce mini-cours découle des développements récents de la sémiotique qui aborde à présent les rapports
entre sciences du langages et analyse computationnelle (Compagno 2017), la visualisation de données
visuelles (Big Visual Data) (Dondero 2017, 2018, 2019, 2020), et les images produites automatiquement
par Midjourney à partir des larges bases de données d’images (Bordron & Dondero 2023).
Ce mini-cours abordera en premier lieu la visualisation de données massives, notamment dans le cadre
de l’analyse automatique (statistique) des tableaux et photographies artistiques. Ces visualisations
d’images sont à entendre comme structuralistes en deux sens : le premier sens est que ces visualisations
mettent en opposition des groupes d’images ayant des caractéristiques plastiques graduellement
similaires ou opposées et disposent les caractéristiques de chaque image de manière graduelle au sein
d’un espace de contrôle. Le deuxième sens concerne la collection. La collection peut être étudiée à
l’instar d’un système-langue à l’intérieur duquel la machine a été entrainée à travailler par différences
et par similitudes. La collection-système fonctionne comme une encyclopédie, autrement dit comme un
système de co-textes selon la conception d’Umberto Eco, ou encore comme le lieu où ont été
sédimentées des stratégies discursives des formes artistiques, par exemple picturales, de tous les temps,
et que nous pouvons situer sur le schéma des modes d’existence de la praxis énonciative dans l’espace
de la virtualisation que Jacques Fontanille a proposé dans Sémiotique du discours (1999).
En second lieu, on abordera l’identité hybride homme-machine du producteur d’images via Midjourney
et d’autres modèles de l’intelligence artificielle générative. Ces modèles traduisent des énoncés
verbaux, appelés prompts, en des énoncés visuels, ou vice-versa : ils produisent des énoncés verbaux
dans le but, par exemple, de décrire une image que l’utilisateur propose à Midjourney. La génération
de textes visuels via ces modèles est fondamentale pour la sémiotique car, dans le cadre de la génération
d’images, non seulement une première forme de traduction, très générale, est à étudier, à savoir la
traduction qui s’effectue entre la langue de la machine (faite d’une mémoire infinie stockée via des
zéros et des uns) et le langage humain, mais aussi et surtout la traduction entre le langage verbal du
prompt (l’instruction qu’on donne à Midjourney) et le langage visuel (le produit de Midjourney), qui
passe à travers des opérations déterminées (par apprentissage) grâce à des bases de données, verbales
et visuelles. La base de données occupe donc dans ces opérations d’analyse, de traduction et production
d’énoncés un rôle important, rôle qui peut, en termes sémiotiques, être conçu à l’instar de l’encyclopédie
selon Umberto Eco ou, en termes greimassiens et post-greimassiens du lieu de la sédimentation des
formes discursives, verbales, visuelles, à partir desquels de nouvelles paroles/réalisations peuvent être
produites ¾évidemment « automatiquement », étant donné qu’on a affaire à des langages artificiels. Le
problème de l’auctorialité est posée car dans ce cadre c’est la machine qui génère les images, mais en
même temps ce sont les acteurs humains qui décident des prompts et des développements de chaque
image produite par Midjourney.

2. Descrição do plano de trabalho, contendo as atividades de ensino e de pesquisa do

visitante, caracterizando sua integração com as linhas de pesquisa do PPG.

Voir point 1. Le projet de recherches du PPG concerne le problème de l’enseignement critique

des nouvelles technologies (et, dans le cas précis de mon projet, de l’Intelligence Artificielle
comme instrument d’analyse et de génération d’images) et de la transformation des identités
de l’analyste et du producteur d’images face à la machine. La sémiotique du discours sera
mise en contraste avec les méthodes quantitatives de l’analyse des données, et avec
l’épistémologie des humanités numériques, afin d’en comprendre les différences et les
similitudes.
3. Justificativa quanto à inovação da proposta
(demonstrar como a estadia no Brasil trará melhorias em atividades de pesquisa e ensino,
serviços ou processos no ambiente e para a Universidade)

Le mini-cours aura comme objectif d’étudier deux questions qui n’ont pas encore été étudiés
en sémiotique, la sémiotique étant traditionnellement une discipline consacrée à la spécificité
de chaque texte et à l’analyse de petits corpus. Pour la première fois, la sémiotique a la
possibilité d’aborder de manière critique les analyses computationnelles (statistiques
notamment) des textes et des images. L’enjeu est d’offrir une perspective nouvelle et
spécifiquement sémiotique sur un sujet qui est étudiée exclusivement en Digital Humanities
et en Digital Art History, ainsi que d’étudier la manière dont la machine reproduit le langage
humain (verbal et visuel). De plus, le cours offrira une comparaison entre Chat-GPT de
nouvelle génération (GPT-4) dont la linguistique est en train de s’occuper, et les performances
des modèles génératifs de Midjourney et Stable Diffusion, sur lesquels la linguistique ne
travaille pas, cette dernière étant exclusivement consacrée au langage verbal.
En ce qui concerne l’enseignement, je demanderai aux étudiants de produire des prompts à
proposer aux modèles génératifs tels que Chat-GPT et Midjourney pour qu’ils puissent
apprécier le plaisir de travailler en groupe et de manière expérimentale sur l’Intelligence
Artificielle.

4. Justificativa quanto à relevância da proposta

(consequências efetivas para o candidato, para a comunidade universitária ou população-
alvo específica)

Étudier d’un point de vue sémiotique l’analyse des données et la génération de nouvelles
images est non seulement nécessaire dans le cadre des sciences du langage, mais urgent
pour toute la communauté de chercheurs en sciences humaines et pour la société toute
entière. Tout citoyen se pose des questions sur la falsification des documents visuels,
notamment dans le cadre des deepfakes et des images générées par l’intelligence artificielle.
La question de la vérité des images est posée, ainsi que de l’auctorialité des images produites
artificiellement, de manière hybride par la machine et par l’humain.

5. Justificativa quanto à replicabilidade da proposta

(capacidade de converter o conhecimento obtido em conhecimento acessível, com a
finalidade de compartilhá-lo, possibilitar a multiplicação e a replicabilidade da iniciativa no
contexto da Universidade)
Mes activités à l’UNESP-Araraquara viseront à rendre les étudiants autonomes dans la
manière de comprendre le langage des images et, dans le cas de l’étude des modèles
génératifs, ils seront aussi capables de comprendre comment la machine traduit le langage
verbal en langage visuel et vice-versa. Ils effectueront eux-mêmes des expériences sur
Midjourney et surtout Stable Diffusion, qui est en parie gratuit, et les expériences seront
discutées de manière collégiale. Les compétences acquises pourront être répétées et elles
seront utiles pour montrer la manière dont la machine a été codée, à savoir comment la
correspondance entre le langage verbal du prompt et le langage verbal qui décrit l’image ont
été prévus lors de la phase d’entrainement de la machine et de la production des embeddings
(listes de nombres) pour le texte et pour l’image. Comprendre le fonctionnement des modèles
génératifs est une question d’intérêt générale, sur laquelle tout le monde s’interroge, au sein
et au dehors des murs d’universités.

6. Justificativa da escolha da IES de origem

(informar posição em rankings internacionais, internacionalização, estrutura administrativa
e/ou outros critérios considerados relevantes pela Comissão)

L’IES dispose d'une excellente infrastructure comprenant des bibliothèques, des laboratoires,
un support informatique, des équipements, des salles de classe, une cafétéria universitaire
(actuellement en rénovation) et des espaces de vie. Cette infrastructure sert de base aux
activités d'enseignement et d'extension, ainsi qu'au développement des projets de recherche
des enseignants et des étudiants. Il s'agit d'un des meilleurs programmes de linguistique au
Brésil, noté 6 par la CAPES, et historiquement traditionnel dans les études sémiotiques
brésiliennes, dont les origines remontent à l'année 1977.

7. Resultados esperados
(adequação da proposta ao ambiente em que se insere, evidenciando seu impacto no
desenvolvimento da estratégia de internacionalização da Universidade)

Le mini-cours abordera l’Intelligence Artificielle à partir de certains travaux de recherche qui

sont en train de se développer à présent en Europe, non seulement en Belgique, au sein du
Centre de Sémiotique et Rhétorique de l’Université de Liège où je travaille, mais aussi en
France et en Italie. En particulier, les questions que j’aborderai avec les doctorants sont
préalablement discutées collectivement dans le cadre du Séminaire International de
Sémiotique à Paris que je dirige avec Juan Alonso Aldama depuis 2022 et qui a pour titre
cette année : « Enonciation(s) et passions dans les territoires ouverts par L’Intelligence
Artificielle ». Sont invités à ce séminaire les plus éminents chercheurs européns. Les
informations et le calendrier sont disponibles à cette adresse :
https://www.fmsh.fr/projets/seminaire-international-de-semiotique-paris-2?fbclid=IwAR26mK-
b_lQIpVO6mqvKGFFPx0Fikp3QqFvD0dRBtV4fqmMhRvJzNQgUAkE.
Je discuterai ces travaux avec les doctorants et chercheurs en leur proposant d’envisager un
séjour de recherches en Europe.

8. Proposta sucinta acerca do credenciamento do visitante como docente colaborador do

Programa, que inclua a orientação de alunos brasileiros em cotutelas (se houver).

En tant que coordinatrice, je développe des orientations pour les stages de doctorat à l'Unesp
d'Araraquara, comme c'est le cas pour Gustavo Rodrigues de Castro, qui est également sous
la coordination de Matheus Nogueira Schwartzmann. J'ai déjà participé à des écoles
doctorales en tant que membre de jurys de mémoires de maîtrise et de thèses, ainsi qu'à des
publications et à la présentation de recherches lors d'événements scientifiques. J'ai l'intention
de consolider davantage d'actions dans ce sens, y compris la mise en place de cotutelles.