Déstabiliser la multimodalité : réinventer et revisiter de nouveaux futurs sémiotiques

Introduction

Dans cet article, j’étudie l’évolution de la sémiotique à partir de concepts clés en multimodalité. Celle-ci est une approche de la communication qui mobilise des théories issues de plusieurs disciplines, dont la sémiotique, la linguistique, la rhétorique, l’anthropologie, les études des médias et les études sur la littératie. C’est un domaine en croissance qui s’impose dans toutes les disciplines, qui façonne la logique et l’esthétique de la communication contemporaine à l’aide d’importantes méthodes génératives et qui ajoute le rôle du contexte et de l’espace à la complexité de la production de sens (Kress, 2010 ; Lacelle et al., 2017 ; Kress et Rowsell, 2019). Nous vivons et communiquons actuellement dans un monde où l’intelligence artificielle (IA), grâce aux logiciels d’IA en accès libre, dont ChatGPT, peut aider les élèves du secondaire dans plusieurs manières en sélectionnant et organisant des images, en écrivant des compositions ou en identifiant des extraits de films faits sur mesure. Bien que la science, les technologies et l’innovation surpassent les compétences humaines autant dans la vie quotidienne que dans le travail, l’enseignement et l’apprentissage de la littératie en éducation demeurent obstinément attachés à la langue et aux approches monomodales. Au cœur des politiques et pédagogies internationales contemporaines, des approches sémiotiques et multimodales pour l’enseignement et pour l’apprentissage apparaissent. Toutefois, en tant que chercheur·se·s et éducateur·rice·s, nous n’avons pas encore véritablement relevé les défis de l’innovation (Burnett et al., 2014). Dans cet article, je propose de réinventer de nouveaux futurs sémiotiques en revisitant certaines des caractéristiques clés de la multimodalité. Pour ce faire, je m’intéresse aux genres numériques contemporains associés aux travaux de recherche que j’ai menés au cours de la dernière décennie.

Revisiter la théorie multimodale

Cet article, faisant partie d’un numéro thématique sur la sémiotique, ses vastes réseaux et ses propriétés interdisciplinaires, conçoit la multimodalité comme une force sémiotique sociale développée à partir de certaines caractéristiques clés, dont les signes, modes et temporalités (timescales) motivés, l’effet multiplicatif des modes, la transmodalité, la synesthésie, la densité modale et la transduction. Revisiter et réinventer ces termes dans notre contemporanéité provoque une déstabilisation, puisque nous nous tournons vers des futurs précaires et incertains. La multimodalité tire ses racines de certaines disciplines, dont les plus importantes sont la linguistique et la sémiotique. Notamment, des linguistes ont relevé le défi d’affronter les changements dans le paysage communicationnel en proposant des cadres interprétatifs plus large pour penser la production du sens. Des chercheur·se·s, comme Halliday (1979), ont soutenu de manière convaincante que le langage est parfois utilisé pour accomplir des actions ou des pratiques qui remplissent des fonctions spécifiques, comme le langage direct, le langage analytique ou encore le langage d’enseignement, pour en nommer quelques-uns.

L’histoire de la littératie multimodale repose en grande partie sur la sémiotique et la sémiotique sociale. Les linguistes et sémioticien·ne·s qui ont étudié comment les signes véhiculent le sens sont parti·e·s du principe que tout peut être un signe, à condition que nous puissions en retirer du sens. Les théoricien·ne·s qui travaillent dans un cadre sémiotique conçoivent le langage comme un système idéalisé et abstrait. De nombreux sémioticien·ne·s ont développé des théories qui soutiennent que les gens mobilisent les ressources sémiotiques dont ils disposent pour communiquer. Celles-ci peuvent être envisagées comme des modes qui naviguent entre les sens implicites au contenu et à la conception d’un texte, et qui les médiatisent. À la fin des années 1980, plusieurs théoricien·ne·s se sont penché·e·s sur les subtilités de la sémiotique sociale en tant que manière plus nuancée de penser la communication. En d’autres mots, les signes n’existent pas dans un vacuum, sans public ni contexte ; les signes sont des unités de sens contextualisées qui s’adressent à des publics et à des spectateurs différents. Ces unités sont façonnées par les contextes dans lesquels elles existent. Tout en prenant en compte l’utilisation des modes de communication, plusieurs chercheur·se·s en linguistique et en linguistique sociale ont développé des termes et des concepts flexibles pour décrire l’utilisation de différents matériaux et l’investissement personnel des personnes dans la production de leurs textes. Qu’importe le type de communication ou le genre textuel, des choix sont continuellement faits en fonction de ce que les modes peuvent leur apporter et de comment ils communiquent le sens et rendent les textes attrayants (Van Leeuwen, 2015). Cette histoire intellectuelle sous-tend des façons de réinventer des futurs en littératie.

Caractéristiques clés de la multimodalité

Pour revisiter et réinventer de nouveaux futurs sémiotiques, je présente ici certains des termes clés de la multimodalité. Chacun d’entre eux est illustré à partir d’exemples tirés de mes propres recherches ou des médias sociaux. Je commence par des termes qui portent sur l’agentivité, notamment les signes motivés, puis j’aborde les modes et les temporalités avant de discuter des pratiques de composition multimodale, comme la transmodalité et la densité modale. Revisiter et situer ces termes permet de mieux envisager ce qu’ils pourraient devenir.

Le signe motivé

Kress (1997) a développé le concept de signe motivé (motivated sign) pour rendre compte du rôle de l’agentivité dans la conception de textes et dans l’identification des manières idiosyncrasiques mobilisées par les producteur·trice·s de sens pour écrire des textes. Le dessin d’un·e enfant, une page Facebook, une publicité et bien d’autres exemples de conception (design) sont tous des signes motivés. En se concentrant d’abord sur les processus derrière la fabrication des signes, puis sur les sens manifestés dans les signes, Kress (1997) conçoit le signe motivé comme un processus par lequel les individus doivent décider quels sont les modes à privilégier dans la création du signe. À tout moment lors de la création du signe, les individus sont confrontés à une myriade de choix, puisqu’il existe beaucoup d’options à considérer. C’est à ce moment qu’ils doivent se concentrer sur les caractéristiques spécifiques qu’ils jugent essentielles et appropriées à la situation donnée. C’est en s’appuyant sur ses idées que Kress envisageait la production de signes comme une métaphore pour expliquer comment le sens se multiplie dans les textes. Il soutenait que, lorsqu’un·e enfant ou un·e producteur·rice de sens compose un texte, la conception du texte et son contenu sont motivés par les intérêts et les motivations d’un·e producteur·trice de signes. Le processus est complexe, car il est façonné aux niveaux individuel et social, et est influencé non seulement par les expériences antérieures, mais aussi par les caprices créatifs et stylistiques du·e la producteur·rice de sens. De plus, les facteurs psychologiques, émotionnels, culturels et physiologiques peuvent influencer et orienter le processus, façonnant fortement la production de signes.

Pour illustrer le signe motivé, je donne en exemple un aperçu du projet de recherche Making Literacies, financé dans le cadre d’une subvention Savoir du CRSH¹. Peter Viegen et moi-même avons mené sur une période de deux mois en 2018 l’un des cinq sous-projets, Face Value. Le projet a débuté avec les égoportraits conceptuels de 22 élèves inscrit·e·s à une école secondaire de la région municipale de Niagara, puis a été suivi par la création d’autoportraits en techniques mixtes. Les élèves ont choisi différentes techniques pour leur autoportrait, allant de la peinture à l’utilisation de vêtements, en passant par des paysages sonores, des sculptures et des installations dans l’espace de la galerie. Une fois les autoportraits terminés, quatre élèves ont organisé l’espace de la galerie d’art locale. Tous les projets ont été exposés à la communauté pendant quelques semaines. La Figure 1 montre l’autoportrait d’un élève de 11^e année – une gravure sur bois de son visage, transférée sur acétate, puis projetée sur le mur de la galerie.

Encouragé par cette interprétation simple, mais austère de lui-même, Simon² a créé une image motivée par son cheminement dans les compositions artistiques. Son intérêt pour le signe est devenu apparent lorsqu’il a affirmé souhaiter : « [to] use a projector to symbolize how people see [you] (how you project yourself onto others) and how you allow others to see you³ » (déclaration d’artiste de Simon, janvier 2019). Kress (1997) précise que la production de signe est critériée et que, en tant que telle, elle marque une partie de soi ; c’est pour cela que Simon a placé la projectionau cœur de son autoportrait. Pour certain·e·s, son visage projeté semblait heureux; pour d’autres, il semblait triste. Le second critère du signe motivé de Simon concerne la production d’une œuvre d’art qui peut s’intégrer dans n’importe quelle pièce. De plus, il y a une dimension relationnelle à ce critère, puisque cette idée lui a été partagée par son enseignant d’art. Dans l’espace de la galerie, son image frappait par sa simplicité austère.

Modes et temporalités

Puisque les signes sont motivés et se concrétisent à travers des subjectivités qui peuvent être émotionnelles, culturelles, voire physiologiques, leur conception s’appuie parfois sur ce que Lemke (2000b) nomme les temporalités (timescales). Lorsque les signes ou objets sémiotiques sont davantage liés à des objets ou artéfacts auxquels les gens accordent de l’importance, selon Lemke, ils peuvent s’inscrire dans une plus grande temporalité pour les producteur·rice·s de sens. Pour ces dernier·ère·s, ces signes ou objets peuvent leur être plus familiers ou avoir été dans leur environnement depuis l’enfance. Prenons l’exemple d’une personne qui dessine depuis sa plus tendre enfance jusqu’à devenir un jour illustratrice : les images et la création d’images occuperont pour elle une temporalité plus longue que chez d’autres personnes. En revanche, la période sera plus courte pour la personne qui vient tout juste d’apprendre à jouer de la guitare, puisqu’elle aura passé peu de temps avec celle-ci. Lemke soutient que le potentiel sémiotique d’un artéfact est lié à sa temporalité. En d’autres termes, une personne accordera plus d’agentivité et d’importance aux objets qui couvrent une plus longue période dans sa vie. Pour reprendre l’exemple de la guitare : vous avez joué de la guitare durant plusieurs années. Par conséquent, la guitare possède plus d’importance et d’agentivité pour vous, de même qu’un plus grand potentiel sémiotique. En associant des objets à des périodes, des liens entre les échelles locale et globale peuvent se former. Des histoires peuvent même émerger de ces liens. En guise d’exemple, cela peut expliquer pourquoi un enfant aurait besoin de broder des perles sur une carte pour décrire le pays d’origine de sa mère. Cet enfant n’a peut-être pas le langage approprié pour parler du lieu de naissance de sa mère, mais il peut utiliser les ressources dans son environnement pour montrer la forme du pays, voire employer un autre signifiant qui possède une plus grande temporalité pour lui.

Lorsqu’il est question de temporalités, je me souviens d’un jeune avec qui j’ai travaillé pendant deux ans. Cole, qui avait 13-15 ans lorsque je l’ai connu, passait beaucoup de temps à créer des choses dans Minecraft. Dans le cadre d’une étude financée à l’interne sur les pratiques d’apprentissage autodidactes, j’ai observé Cole créer des mondes dans Minecraft et j’ai eu de longues conversations avec lui sur la manière qu’il les créait. Je me souviens en particulier d’une conversation à propos d’un monde médiéval qu’il avait créé à partir des informations qu’il avait habilement trouvées sur Internet, de la vie médiévale aux systèmes météorologiques, des outils jusqu’aux matériaux de construction utilisés. Mon équipe de recherche et moi-même avons surtout été fasciné·e·s par le temps que Cole passait (Rowsell et al., 2017) à jouer et créer dans Minecraft, un temps qui représentait une grande temporalité pour lui dans la production de sens. Le potentiel sémiotique de ses créations dans Minecraft a occupé une place prépondérante dans notre étude. Selon Lemke, les mondes matériels sont organisés selon différentes échelles, telles que l’espace, le temps, la matière, l’énergie et l’information. Le temps passé avec la matière et investi dans celle-ci est substantiel et essentiel dans la manière dont nous donnons du sens aux signes. Plus nous restons longtemps plongé·e·s dans un monde matériel, plus notre apprentissage et notre compréhension s’approfondissent. Pour Cole, son long investissement dans Minecraft se traduit en une compréhension riche et panachée non seulement de la création dans ce jeu, mais aussi des potentiels modaux de la matérialité dans les mondes virtuels. Ceci fait écho aux travaux de Lemke sur les temporalités, et il serait important que les enseignant·e·s de Cole prennent connaissance de sa passion pour Minecraft et de ses habitudes à rassembler des informations pendant qu’il y crée. L’enjeu, c’est que Cole a de la difficulté à lire à l’école ; pourtant, il lit avec voracité quand il joue à Minecraft. Pourtant, il semble logique de penser qu’il soit un lecteur, puisqu’il lit beaucoup en ligne. En soutenant et en renforçant son intérêt pour Minecraft (et par conséquent sa grande temporalité), il sera possible d’améliorer ses habitudes de lecture à l’école (Rowsell et al., 2017).

Les effets multiplicatifs de la multimodalité

Étant donné que chaque modalité possède ses propres affordances (par exemple, un texte ne peut pas produire exactement le même réseau de sens qu’une image et vice-versa), la combinaison de modes aboutit à de nouveaux sens améliorés, lesquels sont plus profonds et complexes que ceux véhiculés uniquement par le texte ou l’image. Ceci représente les effets multiplicatifs de la multimodalité ; plus les modalités sont combinées, plus le sens possible s’élargit et s’enrichit (Lemke, 2002). Une image peut être combinée à un texte qui, à son tour, peut être intégré à de la musique ou du son. Chaque modalité ajoutée apporte de la profondeur, et les combinaisons peuvent prendre des formes superposées avancées. Les textes numériques illustrent très bien les effets multiplicatifs des modes, puisque plusieurs modes sont généralement impliqués dans la création des environnements numériques.

Il existe diverses combinaisons de modes qui modifient le sens des textes. Plus précisément, il arrive que des modes existent en tant qu’unités de sens séparées des textes, mais des liens demeurent entre les modes. Par exemple, dans les films, le son ou la musique peuvent exister en tant que modes distincts parallèlement aux images. Dans The Godfather Part 1, il y a une scène bien connue durant laquelle Al Pacino tire sur Sollozo et McCluskey ; le son est fondamental dans cette scène. En l’analysant, on observe que le suspense augmente au même rythme que le train qui se rapproche progressivement en arrière-plan, et qui devient de plus en plus bruyant jusqu’au meurtre, le crescendo s’arrêtant avec le train qui passe. Cette œuvre intermodale navigue sur les significations et les interprétations du spectateur/lecteur/public. De plus, il existe des concepts intramodaux dans lesquels les modes se combinent pour créer un effet. En guise d’exemple, les créateur·trice·s de mode associent les couleurs aux textures pour créer des effets visuels et esthétiques dans leurs créations. Finalement, il y a les textes transmodaux, dans lesquels une plus grande interdépendance entre les modes existe. La prochaine section porte sur le travail transmodal dans le domaine des littératies multimodales.

Transmodalité

Avant même l’analyse de Lemke (2002) sur les effets multiplicatifs des modes, Siegel (1995) s’est intéressée dès le début de sa carrière aux possibilités génératives lorsqu’il y a un passage d’un mode à un autre (par exemple, de l’écriture au dessin). Elle s’est fortement appuyée sur les cadres interprétatifs sémiotiques pour expliquer comment l’utilisation des signes permet d’élargir le sens, lequel clarifie les règles d’organisation des différents systèmes de signes. L’une de ses plus grandes contributions au domaine a été sa capacité à expliquer et illustrer comment les producteur·trice·s de sens, en particulier les enfants, se déplacent dans au moins deux systèmes de signes (par exemple, des mots aux images, puis aux gestes) et, surtout, comment les producteur·trice·s de sens imaginent des relations entre les modes qui enrichissent leur compréhension. Siegel soutient que les enfants utilisent plus pleinement ces potentiels génératifs lors de leurs premiers jeux, puisqu’il·elle·s passent plus facilement d’un mode à l’autre, jusqu’à ce qu’il·elle·s apprennent à travailler à l’intérieur de modes les plus valorisés, tels que l’imprimé. Elle établit un lien entre le potentiel de transmédiation, ou de mouvement intermodal, et le virage, sur la scène éducationnelle, vers des modèles d’apprentissage formels axés sur la recherche plutôt que sur la transmission. En complexifiant et en nuançant la production de sens de cette façon, elle a démontré comment les jeunes enfants représentent l’agentivité dans leurs apprentissages. La transmodalité fonctionne selon une logique d’entrecroisement des modes pour créer une composition multimodale. Comme le théorise Lemke, les modes ont des potentiels multiplicatifs dans les textes, et les genres médiatiques convergents peuvent être l’une des meilleures illustrations de cette tendance.

Pour un exemple tiré des médias, je me tourne vers TikTok avec les captures d’écran d’une série de vidéos. En tant qu’écologie médiatique convergente, TikTok repose sur une logique transmodale : une personne crée une vidéo TikTok d’une durée de 15-20 secondes qui sera visionnée et à laquelle les gens répondent en boucle. Pour un·e spectateur·rice, l’utilisation de TikTok implique de prendre en compte : le contenu lui-même ; les filtres et les fonctionnalités de la vidéo ; les mots-clics ; et les réponses. Toutes ces pratiques et propriétés fusionnent les modes de manière fluide et tacite. La Figure 3 montre une série de vidéos TikTok du compte « The Chinfluencers », qui est une vidéo TikTok récurrente dans laquelle un chinchilla effectue des actions ridicules ou inhabituelles, comme de tenir un signe, tel un mème de pancartes ou d’écriteaux que les gens brandissent pour toutes sortes de raisons. The Chinfluencers commence par tenir une pancarte, puis les instructions du Monopoly, puis la série devient de plus en plus absurde et aléatoire, avec le chinchilla qui tient une épingle à cheveux et une rondelle. La transmodalité fonctionne dans cet exemple grâce aux artéfacts et objets tenus par le chinchilla, aux mentions « j’aime » des fans du chinchilla et à la musique de fond. C’est seulement l’étrange assemblage de ces modes en une composition transmodale qui rend la vidéo drôle et originale. Le processus de la recréation transmodale exige une gestion simultanée de plusieurs caractéristiques sémiotiques. Il ne s’agit pas de substituer une chose à une autre. Il s’agit plutôt d’une négociation entre les modes primaire et secondaire, ou entre des modes qui possèdent le même potentiel de production de sens. L’interprétation inclut la reconnaissance et l’analyse des ingrédients sémiotiques et de la manière dont ils sont réunis en un tout cohérent dans un texte. Dans la Figure 3, il s’agit de reconnaitre la mimésis des autres textes sur les pancartes, puis le ridicule du chinchilla qui tient un écriteau, les instructions du Monopoly et une rondelle. Le visuel proprement dit est combiné à un ensemble de réponses et de mots-clics, complétés par les sons et les filtres. Il s’agit d’une accumulation de sens qui convergent et s’assemblent en une composition transmodale.

Synesthésie

La synesthésie joue sur le potentiel sensoriel des modes pour s’adresser aux spectateur·trice·s. Elle est un croisement de modes : par exemple, il peut s’agir de voir une couleur en écoutant de la musique. D’une manière générale, considérer la synesthésie au sein de la création multimodale de sens permet à la personne interprétante/spectatrice/lectrice de faire l’expérience de textes à un niveau non figuratif et incarné (Leander et Boldt, 2013). Les synesthètes peuvent percevoir que les lettres ou les chiffres ont des couleurs, que les formes ont un goût ou que les sons ont des textures. Howes (2006) considère cette condition comme un modèle plus efficace pour conceptualiser les modalités sensorielles, puisqu’il fournit une approche combinée et unifiée. Selon cette perspective, nous pouvons joindre les sons et les couleurs lorsque nous tentons de comprendre ce qu’est le soubresaut jaune d’un brusque claquement des mains. Un·e enfant combine le goût et la couleur pour décrire qu’un bonbon précis goûte bleu. En outre, les pratiques culturelles et les technologies peuvent produire différents modes combinés en fonction de ce qui peut être valorisé dans des cultures ou périodes historiques données. Par exemple, la synesthésie graphème-couleur peut être plus fréquente dans les cultures occidentales traditionnelles, puisque les arts visuels/la littératie y sont hautement mis en valeur. Dans les littératies multimodales, on s’efforce de jouer avec la synesthésie afin que les enfants, les jeunes adultes et les adultes puissent penser les propriétés sensorielles des modes et pour qu’il·elle·s puissent développer une conscience critique sur celles-ci.

En 2022, Steve Pool, Yun Sun, une étudiante en recherche au premier cycle, et moi-même avons mené une étude intitulée We Are Our Stories. Elle portait sur les récits de la COVID-19 d’élèves du primaire et du secondaire. Nous avons demandé aux élèves qui fréquentent la Bristol Academy, qui est à la fois une école primaire et une école secondaire, de nous faire part d’une histoire liée à la pandémie et de la représenter à l’aide d’une composition multimodale. Dans cette école, la plupart des élèves s’identifient comme neurodivergents (Bailey, 2021) ; en quelques jours à peine, durant leurs pratiques de composition et leurs apprentissages, il est devenu évident pour nous que les sens ont une nature palpable et façonnable et qu’ils peuvent être incarnés. Nous entendons par là que les enfants et les adolescent·e·s se sont fortement appuyé·e·s sur leurs sens pour dessiner des images, pour bouger avec des tissus et pour raconter des histoires. La Figure 4 montre les images avec lesquelles Steve a planifié une activité avec les élèves de 10^e année. Ces dernier·ère·s ont rempli les longues feuilles de papier noir avec des images aléatoires qui leur rappelaient les confinements de la COVID-19. De cette façon, les élèves ont raconté collectivement une histoire. Cette histoire visuelle était guidée par les sensations ressenties sur le moment – ce que les élèves se souvenaient et avaient vu, ressenti et entendu. Le produit final a donné un puissant collage, et nous avons pris du recul pour l’admirer. Techniquement, la synesthésie est « a transduction and transformation, that much of what we regard as ‘creativity’ happens⁴ » (Kress, 2003, p. 36). Kress a souligné que la synesthésie est individuelle et agentivante en raison de sa capacité à transformer les sens (une odeur devient une couleur), par opposition à l’acquisition ou au développement de compétences (Kress, 1997, 2003). Cette étude était bien inscrite dans le royaume du ressenti et des sensations, lequel s’est matérialisé en compositions multimodales. À cette école primaire, certains élèves étaient non-verbaux·ales, d’autres malvoyant·e·s, mais tou·te·s étaient attiré·e·s par ce projet. Il·elle·s pouvaient s’engager dans une myriade de sensations rendues possibles par les matériaux et les modalités non linguistiques, comme les sons et les chansons. Du côté de l’école secondaire, les élèves étaient davantage attiré·e·s par l’écriture et le dessin, et l’imposant collage leur a offert un espace ouvert pour penser de manière expansive aux images des petites histoires qui se sont déroulées avant, pendant et après la pandémie. Il a mis en évidence la synesthésie par les jeux de couleur et la complexité des formes ou des contours.

Densité modale

À partir des potentiels sensoriels des modes, nous pouvons observer un rassemblement de modes qui dégagent une densité et une concentration dans le temps. Dans les situations sociales, les individus sont souvent impliqués dans la construction de plusieurs actions fortes qui sont combinées aux modes. Cette expérience est vécue en tant qu’intensité et densité des éléments de conception in situ. Norris (2009) qualifie cette construction de densité modale, laquelle inclut à la fois l’intensité et la complexité des modes que les individus développent lors de fortes interactions sociales. La densité modale est liée au niveau d’attention et de conscience accordé par l’individu qui effectue les actions et elle ne peut être séparée de son esprit conscient ou de ses actions. En guise d’exemple, un·e adolescent·e peut être en train de texter un·e ami·e tout en participant à un rassemblement familial. Dans cette situation, l’adolescent·e pourrait mobiliser une densité modale élevée liée à l’échange de textos (c.-à-d., la manipulation d’objets, le regard, le langage) ainsi qu’une densité modale moyenne liée à la conversation (c.-à-d., la posture, le langage, les gestes). Une plus grande attention est accordée au texto qu’à la conversation, bien que les deux se déroulent simultanément. Cette attention n’est pas figée, et le niveau d’attention dédié peut varier tout au long de l’interaction. À tout moment, l’adolescent·e peut déplacer son attention pour se concentrer sur la conversation en personne, plutôt que sur celle par textos. Par conséquent, la densité modale est configurée par l’examen des actions simultanées qui surviennent dans les interactions sociales. Il est important de reconnaitre la densité modale en travaillant avec les élèves pour déterminer la complexité de certaines pratiques de littératie qui sont moins visibles à l’école et également lorsqu’il y a une attention soutenue lors d’actions modalement denses. Ces types de situations quotidiennes suggèrent des compétences qui peuvent ne pas être présentes dans le paradigme scolaire, mais qui sont sophistiquées, complexes et qui devraient être abordées plus formellement.

Je prends un exemple de densité modale dans la recherche mentionnée plus tôt, Face Value. Melanie a conçu et élaboré une installation qui occupait la même galerie que la projection sur acétate de Simon (Figure 5). Durant le projet, Melanie était fascinée par les cartes de tarot, leurs traditions, leurs légendes et ce qu’elles signifient. Melanie ne voulait pas seulement s’inspirer d’une carte de tarot – le Trois d’Épée –, elle voulait aussi que les spectateur·trice·s interagissent réellement avec son concept, à la fois socialement et matériellement. Ainsi, les spectateur·rice·s n’avaient pas une attitude passive en regardant et appréciant son installation ; il·elle·s étaient invité·e·s à interagir avec elle. Je peux l’affirmer, car j’ai moi-même interagi avec la sculpture et touché l’épée. L’installation comprend deux épées croisées, lesquelles sont près d’une épée plongée dans le cœur d’une personne (un portrait de Melanie). C’est une épée qui peut être retirée de l’installation et avec laquelle nous pouvons interagir. La sculpture intègre ainsi la couleur aux dimensions, le poids (du pommeau de l’épée) aux gestes, dans un style illustratif. Dans ses propres mots, Melanie précise : « the third and final sword that goes directly through the centre of my ‘heart’ I was also inspired by the terms, ‘bleeding heart’, ‘wearing your heart on your sleeve’, and ‘soft-hearted’. I am an emotional person, who has an overabundance of empathy and sympathy for others.⁵ » (déclaration d’artiste de Melanie, janvier 2019) Elle a aussi décrit dans les moindres détails la conception de son projet : « I used acrylic paint, embroidery thread, painted hot glue, and cardboard for the base painting, cardboard, acrylic paint, and hot glue for the swords glued to the canvas, and finally I used plastic, cardboard, hot glue, aluminium foil tape, masking tape, painted hot glue, and acrylic paint for the removable sword.⁶ » (déclaration d’artiste de Melanie, janvier 2019) L’œuvre d’art était accompagnée d’instructions pour les spectateur·trice·s. C’était l’un des autoportraits les plus dynamiques et incarnés de la galerie.

Réinventer les futures tendances en sémiotique

Attardons-nous maintenant sur comment ces termes invitent à réinventer les futurs de la sémiotique. Cette brève section jette un regard sur des mouvements contemporains en plein essor pour pénétrer dans les nouveaux chapitres de la multimodalité. La compréhension des futurs de la multimodalité doit s’ancrer à la fois dans les mondes en ligne et hors ligne (sans thèses dichotomiques) et prendre en compte les affordances et les modalités (comme les modes visuels ou auditifs). De plus, la compréhension et l’application des futurs en littératie multimodale doivent explorer plus finement la complexité des modes qui se combinent en des moments, évènements et représentations de littératie multimodale. Dans la dernière décennie, les chercheur·se·s en multimodalité ont élargi leurs champs d’expertise pour les combiner à celles d’autres domaines connexes.

La multimodalité et les mondes immersifs

Le développement des travaux sur les mondes numériques encourage la production de recherche sur comment, pourquoi, quand et avec qui les personnes investissent les mondes virtuels. Dans la recherche sur les mondes immersifs, les travaux de Gee (2006) occupent une place importante : il y souligne la force des jeux vidéos pour promouvoir de nouvelles pratiques en littératie. En études du jeu, beaucoup de travaux interrogent de vastes sujets qui sont profondément multimodaux, de la convergence du jeu de rôle et de l’identité aux hypothèses genrées sur les pratiques de jeu. Les chercheur·se·s développent des méthodologies différentes pour mener leurs micro-analyses sur des segments vidéos qui ralentissent le passage du temps et renforcent l’effet d’incarnation dans les mondes virtuels.

Littératie multimodale, émotions et incarnation

La recherche émergente explore le rôle que jouent les émotions et l’incarnation dans le développement de l’identité. Les travaux de Lewis et Tierney (2013) proposent l’émotion comme action : comment est-elle médiatisée par le langage et comment le langage, à son tour, peut-il mobiliser des émotions dans des contextes d’école secondaire ethniquement et racialement variés ? Ils explorent aussi les affordances et contraintes impliquées dans le développement de l’identité, puisqu’elle est liée aux émotions et qu’elle est incarnée. De plus, Leander et Boldt (2013) explorent l’identité des jeunes en examinant les activités de littératie multimodale émotionnellement saturée. À partir de la physicalité de l’incarnation, ces chercheur·se·s tirent parti d’une perspective selon laquelle le corps humain non seulement produit des signes, mais fonctionne aussi comme un système de signes. Puisque les émotions sont étroitement liées à l’humanité et aux notions de ce que signifie être humain·e, le rôle qu’elle joue dans la formation de l’identité et de la transformation des signes peut être crucial. La littératie multimodale en tant que champ d’enquête s’est plutôt déplacée dans une direction phénoménologique, en ce qu’elle examine l’essence de l’expérience multimodale. Dans l’article de Leander et Boldt, par exemple, les auteur·rice·s consignent soigneusement les détails de quelques heures dans la vie de Lee, un élève d’école intermédiaire, tandis qu’il est à la maison avec un ami. Leander et Boldt théorisent à partir de leurs descriptions sur les jeux numériques, les mouvements physiques, les gestes, les dessins, les compositions, et encore plus de mouvement… En d’autres mots, la production de sens chez Lee est très « corporelle » et se développe à partir d’émotions, de matérialités et de périodes différentes.

Le tournant multimodal et matérialiste

Une œuvre qui étudie de près les matériaux et artéfacts consultés et utilisés comme ressources durant la production de sens peut être envisagée comme ayant une vie et une présence par elle-même. En d’autres mots, les matériaux sont enchevêtrés à l’espèce humaine, et les activités comme les pratiques qui se déroulent sont intra-actives. De plus en plus de chercheur·se·s adoptent une perspective post-humaine matérialiste sur la production de sens multimodal, et ce type de travail deviendra de plus en plus important dans les prochaines années.

Conclusion

Dans ce dossier thématique sur la sémiotique, des chercheur·se·s en littératie multimodale et en sémiotique, comme Lacelle, Boutin et Lebrun (2017) relèvent le défi de tisser la toile des changements phénoménaux dans les paysages visuels, multimodaux et sémiotiques, des façons de s’engager de manière critique avec ces derniers et de les incorporer à tous les niveaux en éducation. Iels citent Bernard Darras (2020) et le défi qu’il lance aux chercheur·se·s et universitaires de prendre au sérieux la notion de regard (gaze), et de se demander plus précisément quel regard enseignera aux prochaines générations : celui des historien·ne·s, des littéraires, des linguistes ou des artistes ?

Pendant de nombreuses années, je me suis prononcée en faveur d’une écoute des professionnel·le·s intersectionnel·le·s sur le design, la sémiose et la multimodalité, observant comment ces personnes mettent en place ces pratiques dans leur quotidien et comment elles intègrent leur sagesse et expérience considérables dans notre pédagogie multimodale (Rowsell, 2013 ; 2017). Plusieurs autres chercheur·se·s prônent désormais la fusion des connaissances linguistiques, de la théorie du design, des perspectives sémiotiques et graphiques sur l’apprentissage et l’enseignement de la littératie. Ce qui est clair, c’est que nous ne pouvons pas rester cloisonné·e·s, la sémiotique dans un département d’une université et la linguistique dans un autre. Il faut jumeler les départements de sciences sociales et de sciences humaines et, plus simplement, créer un espace d’écoute transdisciplinaire pour évoluer et réinventer les futurs. Les questions au cœur de ce numéro consacré à la sémiotique se rapprochent de ce qu’il faut faire pour véritablement réinventer la pédagogie. Par exemple, comment pouvons-nous aider les apprenant·e·s à mieux identifier les filtres socioculturels et émotionnels qui motivent leurs relations avec les textes numériques, les images fixes ou animées, les plateformes socionumériques ainsi que les réseaux qui entourent les pratiques médiatiques et éducatives ? C’est ici que se trouve l’élément central dont ont besoin les personnes apprenantes d’aujourd’hui.

L’une des facettes les plus importantes de la littératie multimodale, en tant que perspective de recherche et de pratique, c’est sa capacité à découvrir des aspects inédits de l’identité et de l’épistémologie. Parfois, dans des contextes formels comme l’école, certains aspects de l’identité restent à l’abri des regards. Une dernière réflexion que j’aimerais rajouter en terminant, c’est qu’une vision de la multimodalité qui maintient les perspectives critiques, l’équité et la justice sociale au premier plan en est une qui peut potentiellement mener à des changements en éducation. En outre, elle considère que les perspectives multimodales permettent de voir ce qui se passe autrement, en plus de reconnaitre et de valoriser les potentialités des différents modes et compositions modales.