Can Large Language Models Support Critical Discourse Analysis? A Pilot Experiment

This article presents a pilot experiment that explores the use of Large Language Models (LLMs) in the context of Critical Discourse Analysis (CDA). The study investigates the extent to which two LLMs can reproduce ideologically oriented discourse analyses. The proposed approach involves constructing a consensus-based gold standard from the annotations of three human raters, which was then used to evaluate the agreement between the automated analysis performed by the models and the human annotations. The case study examines a corpus of thirty opinion articles from ideologically diverse newspapers to investigate how the October 7 attack was portrayed in the media. The results indicate that LLMs perform well, particularly with respect to macro- and superstructural features, but struggle with microstructural phenomena such as euphemism detection, underscoring their potential role as supporting tools rather than substitutes for human analysis.

Questo articolo presenta un esperimento pilota che esplora l’uso dei modelli linguistici di grandi dimensioni (Large Language Models, LLMs) nel contesto dell’Analisi Critica del Discorso (Critical Discourse Analysis, CDA). Lo studio indaga fino a che punto due LLM possano riprodurre analisi del discorso orientate ideologicamente. L’approccio proposto prevede la costruzione di uno standard di riferimento basato sul consenso, ottenuto dalle annotazioni di tre valutatori umani, che è stato poi utilizzato per valutare il grado di allineamento tra l’analisi automatica prodotta dai modelli e le annotazioni umane. Il caso di studio esamina un corpus di trenta articoli d’opinione provenienti da giornali ideologicamente diversi, per indagare come l’attacco del 7 ottobre sia stato rappresentato dai media. I risultati indicano che gli LLM si comportano bene, in particolare rispetto alle caratteristiche macro- e superstrutturali, ma possono avere difficoltà con fenomeni microstrutturali come il rilevamento dell’eufemismo, evidenziando così il loro potenziale ruolo come strumenti di supporto piuttosto che come sostituti dell’analisi umana.