Public employees as a key player in the assessment of technology applied to plain language
Keywords:
Public administration, user-driven evaluation, plain language, natural language processing, assisted writingAbstract
In Spain, several initiatives are being promoted to help public administration employees to write texts addressed to citizens in a clearer way, such as drafting manuals, offering courses or developing technological tools based on natural language processing, a field of artificial intelligence. This paper shows a user-driven evaluation of arText claro, an assisted writing system to help public employees to structure and write legal-administrative texts addressed to citizens in plain language. Specifically, the perception that public employees of the Madrid City Council have of it, as potential users, is evaluated. For this purpose, a survey is designed, which is incorporated into an online course on clear communication aimed at city council staff (in 8 editions between 2023 and 2024). In this course, those enrolled had to do a practical exercise using the system and then, voluntarily, answer the survey. In the end, 26 responses to the survey were obtained, with very positive results. For example, 96.2% of the participants consider the system to be very or quite useful for writing administrative texts and would recommend it to others.
References
Arballo, G. y Maraschio, R. (2024). Cómo entrenar a los operadores judiciales en la redacción de sentencias y resoluciones en lenguaje claro: diez pautas y técnicas efectivas. En A. R. Retegui y F. Bernabé (eds.), Lenguaje claro en Iberoamérica. Principios y prácticas. Thomson Reuters – La Ley Argentina. https://drive.google.com/file/d/1V3LFb3yTQTSiR_jQBU0PaAY60PDDo-eX/view
Barrenetxea, U. (2018, 18 de diciembre). Lista de chequeo para evaluar la calidad comunicativa de los textos electrónicos. IVAP. https://www.ivap.euskadi.eus/entrada-blog/2018/lista-de-chequeo-para-evaluar-la-calidad-comunicativa-de-los-textos-electronicos/webivap00-b2aha/es/
Bayés, M. (2021). Análisis del impacto de una selección de (meta)indicaciones de redacción clara en la percepción de claridad de un documento administrativo: estudio de caso. [Tesis doctoral, Universitat de Barcelona (España)]. Tesis Doctorals en Xarxa. https://www.tdx.cat/handle/10803/672521#page=1
Belz, A. y Reiter, E. (2006). Comparing Automatic and Human Evaluation of NLG Systems. En 11th Conference of the European Chapter of the Association for Computational Linguistics (pp. 313-320). Association for Computational Linguistics. http://www.aclweb.org/anthology-new/E/E06/E06-1040.pdf
Cálamo & Cran. (2023). Guía de lenguaje claro de la Generalitat Valenciana. Por un lenguaje administrativo al servicio de las personas. Generalitat Valenciana. https://gvaoberta.gva.es/documents/7843050/176229651/PLC_Gui%CC%81a+completa_espan%CC%83ol_DEFINITIVO_DEF.pdf/553f540c-9e1a-4d26-84a2-353ab57acff4
Da Cunha, I. (2020a). Una aplicación tecnológica que ayuda a la ciudadanía a escribir textos a la Administración pública. Linguamática, 12(1), 97-115. https://linguamatica.com/index.php/linguamatica/article/view/316/466
Da Cunha, I. (2020b). Una herramienta TIC para la redacción del Trabajo de Fin de Grado (TFG). ELUA: Estudios de Lingüística. Universidad de Alicante, 34, 39-72. https://rua.ua.es/dspace/bitstream/10045/108311/1/ELUA_34_02.pdf
Da Cunha, I. (2022). El sistema arText claro: el primer redactor asistido para el español que ayuda a escribir textos en lenguaje claro. En I. da Cunha (ed.), Lenguaje claro y tecnología en la Administración (pp. 151-188). Comares. https://doi.org/10.55323/edc.2022.38
Da Cunha, I. (2024a). Inteligencia artificial y lenguaje claro en español. En A. R. Retegui y F. Bernabé (eds.), Lenguaje claro en Iberoamérica. Principios y prácticas. Thomson Reuters – La Ley Argentina. https://drive.google.com/file/d/1V3LFb3yTQTSiR_jQBU0PaAY60PDDo-eX/view
Da Cunha, I. (2024b). Lenguaje claro y tecnología: una sinergia beneficiosa para la Administración pública. En G. J. Arenas y M. I. Wences (coords.), Cómo puede alguien cumplir una ley que nadie entiende. Estudios interdisciplinarios sobre lenguaje claro y cultura de la legalidad (pp. 91-108). Marcial Pons.
Derecho en Zapatillas. (2024, 16 de abril). Un sistema para testear la claridad de un documento judicial. https://www.derechoenzapatillas.com/2024/un-sistema-para-testear-la-claridad-de-un-documento-judicial/#google_vignette
Díaz de Rada, V. (2022). Strategies to improve response rates to online surveys. Papers, 107(4), 1-27. https://doi.org/10.5565/rev/papers.3073
Federación Internacional de Lenguaje Claro. (s.f.). Plain Language definitions. https://www.iplfederation.org/plain-language/
Fernández-Silva, S. y Núñez, J. A. (2024, en prensa). Exploring the effect of plain terminology on processing and comprehension of administrative texts in Spanish: a self-paced reading experiment, International Journal of Applied linguistics.
Gobierno de Aragón. (2020a). Manual de estilo de lenguaje claro. Criterios para la redacción de textos claros en internet. Gobierno de Aragón. https://www.aragon.es/documents/20127/6649155/Manual+de+estilo+de+lenguaje+claro.PDF
Gobierno de Aragón. (2020b). Guía de buenas prácticas de Comunicación Clara. Aplicación a los contenidos web del Gobierno de Aragón. Gobierno de Aragón. https://www.aragon.es/documents/20127/6649155/Guia+de+buenas+pr%C3%A1cticas+de+comunicaci%C3%B3n+clara.PDF
Gobierno de Chile. (2020). Guía de Lenguaje Claro: ¿Cómo podemos generar una comunicación simple, clara y efectiva entre el Estado y la ciudadanía? Laboratorio de Gobierno, Ministerio Secretaría General de la Presidencia, Gobierno de Chile. https://www.lab.gob.cl/guia-pi-2
Gobierno de Colombia. (2015). Guía de lenguaje claro para servidores públicos de Colombia. Departamento Nacional de Planeación de Colombia. https://www.portaltributariodecolombia.com/wp-content/uploads/2015/07/portaltributariodecolombia_guia-de-lenguaje-claro-para-servidores-publicos.pdf
Gobierno de México. (2007). Lenguaje claro. Manual. Secretaría de la Función Pública, Gobierno de México. https://www.gob.mx/cultura/documentos/manual-lenguaje-claro-sfp
Gobierno de la Ciudad de Buenos Aires. (2023). Manual de Lenguaje Claro. Secretaría Legal y Técnica, Gobierno de la Ciudad Autónoma de Buenos Aires. https://buenosaires.gob.ar/sites/default/files/2023-10/Manual%20Lenguaje%20Claro%202023.pdf
Gómez Belart, N., Colella, V. M. y Azzaro, V. M. (2023). Programa de Lenguaje Claro: la experiencia de la Secretaría Legal y Técnica 2020-2023. Gobierno de la Ciudad de Buenos Aires. https://gcba.github.io/programadelenguajeclaro/Programa.pdf
ISO. (2023). Plain Language. Part 1: Governing principles and guidelines (ISO 24495-1). https://www.iso.org/standard/78907.html
Marazzato, R. (2024). El lenguaje claro como producto y proceso en las prácticas de comunicación del siglo XXI. En A. R. Retegui y F. Bernabé (eds.), Lenguaje claro en Iberoamérica. Principios y prácticas. Thomson Reuters – La Ley Argentina. https://drive.google.com/file/d/1V3LFb3yTQTSiR_jQBU0PaAY60PDDo-eX/view
Meza, P., González-Catalán, F., González, I. y Turull, M. (2022). Un instrumento para evaluar la escritura clara en el ámbito jurídico. Revista Pedagogía Universitaria Y Didáctica Del Derecho, 9(2). https://doi.org/10.5354/0719-5885.2022.66990
Ministerio de la Presidencia, Justicia y Relaciones con las Cortes. (2024, 23 de enero). El Gobierno aprueba el Proyecto de Ley Orgánica del Derecho de Defensa. https://www.mpr.gob.es/prencom/notas/Paginas/2024/230124-bolanos-ley-derecho-defensa.aspx
Montolío, E. y García Asensio, M. Á. (2023). Guía de redacción judicial clara. El derecho de la ciudadanía a entender: claves para redactar documentos judiciales eficaces. Ministerio de Justicia. https://www.mjusticia.gob.es/es/AreaTematica/DocumentacionPublicaciones/InstListDownload/Gu%C3%ADa%20redacci%C3%B3n%20judicial%20clara.pdf
Montolío, E. y Tascón, M. (Dirs.) (2017). Guía Práctica Comunicación Clara. Ayuntamiento de Madrid. https://www.madrid.es/UnidadesDescentralizadas/Calidad/LenguajeClaro/ComunicacionClara/Documentos/GuiaPracticaCClara.pdf
Montolío, E. y Tascón, M. (2020). El derecho a entender. La comunicación clara, la mejor defensa de la ciudadanía. Prodigioso Volcán y Catarata.
Núñez, J. A. y Da Cunha, I. (2022). Impacto del uso arText claro en la comprensión lectora y en la percepción de claridad de textos administrativos por parte de estudiantes universitarios. En I. da Cunha (ed.), Lenguaje claro y tecnología en la Administración (pp. 189-212). Comares. https://doi.org/10.55323/edc.2022.38
Patterson, J. (2023). The “why” behind the “what”: NLP research vs. its real-world applications. Johns Jopkins Whiting School of Engeneering, Department of Computer Science. https://www.cs.jhu.edu/news/the-why-behind-the-what/
Pistola, S. y Da Cunha, I. (2023). Escritura de géneros textuales administrativos en el contexto académico y profesional español. Íkala, Revista De Lenguaje Y Cultura, 28(3), 1-30. https://doi.org/10.17533/udea.ikala.348531
Pistola, S. y Viñuales-Ferreiro, S. (2023). La escritura de textos administrativos mediante el uso de las TIC: una propuesta de Trabajo de Fin de Grado. En C. Hervás-Gómez, P. Román, J. García y C. Argüello (coords.), Conexiones digitales: las tecnologías como puentes de aprendizaje (pp. 750-778). Dykinson. https://www.dykinson.com/libros/conexiones-digitales-las-tecnologias-como-puentes-de-aprendizaje/9788411705356/
Poblete, C. y Yepes, P. (2023). Propuesta de un instrumento para medir la claridad de los textos jurídico-administrativos. En Crónica de la lengua española 2022-2023 (pp. 629-639). Real Academia Española y Asociación de Academias de la Lengua Española.
Red de Lenguaje Claro Chile. (2019). Escribir para actuar. Lista de verificación para un lenguaje claro y simple. http://www.lenguajeclarochile.cl/wp-content/uploads/2019/10/Lista-de-Verificacio%CC%81n-para-un-Lenguaje-Claro-y-Simple.pdf
Red de Lenguaje Claro Chile. (2021). ¿Qué tan claro es mi documento? http://www.lenguajeclarochile.cl/wp-content/uploads/2019/10/Ficha-Sin-Venetana-FINAL.pdf
Reiter, E. y Belz, A. (2009). An investigation into the validity of some metrics for automatically evaluating natural language generation systems. Computational Linguistics, 35(4), 529-558. https://doi.org/10.1162/coli.2009.35.4.35405
Schuff, H., Vanderlyn, L., Adel, H. y Thang Vu, N. (2023). How to do human evaluation: A brief introduction to user studies in NLP. Natural Language Engineering, 19, 1199-1222. https://doi.org/10.1017/S1351324922000535
Torrijos, C. y Oquendo, S. (2021). ¡Hola! Soy clara y mido la claridad de tu texto. Archiletras Científica, 6(1), 119-133.
UNE. (2021). Lectura Fácil. Pautas y recomendaciones para la elaboración de documentos (UNE 153101:2018 EX).
UNE. (2024). Lenguaje claro. Parte 1: Principios rectores y directrices (UNE-ISO 24495-1). https://www.une.org/encuentra-tunorma/busca-tu-norma/norma?c=N0072523
Van der Lee, C., Gatt, A., Van Miltenburg, E. y Krahmer, E. (2021). Human evaluation of automatically generated text: Current trends and best practice guidelines. Computer Speech & Language, 67, 101-151. https://doi.org/10.1016/j.csl.2020.101151
Yepes, P. (2023). El proceso comprensivo del receptor en el lenguaje claro. [Tesis doctoral]. Universidad EAFIT (Colombia)
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Sara Pistola , Iria Da Cunha
This work is licensed under a Creative Commons Attribution 4.0 International License.
Los autores que publican en esta revista están de acuerdo con los siguientes términos:- Los autores conservan los derechos de autor y garantizan a la revista el derecho de ser la primera publicación del trabajo al igual que licenciado bajo una Creative Commons Attribution License que permite a otros compartir el trabajo con un reconocimiento de la autoría del trabajo y la publicación inicial en esta revista.
- Los autores pueden establecer por separado acuerdos adicionales para la distribución no exclusiva de la versión de la obra publicada en la revista (por ejemplo, situarlo en un repositorio institucional o publicarlo en un libro), con un reconocimiento de su publicación inicial en esta revista.
- Se permite y se anima a los autores a difundir sus trabajos electrónicamente (por ejemplo, en repositorios institucionales o en su propio sitio web) una vez publicado en la plataforma de Sphera Publica, ya que puede dar lugar a intercambios productivos, así como a una citación más temprana y mayor de los trabajos publicados
