Patterns of lexical resources use at different proficiency levels:
retrieval of input material information in a reading and writing Celpe-Bras task
DOI:
https://doi.org/10.26512/rhla.v24i2.56513Keywords:
Celpe-Bras Exam, Corpus Linguistics, Proficiency Assessment, Integrated Skills Assessment, Reading and Writing AssessmentAbstract
This study aims to investigate the relationship between the input material of a reading and writing task from the 2015/2 edition of the Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) and the lexical resources used by test-takers rated at different proficiency levels. The corpus consists of 2,268 texts divided into five subcorpora according to their final scores, ranging from 1 to 5. The software used for the analysis was Sketch Engine, an online suite of tools with highly flexible functions for corpus handling (Kunilovskaya; Koviazina, 2017). Using the N-Grams tool, sequences of six lexical items recurring in the texts of each subcorpus were extracted and compared with the input material to verify the presence of copying. The results indicate an increase in the number of n-grams as scores decrease, suggesting that, although copying occurs at all proficiency levels, lower proficiency correlates with a greater reliance on exact copying of information from the input material without adequate integration into the new production context, corroborating the findings of Sirianni (2016) and Mendel (2019).
Downloads
References
BAKHTIN, M. M. Estética da criação verbal. São Paulo: Martins Fontes, 2003.
BARKER, F.; SALAMOURA, A.; SAVILLE, N. Learner corpora and language testing. In: GRANGER, S.; GILQUIN, G.; MEUNIER, F. (Ed.). The Cambridge handbook of learner corpus research. Cambridge: Cambridge University, 2015. p. 511–534.
BIBER, D. Corpus-Based and Corpus-driven Analyses of Language Variation and Use. In: HEINE, B.; NARROG, H. (Ed.). The Oxford Handbook of Linguistic Analysis. Oxford: Oxford Academic, 2012. p. 159-192.
BRASIL. Instituto Nacional de Estudos e Pesquisas Anísio Teixeira. Documento-base do exame Celpe-Bras. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2020.
BRASIL. Instituto Nacional de Estudos e Pesquisas Anísio Teixeira. Celpe-Bras – Caderno de questões: parte escrita. Edição 2015/II. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2015. Disponível em: https://www.ufrgs.br/acervocelpebras/wp-content/uploads/2021/12/PARTE-ESCRITA_CELPEBRAS_2015_II_Caderno-de-questoes.pdf. Acesso em: 1 jul. 2025.
CALLIES, M.; GÖTZ, S. Learner corpora in language testing and assessment: Prospects and challenges. In: CALLIES, M.; GÖTZ, S. (Ed.). Learner Corpora in Language Testing and Assessment. Amsterdam: Benjamins, 2015.
CALLIES, M.; DÍEZ-BEDMAR, B.; ZAYTSEVA, E. Using learner corpora for testing and assessing L2 proficiency. In: LECLERCQ, P.; HILTON, H.; EDMONDS, A. (Ed.). Measuring L2 proficiency: Perspectives from SLA. Multilingual Matters, 2014. p. 71-90.
CUSHING, S. T. Corpus linguistics in language testing research. Language Testing, [S.l], v. 34, n. 4, p. 441-449, Sept. 2017. Disponível em: https://doi.org/10.1177/0265532217713044. Acesso em: 15 dez. 2024.
CUSHING, S. T. Corpus Linguistics and Language Testing. In: FULCHER, G.; HARDING, L. (Ed.). The Routledge Handbook of Language Testing. London; New York: Routledge, 2022. p. 545-560.
DELL’ISOLA, R. L. P., PORDEUS, I. R. Os enunciados de tarefas integradas de leitura e escrita do Exame Celpe-Bras. Inventário, Niterói-RJ, p. 65–78, 2021. Disponível em: https://periodicos.ufba.br/index.php/inventario/article/view/27218. Acesso em: 15 dez. 2024.
DIVINO, L. S. Índices lexicais de análise para a caracterização dos níveis intermediário e avançado superior no Exame Celpe-Bras. Orientadora: Juliana Roquele Schoffen. 2021. 68f. Trabalho de Conclusão de Curso (Graduação em Licenciatura em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2021. Disponível em: https://lume.ufrgs.br/handle/10183/235361. Acesso em: 9 jul. 2024.
DIVINO, L. S. Contribuições da linguística de corpus para a definição de níveis de proficiência escrita no exame Celpe‑Bras. 2024. 195f. Dissertação (Mestrado em Letras) –Universidade Federal do Rio Grande do Sul, Porto Alegre, 2024. Disponível em: http://hdl.handle.net/10183/282481. Acesso em: 1 jul. 2025.
DOUGLAS, D. Assessing Languages for Specific Purposes. Cambridge: Cambridge University Press, 2000.
EVERS, A. Processamento de língua natural e níveis de proficiência do português: um estudo de produções textuais do exame Celpe-Bras. 2013. 174f. Dissertação (Mestrado em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2013. Disponível em: https://lume.ufrgs.br/handle/10183/79447. Acesso em: 15 dez. 2024.
GRIES, S. T. Useful statistics for corpus linguistics. In: SÁNCHEZ, A.; ALMELA, M. (Ed.). A mosaic of corpus linguistics: selected approaches. Frankfurt am Main: Peter Lang, 2010. p. 269-291.
HANAUER, I. D. Caracterização dos níveis intermediário e avançado superior do exame Celpe-Bras em produções escritas de examinandos no gênero carta/e-mail: contribuições de uma análise guiada por corpus. 2023. 84f. Trabalho de Conclusão de Curso (Graduação em Licenciatura em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023.
KILGARRIFF, A. et al. The Sketch Engine. In: WILLIAMS, G.; VESSIER, S. (Ed.). Proceedings of the XI EURALEX International Congress. França: Universite de Bretagne-Sud, 2004. p. 105–116. Disponível em: https://www.sketchengine.co.uk/wp-content/uploads/The_Sketch_Engine_2004.pdf. Acesso em: 30 nov. 2023.
KUNILOVSKAYA, M.; KOVIAZINA, M. Sketch engine: A toolbox for linguistic discovery. Journal of Linguistics/Jazykovedný casopis, Alemanha, v. 68, n. 3, p. 503-507, dez. 2017. Disponível em: https://www.researchgate.net/publication/324760982_Sketch_Engine_A_Toolbox_for_Linguistic_Discovery. Acesso em: 01 jul. 2025.
KUNRATH, S. P. Os descritores gerais e a progressão dos níveis de proficiência do Exame Celpe-Bras. 2019. 198f. Tese (Doutorado em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019. Disponível em: https://lume.ufrgs.br/handle/10183/239041. Acesso em: 15 dez. 2024.
MENDEL, K. Proficiência e autoria na avaliação integrada de leitura e escrita do exame Celpe-Bras. 2019. 177f. Dissertação (Mestrado em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019. Disponível em: https://lume.ufrgs.br/handle/10183/217789. Acesso em: 15 dez. 2024.
MENDES, A. et al. The COPLE2 Corpus: a Learner Corpus for Portuguese. Proceedings of LREC 2016, Portorož, Slovenia, p. 3207–3214, May 2016. Disponível em: https://aclanthology.org/L16-1511/. Acesso em: 1 jul. 2025.
PILEGGI, M. G. S. Integração de habilidades: perspectiva histórico-teórica e operacionalização no exame Celpe-Bras. Estudos Linguísticos, São Paulo, v. 46, n. 2, p. 577-592, 2017.
RAUPP, A. M. Características das produções escritas do exame Celpe-Bras na Tarefa 3 de 2016-2: uma pesquisa guiada por corpus. Trabalho de Conclusão de Curso (Graduação em Licenciatura em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2024.
SARDINHA, T. B. Linguística de Corpus: histórico e problemática. DELTA., São Paulo, v. 16, n. 2, p. 323-367, 2000. Disponível em: https://doi.org/10.1590/S0102-44502000000200005. Acesso em: 15 dez. 2024.
SCARAMUCCI, M. V. R. Proficiência em LE: considerações terminológicas e conceituais. Trabalhos em Linguística Aplicada, Campinas-SP, v. 36, n. 1, p. 11-22, 2000. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8639310. Acesso em: 15 dez. 2024.
SCARAMUCCI, M. V. R. A avaliação de habilidades integradas na Parte Escrita do Exame Celpe-Bras. In: ALVAREZ, M. L. O.; GONÇALVES, L. (Org.). O mundo do português e o português no mundo afora: especificidades, implicações e ações. Campinas, SP: Pontes Editores, 2016. p. 391-425.
SCHOFFEN, J. et al. Compilation and tagging of a corpus with Celpe-Bras texts. In: Proceedings of the 16th International Conference on Computational Processing of Portuguese, Santiago de Compostela, Galicia/Spain. Association for Computational Lingustics, 2024. p. 627-632. Disponível em: https://aclanthology.org/2024.propor-1.72.pdf. Acesso em: 1 jul. 2024.
SCHOFFEN, J. et al. CorCel: a Brazilian Portuguese corpus of Celpe-Bras exam written texts. [S.l,; s.n.e.], 2025. No prelo.
SCHOFFEN, J.; DIVINO, L. Contribuição da Linguística de Corpus para a formação de professores de PLA: sugestões a partir da descrição dos níveis de proficiência avaliados em uma tarefa da Parte Escrita do Celpe-Bras. Letras de Hoje, [S. l.], v. 58, n. 1, p. e44904, 2023. DOI: 10.15448/1984-7726.2023.1.44904. Disponível em: https://revistaseletronicas.pucrs.br/fale/article/view/44904. Acesso em: 1 jul. 2025.
SEGAT, G. Estudos sobre Confiabilidade em Exames de Proficiência: o processo de atribuição de notas e a reavaliação na Parte Escrita do Celpe-Bras. 2023. 163f. Dissertação (Mestrado em Linguística Aplicada) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023.
SINCLAIR, J. The computer, the corpus and the theory of language. [S.l, s.n. e.], 1999.
SIRIANNI, G. R. Descrição dos níveis de proficiência em tarefa de leitura e escrita a partir de produções textuais de alunos do curso Preparatório Celpe-Bras. 2016. 76f. Trabalho de Conclusão de Curso (Graduação em Licenciatura em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2016. Disponível em: https://lume.ufrgs.br/handle/10183/157769. Acesso em: 15 dez. 2024.
SOSTRUZNIK, J. L. O uso de conjunções em produções escritas no exame Celpe-Bras: um estudo baseado em corpus. 2013. 76f. Trabalho de Conclusão de Curso (Graduação em Licenciatura em Letras) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023. Disponível em: https://lume.ufrgs.br/handle/10183/270404. Acesso em: 15 dez. 2024.
MENDEL, K.; SCHOFFEN, J. R. Integrated assessment in the Celpe-Bras exam and tasks of reading and writing. BELT - Brazilian English Language Teaching Journal, [S. l.], v. 8, n. 2, p. 148–170, 2017. DOI: 10.15448/2178-3640.2017.2.28568. Disponível em: https://revistaseletronicas.pucrs.br/belt/article/view/28568. Acesso em: 1 jul. 2025.
TOSATTI, N. M. O desempenho de estudantes de países africanos de língua oficial portuguesa no Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras). 2021. 260f. Tese (Doutorado em Linguística Aplicada) – Universidade Federal de Minas Gerais, Belo Horizonte, 2021. Disponível em: https://repositorio.ufmg.br/handle/1843/36528. Acesso em: 15 dez. 2024.
VICENTINI, M. P. As tarefas de compreensão oral para produção escrita no Celpe-Bras: construto e operacionalização. Revista Estudos Linguísticos, São Paulo, v. 48, n. 1, p. 561-580, abr. 2019. Disponível em: https://doi.org/10.21165/el.v48i1.2141. Acesso em: 15 dez. 2024.
VICENTINI, M. P. As dimensões do construto compreensão oral para produção escrita no Exame Celpe-Bras: percepções, processos, estratégias e desempenhos e examinandos. 2022. 241f. Tese (Doutorado em Linguística Aplicada) – Universidade Estadual de Campinas, Campinas-SP, 2022. Disponível em: https://repositorio.unicamp.br/acervo/detalhe/1253389. Acesso em: 1 jul. 2025.
WISNIEWSKI, K. Empirical learner language and the levels of the Common European Framework of Reference. Language Learning, Michigan, v. 67, n. 1, p. 232-253, Jan. 2017. Disponível em: http://dx.doi.org/10.1111/lang.12223. Acesso em: 1 jul. 2025.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Revista Horizontes de Linguistica Aplicada
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Articles published by the Journal Horizontes de Linguística Aplicada are licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
By publishing in Horizontes de Linguística Aplicada, authors agree to the transfer of economic copyright to the journal. Authors retain their moral rights, including the right to be recognized as the creators of the work.
Authors and readers are free to:
Share — copy and redistribute the material in any medium or format
Under the following terms:
- Attribution — You must give appropriate credit , provide a link to the license, and indicate if changes were made . You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
- NonCommercial — You may not use the material for commercial purposes .
- NoDerivatives — If you remix, transform, or build upon the material, you may not distribute the modified material.
- No additional restrictions — You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits.
