Resumo

Em Portugal, existe escassez de instrumentos aferidos para avaliar os programas de proteção da infância. Este estudo analisou as características psicométricas das Escalas de Bem-Estar Infantil (EBI), destinadas à avaliação multidimensional de potenciais situações de maltrato e negligência, em 276 famílias em risco psicossocial. Foram também recolhidas medidas de eficácia, satisfação e sintomatologia parental. A análise fatorial exploratória sugere uma estrutura com três fatores, similar à versão original, com boa consistência interna (α entre 0,82 e 0,86) e bons indicadores de ajustamento (GFI = 0,97, RMSR = 0,06). Relativamente à validade de construto, foram encontradas correlações significativas que correspondiam à expectativa teórica. Os resultados sustentam a aplicabilidade das EBI para a avaliação e tomada de decisão nas medidas de proteção da criança.

Palavras-chave:
análise fatorial; bem-estar infantil; psicometria; serviços de proteção de menores

Abstract

There is a lack of validated instruments to evaluate child protection programs in Portugal. The present study analyzed the psychometric characteristics of the Child Well-Being Scales (CWBS), a multidimensional measure of potential situations of abuse and neglect, in 276 families at psychosocial risk. Measures of parental efficiency, satisfaction and parental symptomatology were also collected. Through exploratory factor analysis, a 3-factor solution, similar to the original version was identified, with high levels of internal consistency (α between 0.82-0.86) and good model fit (GFI = 0.97, RMSR = 0.06). Regarding construct validity, significant correlations were found that were in line with theoretical expectation. Our results support the utility of EBI as a guide to the assessment and decision-making regarding child protection measures.

Abstract

There is a lack of validated instruments to evaluate child protection programs in Portugal. The present study analyzed the psychometric characteristics of the Child Well-Being Scales (CWBS), a multidimensional measure of potential situations of abuse and neglect, in 276 families at psychosocial risk. Measures of parental efficiency, satisfaction and parental symptomatology were also collected. Through exploratory factor analysis, a 3-factor solution, similar to the original version was identified, with high levels of internal consistency (α between 0.82-0.86) and good model fit (GFI = 0.97, RMSR = 0.06). Regarding construct validity, significant correlations were found that were in line with theoretical expectation. Our results support the utility of EBI as a guide to the assessment and decision-making regarding child protection measures.

Keywords:
factorial analysis; child well-being; psychometrics; child protection services

O processo de avaliação e tomada de decisão nos serviços de proteção de menores visa determinar a manutenção de uma criança na família ou a sua retirada para um sistema de acolhimento (James et al., 2019James, A., McLeod, J., Hendy, S., Marks, K., Rusu, D., Nik, S., & Plank, M. J. (2019). Using family network data in child protection services. PLoS ONE, 14(10), e0224554. https://doi.org/10.1371/journal.pone.0224554
https://doi.org/10.1371/journal.pone.022... ; Rodrigues et al., 2015Rodrigues, L., Calheiros, M., & Pereira, C. (2015). The decision of out-of-home placement in residential care after parental neglect: Empirically testing a psychosocial model. Child Abuse and Neglect, 49, 35-49. https://doi.org/10.1016/j.chiabu.2015.03.014
https://doi.org/10.1016/j.chiabu.2015.03... ), consoante a intensidade do maltrato e a gravidade de risco psicossocial familiar. Este processo complexo, ambíguo e que, frequentemente, se reveste de erros e incertezas, é o pilar básico dos modelos de intervenção nos serviços de proteção da infância (Grimaldi-Puyana et al., 2012Grimaldi-Puyana, V., Garrido-Fernández, M., & Jiménez-Morago, J. (2012). Perfiles de riesgo infantil y niveles de intervención con familias usuarias del Sistema Público Servicios Sociales. Anales de Psicología, 28(2), 515-523. https://doi.org/10.6018/analesps.28.2.148751
https://doi.org/10.6018/analesps.28.2.14... ; Ménendez, et al., 2016Ménendez, S. A., Hidalgo, M. V. G., Lorence, B. L., & Pérez, J. P. (2016). Assessing the level of risk of families supported by child and family protection services: Practitioners and mothers as informants. Journal of Social Work, 16(5), 595-609. https://doi.org/10.1177/1468017315583174
https://doi.org/10.1177/1468017315583174... ). Como tal, existe um apelo contínuo à necessidade de mitigação dos falsos positivos ou falsos negativos, para que a avaliação corresponda de forma adequada às necessidades dessas crianças (López et al., 2015López, M., Fluke, J. D., Benbenishty, R., & Knorth, E. J. (2015). Commentary on decision-making and judgments in child maltreatment prevention and response: An overview. Child Abuse and Neglect, 49(1), 1-11. https://doi.org/10.1016/j.chiabu.2015.08.013
https://doi.org/10.1016/j.chiabu.2015.08... ), permitindo intervir corretamente na prevenção e proteção de situações de maltrato infantil.

Assegurar a eficácia dos processos de avaliação e de uma tomada de decisão eficaz é uma condição indispensável para melhorar os serviços de proteção de menores e promover a preservação familiar (Grimaldi et al., 2019Grimaldi, V., Pérez-Padilla, J., Garrido, M. Á., & Lorence, B. (2019). Assessment and decision-making in child protective services: Risk situations kept-at-home versus out-of-home care. Child Indicators Research, 12(5), 1611-1628. https://doi.org/10.1007/s12187-018-9600-1
https://doi.org/10.1007/s12187-018-9600-... ). Todavia, essa avaliação tem sido majoritariamente conduzida com base na observação, na experiência e no consenso clínico dos técnicos que acompanham essas famílias (Ménendez et al., 2016Ménendez, S. A., Hidalgo, M. V. G., Lorence, B. L., & Pérez, J. P. (2016). Assessing the level of risk of families supported by child and family protection services: Practitioners and mothers as informants. Journal of Social Work, 16(5), 595-609. https://doi.org/10.1177/1468017315583174
https://doi.org/10.1177/1468017315583174... ; Pereira & Alarcão, 2015Pereira, D., & Alarcão, M. (2015). Guia de avaliação das capacidades parentais: Estudo de validade ecológica. Psicologia: Teoria e Pesquisa, 31(2), 203-212. https://periodicos.unb.br/index.php/revistaptp/article/view/18124
https://periodicos.unb.br/index.php/revi... ). Para que seja possível aumentar a confiabilidade desses procedimentos, são necessárias ferramentas que utilizem uma linguagem comum, que seja compreendida pelos diferentes profissionais. A avaliação deve ser estruturada, utilizar diferentes métodos (questionários, observação etc.) e os instrumentos de avaliação devem estar validados e em acordo com os padrões (Bartelink et al., 2015Bartelink, C., van Yperen, T. A., & ten Berge, I. J. (2015). Deciding on child maltreatment: A literature review on methods that improve decision-making. Child Abuse and Neglect, 49, 142-153. https://doi.org/10.1016/j.chiabu.2015.07.002
https://doi.org/10.1016/j.chiabu.2015.07... ; James et al., 2019James, A., McLeod, J., Hendy, S., Marks, K., Rusu, D., Nik, S., & Plank, M. J. (2019). Using family network data in child protection services. PLoS ONE, 14(10), e0224554. https://doi.org/10.1371/journal.pone.0224554
https://doi.org/10.1371/journal.pone.022... ; Leitão et al., 2020Leitão, I. B., Dias, A., Tristão, K., Ronchi, J., & Avellar, L. (2020). Dez anos de um CAPSi: Comparação da caracterização de usuários atendidos. Psicologia USP, 31, e190011. https://doi.org/10.1590/0103-6564e190011
https://doi.org/10.1590/0103-6564e190011... ; Serbati et al., 2015Serbati, S., Pivetti, M., & Gioga, G. (2015). Child Well-Being Scales (CWBS) in the assessment of families and children in home-care intervention: An empirical study. Child and Family Social Work, 20(4), 446-458. https://doi.org/10.1111/cfs.12094
https://doi.org/10.1111/cfs.12094... ).

Existem alguns instrumentos de autorrelato ou de preenchimento pelos profissionais que avaliam o risco de maltrato em contexto familiar, tais como o Instrumento de Apoio Institucional em Casos de Maltrato Infantil ([I-APSI], Arredondo et al., 2017aArredondo, V., Saavedra, C., & Guerra, C. (2017a). Evaluación de un instrumento de apoyo institucional en casos de maltrato infantil. Revista Evaluar, 17(2), 165-176. https://doi.org/10.35670/1667-4545.v17.n2.18729
https://doi.org/10.35670/1667-4545.v17.n... ), o Instrumento de Reconhecimento de Situações de Maltrato ([I-REC], Arredondo et al., 2017bArredondo, V., Saavedra, C., & Guerra, C. (2017b). Análisis psicométrico preliminar de un instrumento para evaluar el reconocimiento de situaciones de maltrato infantil (I-REC) en Chile. Revista de Psicología Clínica Con Niños y Adolescentes, 4(2), 111-117. http://www.revistapcna.com/sites/default/files/16-28.pdf
http://www.revistapcna.com/sites/default... ), o Inventário Home Observation for Measurement of the Environment ([HOME], Caldwell & Bradley, 1984Caldwell, B. M., & Bradley, R. H. (1984). Home observation for measurement of the environment. University of Arkansas.) e as Escalas de Bem-estar Infantil ([EBI], Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.).

As EBI (Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.) constituem um instrumento interessante pela sua validade de conteúdo e demais características psicométricas. Trata-se de uma medida multidimensional, com potenciais situações de maltrato e negligência que foram concebidas originalmente para satisfazer as necessidades de avaliação dos programas nos serviços de proteção de menores, embora seja possível usá-las para diagnóstico na avaliação de casos individuais. Incluem 43 itens que avaliam o desempenho do papel parental, as capacidades familiares, o funcionamento e as capacidades da criança. Cada item apresenta uma descrição detalhada de um comportamento ou situação e inclui de quatro a seis níveis de respostas específicas, que variam desde a adequação a graus crescentes de inadequação. Cada item é ponderado em função da gravidade da condição, sendo a pontuação máxima em qualquer item da escala de 100 (bem-estar máximo da criança).

As ponderações são baseadas em opiniões recolhidas a partir de uma amostra de várias centenas de profissionais e administradores de serviços de proteção à criança (Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.). As escalas são aplicadas com base no conhecimento do técnico que acompanha a família. Esse conhecimento pode ser direto ou pode ter sido obtido por meio de relatórios, e o técnico deve, no mínimo, ter realizado uma visita domiciliar. As crianças avaliadas devem viver no domicílio familiar em, pelo menos, uma parte do seu tempo. Nem todas as escalas são aplicáveis em função da idade.

Magura e Moses (1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.), a partir de uma análise fatorial exploratória, apresentaram uma solução de 3 fatores: Adequação do Lar (10 itens, itens 2-10, 15), Disposição Parental (14 itens, itens 11, 16-29, 34, 40, que incluem competências parentais, incapacidades, reconhecimento do problema, motivação e relação adulto/criança) e Desempenho da Criança (4 itens, itens 37-39, 41), que explicam uma variância de 43%.

Desde o estudo original, diversas investigações têm utilizado esse instrumento e revelam alguns indicadores psicométricos. Por exemplo, Gaudín et al. (1992Gaudín, J. M., Polansky, N. A., & Kilpatrick, A. C. (1992). The Child Well-Being Scales: A field trial. Child Welfare, 71(4), 319-328.) aplicaram as EBI a 2 grupos distintos: 53 famílias negligentes e 80 não negligentes. Os resultados obtidos indicaram elevados níveis de consistência interna (α = 0,92) e mostraram que a escala permite a diferenciação entre tipos e níveis de risco nas famílias avaliadas. Da mesma forma, no Canadá, em que as EBI foram utilizadas por 38 peritos e utilizadores comuns sem que se verificasse grande variação na sua classificação entre avaliadores, as conclusões corroboram a validade e sensibilidade da escala (Vézina & Pelletier, 1993Vézina, A., & Pelletier, D. (1993). Un instrument de mesure pour faciliter l’évaluation et l’intervention en protection de la jeunesse. Service Social, 42(2), 63-81. https://doi.org/10.7202/706618ar
https://doi.org/10.7202/706618ar... ). Na Itália, foi igualmente conduzido um estudo com pré e pós-teste, utilizando essas escalas para avaliar os resultados de um programa de intervenção com 18 famílias vulneráveis e 23 crianças (Serbati et al., 2015Serbati, S., Pivetti, M., & Gioga, G. (2015). Child Well-Being Scales (CWBS) in the assessment of families and children in home-care intervention: An empirical study. Child and Family Social Work, 20(4), 446-458. https://doi.org/10.1111/cfs.12094
https://doi.org/10.1111/cfs.12094... ). Os autores sugerem a utilização das EBI para diminuir a subjetividade na avaliação e para auxiliar o processo de tomada de decisão.

Já um estudo mais recente, conduzido na Espanha, veio novamente demonstrar a capacidade discriminatória da medida (Grimaldi et al., 2019Grimaldi, V., Pérez-Padilla, J., Garrido, M. Á., & Lorence, B. (2019). Assessment and decision-making in child protective services: Risk situations kept-at-home versus out-of-home care. Child Indicators Research, 12(5), 1611-1628. https://doi.org/10.1007/s12187-018-9600-1
https://doi.org/10.1007/s12187-018-9600-... ) com 641 famílias em risco psicossocial. Nessa investigação, as EBI conseguiram explicar 56% da variação entre os resultados de famílias em que as crianças foram retiradas e aquelas que foram mantidas no contexto familiar. Além disso, verificou-se uma taxa de acerto de 88,12% quanto ao perfil de risco infantil determinado por este instrumento (Grimaldi et al., 2019).

Não obstante esses dados satisfatórios, a estrutura fatorial apresentada pela versão original não foi replicada em todos os estudos. Na Espanha, De Paúl e Arruabarrena (1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ) realizaram um estudo de validação através de análise fatorial exploratória com 91 famílias e 231 crianças. Encontraram uma solução com 3 fatores, mas com modificações quanto à distribuição item-subescala: Cuidado Parental (10 escalas sobre funcionamento familiar, itens 1-5, 7, 9, 10, 13-16); Disposição Parental (14 escalas sobre funcionamento familiar e bem-estar infantil, itens 11, 19, 20, 21, 24-28) e Trato da Criança (4 escalas sobre bem-estar infantil, compostas pelos itens 11, 19, 20, 21, 24-28). Contudo, os autores consideram que as críticas realizadas à validade do instrumento poderão destinar-se a qualquer estudo que tencione avaliar esse conceito, devido à falta de suporte teórico consensual acerca dele (De Paúl & Arruabarrena, 1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ).

Apesar de tal inconsistência, é possível afirmar que as EBI possuem vantagens substanciais, incluindo boa validade de conteúdo, consistência interna (α = 0,53-0,89), teste-reteste (Κ = 0,60-0,65), confiabilidade interavaliador (Κ = 0,60) e bons indicadores de validade convergente e discriminante (Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.; Nasuti, 1998Nasuti, J. P. (1998). Risk assessment in child protective services: Challenges in measuring child well-being. Journal of Family Social Work, 3(1), 55-70. https://doi.org/10.1300/J039v03n01_05
https://doi.org/10.1300/J039v03n01_05... ; Vézina & Bradet, 1990Vézina, A., & Bradet, R. (1990). Validation québécoise de l’inventaire concernant le bien-être de l’enfant en relation avec l’exercice des responsabilités parentales. Rapport de recherche. Centre de recherche sur les services communautaires: Université Laval.).

Em Portugal, não há nenhum estudo publicado acerca da adaptação ou validação das Escalas de Bem-estar Infantil, o que representa uma desvantagem para o conhecimento científico nesta área e para os técnicos dos serviços de proteção de menores (Rodrigues et al., 2015Rodrigues, L., Calheiros, M., & Pereira, C. (2015). The decision of out-of-home placement in residential care after parental neglect: Empirically testing a psychosocial model. Child Abuse and Neglect, 49, 35-49. https://doi.org/10.1016/j.chiabu.2015.03.014
https://doi.org/10.1016/j.chiabu.2015.03... ). Até a presente data, apenas se conhecem duas pesquisas que fazem uso das EBI junto da população portuguesa. Em 2017, Nunes e Ayala-Nunes avaliaram 207 famílias portuguesas acompanhadas em serviços de preservação familiar através das EBI, com o intuito de obter uma compreensão aprofundada dos níveis de competência parental percebidos nessa população e de analisar as relações existentes entre variáveis sociodemográficas, o bem-estar da criança, a eficácia parental e a satisfação com o papel parental. As conclusões encontradas apontam para associações significativamente positivas entre a competência parental percebida, a eficácia, a satisfação parental e o bem-estar infantil, alertando para a necessidade de intervenção psicoeducativa com os pais como um meio de fomentar o bem-estar na criança (Nunes & Ayala-Nunes, 2017Nunes, C., & Ayala-Nunes, L. (2017). Parenting sense of competence in at psychosocial risk families and child well-being. Bordon, 69(1), 155-168. https://doi.org/10.13042/Bordon.2016.48589
https://doi.org/10.13042/Bordon.2016.485... ). No mesmo ano, as EBI foram aplicadas a 249 pais e 46 gestores de caso de Portugal e Espanha, com a pretensão de investigar os fatores determinantes do bem-estar infantil em crianças referenciadas aos sistemas de proteção de menores. As principais descobertas apontam as dificuldades econômicas como um fator de risco para o bem-estar físico da criança, ao passo que a satisfação parental, o estresse dos pais e um estilo parental autoritário são os preditores que representam maior ameaça para o bem-estar infantil nos níveis emocional e acadêmico (Ayala-Nunes et al., 2018Ayala-Nunes, L., Jiménez, L., Jesus, S., Nunes, C., & Hidalgo, V. (2018). An ecological model of well-being in child welfare referred children. Social Indicators Research, 140(2), 811-836. https://doi.org/10.1007/s11205-017-1807-x
https://doi.org/10.1007/s11205-017-1807-... ).

Com o objetivo de preencher a lacuna de uma validação portuguesa e contribuir para a utilização fidedigna do instrumento, o presente estudo pretendeu analisar as características psicométricas das EBI (Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.) numa amostra de famílias portuguesas em risco psicossocial. Mais especificamente, pretendeu-se: (a) estimar a confiabilidade e fornecer normas portuguesas (média e desvio padrão) para as EBI; (b) analisar a sua estrutura interna; e (c) descrever a validade de constructo, examinando as relações com as competências parentais percebidas e a saúde mental dos pais, dimensões relevantes no maltrato infantil.

Método

Participantes

Foram avaliadas 276 famílias por 46 técnicos de vários serviços de proteção de menores do Algarve (CPCJ, Tribunal de menores e CAFAPs). Os critérios de seleção dos participantes foram: (1) estar sinalizado nos serviços de proteção de menores por razões de preservação familiar há pelo menos 3 meses; (2) não enfrentar uma crise familiar (determinada pelos gestores do caso) durante o recrutamento e coleta de dados; e (3) ter a seu cargo pelo menos um menor de 18 anos.

Os pais tinham em média 37,50 anos (DP = 8,30) e baixo nível educativo: 27,37% não tinham o ensino fundamental completo, 48,54% concluíram o ensino fundamental e apenas 19,34% e 4,74% tinham ensino médio e superior completos, respectivamente. Quanto à situação laboral, 49,74% estavam empregados, mas em trabalhos de baixa qualificação (71,59% trabalhavam como vendedores, empregados de limpeza, etc.). Os seus filhos tinham idades compreendidas entre os 3 meses e 18 anos (M = 10,61; DP = 4,69), 61,71% sendo meninos e 38,28% meninas.

A maioria (84,13%) das famílias tinha uma composição estável, com um tamanho médio de 4 pessoas (M = 4,17; DP = 1,54) e 2 crianças e/ou adolescentes (M = 2,52; DP = 1,34). Mais de um terço (38,62%) das famílias era monoparental. Um quarto (23,81%) vivia com um membro da família extensa. O rendimento familiar era instável para 34,41% dos participantes e, em média, tinham o ganho de 924,87 euros mensais (DP = 578,95), sendo que 34,76% das famílias beneficiavam de apoio social.

Os profissionais gestores de caso eram, na sua maioria, mulheres (90%) com idades compreendidas entre 30 e 40 anos (66%). Relativamente à classe profissional, eram maioritariamente psicólogos (48%), mas existiam também educadores (29%), assistentes sociais (19%) e juristas (5%). A maioria tinha cinco ou mais anos de experiência de trabalho com famílias (62%).

Instrumentos

Escalas de Bem-Estar Infantil (EBI)

Descritas anteriormente.

Competência Parental Percebida (PSOC)

Foi utilizada a versão portuguesa de Nunes et al. (2016Nunes, C., Jiménez, L., Menéndez, S., Ayala‐Nunes, L., & Hidalgo, V. (2016). Psychometric properties of an adapted version of the parental sense of competence (PSOC) scale for Portuguese at‐risk parents. Child & Family Social Work, 21(4), 433-441. https://doi.org/10.1111/cfs.12159.
https://doi.org/10.1111/cfs.12159... ) da Parenting Sense of Competence. Essa escala, originalmente desenvolvida por Gibaud-Wallston e Wandersman (1978Gibaud-Wallston, J., & Wandersmann, L. P. (1978). Development and utility of the Parenting Sense of Competence Scale. John F. Kennedy center for research on education and human development.) e posteriormente adaptada por Johnston e Mash (1989Johnston, C., & Mash, E. J. (1989). A measure of parenting satisfaction and efficacy. Journal of Clinical Child Psychology, 18(2), 167-175. https://doi.org/10.1207/s15374424jccp1802_8
https://doi.org/10.1207/s15374424jccp180... ), avalia a competência percebida como pai ou mãe a partir de duas dimensões: a eficácia e a satisfação. A dimensão Eficácia é composta por sete itens que avaliam em que medida o progenitor se sente competente nesse papel (ex.: “Apesar de ser difícil, eu já sei como se pode influenciar os filhos”). Por sua vez, a dimensão Satisfação possui nove itens e pretende determinar o grau em que o pai ou a mãe se sente satisfeito com o seu papel parental (ex.: “Com a idade que o meu filho tem, ser mãe não é agradável”). No total, o questionário é composto por 16 itens com 6 respostas possíveis, que oscilam entre o 1 (“não, discordo totalmente”) e o 6 (“sim, concordo totalmente”). As pontuações mínimas e máximas possíveis para a dimensão Eficácia são 7 e 42, respetivamente; para a dimensão Satisfação, podem oscilar entre 9 e 54. Pontuações superiores correspondem a uma percepção mais elevada de eficácia e satisfação parentais. O índice de confiabilidade obtido no presente estudo foi de ω = 0,78 para eficácia e ω = 0,75 para satisfação parental.

Questionário de Saúde Geral (GHQ 28)

Trata-se da versão portuguesa (Pais-Ribeiro & Antunes, 2003Pais-Ribeiro, J., & Antunes, S. (2003). Contribuição para o estudo de adaptação do Questionário de Saúde Geral de 28 Itens (General Health Questionnaire-GHQ28). Revista Portuguesa de Psicossomática, 5(1), 37-45. https://www.redalyc.org/articulo.oa?id=28750105
https://www.redalyc.org/articulo.oa?id=2... ) da forma breve da versão original do General Health Questionnaire, proposta por Goldberg e Williams (1996Goldberg, D., & Williams, P. (1996). Cuestionario de salud general GHQ (General Health Questionnaire). Guía para el usuario de las distintas versiones. Masson.). Consiste num questionário de 28 itens, cujo objetivo é detectar problemas psicológicos atuais a partir do relato de sintomas experienciados pelo entrevistado nas últimas três semanas. Esses sintomas estão agrupados em quatro subescalas com sete itens cada: Sintomas somáticos (ex.: “Tem tido dores de cabeça?”), ansiedade e insônia (ex.: “Depois de adormecer acorda várias vezes?”), disfunção social (ex.: “Sente-se satisfeito com a forma como tem feito as coisas?”) e depressão grave (ex.: “Sentiu que a vida já não vale a pena?”). Cada item tem quatro opções de resposta, que variam consoante a pergunta, na qual pontuações mais elevadas correspondem a uma maior presença de sintomas. No entanto, as subescalas desse questionário não constituem categorias nosológicas independentes nem têm uma correspondência exata com diagnósticos psiquiátricos. O índice de confiabilidade obtido no presente estudo foi de ω = 0,92.

Procedimentos

A autorização para traduzir e validar a versão portuguesa das EBI foi pedida ao primeiro autor da escala (Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America., 1987Magura, S., & Moses, B. S. (1987). Outcome measures for child welfare services: Child well‐being scales and rating form. Child Welfare League of America.) e a Child Welfare League of America (Washington, DC). A tradução inicial do inglês para o português foi realizada pelas duas primeiras autoras deste estudo, assegurando que os profissionais compreendiam corretamente o significado dos itens. O questionário foi novamente traduzido para o inglês por um nativo com considerável experiência profissional em tradução de textos científicos de psicologia. A adaptação cultural foi especialmente considerada, tendo em conta a clareza, o uso da linguagem comum e a equivalência conceitual da escala.

Após o estabelecimento de protocolos de colaboração com os serviços de proteção de menores do Algarve, os técnicos das instituições colaboradoras selecionaram os progenitores e os convidaram a participar no estudo. Posteriormente, os entrevistadores, que tinham recebido formação específica para a aplicação dos instrumentos, deslocaram-se às instituições para entrevistar os progenitores que tinham concordado em participar.

Os 46 profissionais responsáveis pelos casos preencheram as EBI depois de assistir a uma sessão de treino de 5 horas. Antes de proceder ao preenchimento dos questionários, os participantes foram informados acerca dos objetivos do estudo, do caráter não compensatório da sua participação, da natureza anônima e confidencial das suas respostas e da possibilidade de desistir do estudo em qualquer momento sem que isso representasse quaisquer consequências negativas para eles.

O PSOC, o GHQ-28 e o questionário sociodemográfico foram aplicados numa entrevista individual, por 9 entrevistadores treinados, com uma duração aproximada de 30 minutos.

Análise de Dados

A codificação e o tratamento estatístico dos dados foram realizados com o IBM SPSS 20 e o programa FACTOR 9.2 (Lorenzo-Seva & Ferrando, 2006Lorenzo-Seva, U., & Ferrando, P. J. (2006). FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods, 38(1), 88-91. https://doi.org/10.3758/BF03192753
https://doi.org/10.3758/BF03192753... ). Em primeiro lugar, foi examinada a existência de casos extremos multivariados através do cálculo da distância de Mahalanobis (Tabachnick & Fidell, 2019Tabachnick, B. G. & Fidell, L. S. (2019). Using multivariate statistics (7th ed.). Pearson Education.) e foram calculadas as estatísticas descritivas das escalas originais. Seguidamente, foi analisada a normalidade na distribuição univariante dos itens, tendo em conta os índices de assimetria e curtose (valores compreendidos entre os intervalos ±2), tal como recomendam Bandalos e Finney (2010Bandalos, D. L., & Finney, S. J. (2010). Factor Analysis: Exploratory and Confirmatory. In G. R. Hancock y R. O. Mueller (Eds.), Reviewer’s guide to quantitative methods (pp. 98-122). Routledge.). Após esse procedimento, foi analisada a capacidade discriminante de cada item através do coeficiente de correlação corrigido entre a pontuação do item e o total da escala (>0,25) e a confiabilidade, caso o item fosse eliminado (inferior ao da dimensão global) (Ferrando & Anguiano-Carrasco, 2010Ferrando, J. P., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del Psicologo, 31(1), 18-33. http://www.papelesdelpsicologo.es/contenido?num=1137
http://www.papelesdelpsicologo.es/conten... ).

A dimensionalidade do instrumento foi analisada a partir de uma análise fatorial (AF) com o programa FACTOR Vs. 9.2 (Lorenzo-Seva & Ferrando, 2006Lorenzo-Seva, U., & Ferrando, P. J. (2006). FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods, 38(1), 88-91. https://doi.org/10.3758/BF03192753
https://doi.org/10.3758/BF03192753... ). Foram comprovados os pressupostos de normalidade e linearidade entre cada par de variáveis. Foi calculada a matriz de correlações de Pearson e estimada a confiabilidade através do coeficiente de alfa ordinal. Como método de estimação, utilizamos a estimação por máxima verossimilhança e uma rotação oblíqua, mediante o método Oblimin direto normalizado. A fatorabilidade da matriz foi estabelecida através de valores elevados na medida de adequação da amostra de Kaiser-Meyer-Olkin e de um resultado significativo no teste de esfericidade de Barlett (Carretero-Dios & Pérez, 2005Carretero-Dios, H. & Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5, 521-551. https://www.redalyc.org/articulo.oa?id=337/33705307
https://www.redalyc.org/articulo.oa?id=3... ; Tabachnick & Fidell, 2019Tabachnick, B. G. & Fidell, L. S. (2019). Using multivariate statistics (7th ed.). Pearson Education.).

Para decidir o número de fatores a reter, foram levados em conta os seguintes critérios: valores próprios >1; mínimo de 3 variáveis em cada fator (Ferrando & Anguiano-Carrasco, 2010Ferrando, J. P., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del Psicologo, 31(1), 18-33. http://www.papelesdelpsicologo.es/contenido?num=1137
http://www.papelesdelpsicologo.es/conten... ); análise paralela com a implementação ótima de Timmerman e Lorenzo-Seva (2011Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209-220. https://doi.org/10.1037/a0023353
https://doi.org/10.1037/a0023353... ); interpretabilidade e pertinência teórica. Foram retidos os itens com um coeficiente de configuração superior a 0,30 unicamente em um dos fatores. Para avaliar a bondade do ajuste da solução fatorial, foram analisados os índices de simplicidade S e LS (próximos a 1), assim como os índices GFI (recomendável >0,95) e RMSR (próximo a 0).

Para avaliar a consistência interna dos fatores obtidos, foram calculados os índices do alfa ordinal e as estatísticas descritivas. A validade de critério da versão proposta foi analisada através dos índices de correlação de Pearson dos fatores obtidos com as pontuações obtidas nas dimensões das competências parentais percebidas e saúde mental.

Resultados

Análise Descritiva Inicial

Foram identificados 4 casos (1,45%) extremos multivariados a partir do cálculo da distância de Mahalanobis, que foram eliminados das análises posteriores. De acordo com a versão original dos autores, as escalas apresentaram os seguintes valores (Tabela 1):

Todas as dimensões correlacionaram-se significativa e positivamente entre si, exceto a Adequação do Lar com o Desempenho da Criança (Tabela 2). As pontuações foram mais baixas na Disposição Parental do que na Adequação do Lar (t(271) = 18,12, p <0,001) e do que no Desempenho da Criança, t(271) = -3,41, p <0,001. Na sequência, procedemos à análise fatorial exploratória.

Estrutura Fatorial

Os itens 17, 8, 23, 33, 35, 36 e 43 não foram incluídos por apresentarem um número elevado de casos omissos. Devido aos elevados índices de assimetria e curtose (±2), foram eliminados das análises posteriores os itens 1, 3, 8, 9, 30, 31 e 32 (ver Tabela 3). Os restantes itens obtiveram correlações altas com o resto da escala >0,25 e verificou-se que não existiriam melhorias na confiabilidade da dimensão se algum item fosse eliminado, pelo que foram todos incluídos e utilizados nas análises seguintes.

A fatorabilidade da matriz foi estabelecida tendo obtido um valor aceitável na prova de Kaiser-Meyer-Olkin (KMO = 0,89) e um valor significativo no teste de esfericidade de Bartlett, χ²(378) = 3693,3, p <0,001. A análise fatorial ofereceu uma solução de 3 fatores com valores próprios superiores a 1, que contribuiu para explicar uma variância de 49,52%, e os resultados da Análise Paralela recomendaram reter os mesmos 3 fatores. O primeiro fator explicava 30,64% (λ = 8,58) e incluía os itens 2, 4, 5, 6, 7, 10, 11, 12, 14, 15 e 16, reproduzindo a quase totalidade da dimensão original de Adequação do Lar, além de considerar alguns itens referentes à capacidade dos pais para cuidarem os filhos, tal como no estudo de De Paúl e Arruabarrena (1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ), o que designaremos como Cuidado Parental. O segundo fator explicou uma variância de 12,61% (λ = 3,53) e reteve os itens 13, 19, 20, 21, 24, 25, 26, 28, 29, 34 e 40, que são similares ao fator da Disposição Parental na escala original. O terceiro fator explicava 6,27% (λ = 1,76) e incluía os itens 37, 38, 39, 41 e 42, que replicava a quase totalidade da escala de Desempenho da Criança da escala original.

Os indicadores de bondade de ajuste para esta solução foram satisfatórios, GFI = 0,97, RMSR = 0,06, S = 0,99, LS = 0,52. Dado que os itens 13 e 28 saturavam em dois fatores na matriz padrão, com valores ≥0,40 (Tabela 4), eles foram eliminados das análises posteriores.

A análise descritiva dos fatores mostra uma média de 85,68 (DP = 13,08) para o Cuidado Parental, de 79,92 (DP = 12,09) para a Disposição Parental e de 81,91 (DP = 16,73) para o Desempenho da Criança. Na Tabela 5, apresentamos os índices de correlação entre os três fatores e os coeficientes de confiabilidade.

Validade de Construto

Como podemos observar na Tabela 6, existe uma relação negativa e significativa entre todas as dimensões das EBI e a Saúde mental dos pais. No entanto, apenas observamos relações significativas e positivas entre a eficácia parental e o Desempenho da Criança. Quanto à satisfação com o papel parental, ela se relaciona positiva e significativamente com a Disposição Parental e com o Desempenho da Criança.

Discussão

O presente estudo teve como objetivo responder à escassez de instrumentos aferidos em Portugal, sobretudo no que diz respeito às ferramentas de avaliação disponíveis nos serviços de proteção de menores (Rodrigues et al., 2015Rodrigues, L., Calheiros, M., & Pereira, C. (2015). The decision of out-of-home placement in residential care after parental neglect: Empirically testing a psychosocial model. Child Abuse and Neglect, 49, 35-49. https://doi.org/10.1016/j.chiabu.2015.03.014
https://doi.org/10.1016/j.chiabu.2015.03... ). Como tal, pretendeu-se adaptar e validar as EBI para a população portuguesa, utilizando uma amostra de famílias em risco psicossocial.

Os resultados obtidos nesta investigação replicaram algumas das características psicométricas do estudo original e de outros realizados com populações em risco. A solução fatorial obtida reteve três fatores, em conformidade com pesquisas anteriores (De Paúl & Arruabarrena, 1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ; Magura & Moses, 1986Magura, S., & Moses, B. S. (1986). Outcome measures for child welfare services: Theory and applications. Child Welfare League of America.; Vézina & Pelletier, 1993Vézina, A., & Pelletier, D. (1993). Un instrument de mesure pour faciliter l’évaluation et l’intervention en protection de la jeunesse. Service Social, 42(2), 63-81. https://doi.org/10.7202/706618ar
https://doi.org/10.7202/706618ar... ) e explicou uma variância superior (50%) à do estudo original (43%) e com bons índices de confiabilidade em todas as subescalas (α >0,82).

O primeiro fator (Cuidado Parental) reteve a maioria dos itens da dimensão original de Adequação do Lar (7 dos 10 itens) e incluiu alguns itens referentes à capacidade dos pais de cuidarem dos filhos (4 itens), tal como apresentado na pesquisa de De Paúl e Arruabarrena (1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ). Embora este fator não reproduza na íntegra a dimensão retratada na primeira versão do instrumento, ele apresenta elevados níveis de consistência interna, maiores do que os encontrados na versão original e espanhola.

O segundo fator (Disposição Parental) é semelhante ao da escala original e reteve a maioria dos itens da escala original (10 de 14). O terceiro fator, finalmente, replicou a quase totalidade da escala de Desempenho da Criança da escala original.

No que diz respeito aos valores médios obtidos em cada uma das subescalas, verificam-se resultados ligeiramente mais altos se comparado a outros estudos de validação (Grimaldi et al., 2019Grimaldi, V., Pérez-Padilla, J., Garrido, M. Á., & Lorence, B. (2019). Assessment and decision-making in child protective services: Risk situations kept-at-home versus out-of-home care. Child Indicators Research, 12(5), 1611-1628. https://doi.org/10.1007/s12187-018-9600-1
https://doi.org/10.1007/s12187-018-9600-... ; Serbati et al., 2015Serbati, S., Pivetti, M., & Gioga, G. (2015). Child Well-Being Scales (CWBS) in the assessment of families and children in home-care intervention: An empirical study. Child and Family Social Work, 20(4), 446-458. https://doi.org/10.1111/cfs.12094
https://doi.org/10.1111/cfs.12094... ), demonstrando que as pontuações de referência para as famílias portuguesas tendem a ser mais elevadas do que as observadas noutros contextos, mesmo em amostras em risco psicossocial. Isto sugere que os pais portugueses conseguem cobrir os aspectos básicos para o bem-estar das crianças, não obstante as situações de risco.

No entanto, comparativamente à validação espanhola conduzida por De Paúl e Arruabarrena (1999De Paúl, J., & Arruabarrena, M. I. (1999). Escalas de Bienestar Infantil de Magura y Moses. Un primer estudio para la validación de la versión española. Psychosocial Intervention, 8(1), 89-108. http://www.copmadrid.org/webcopm/publicaciones/social/47562.pdf
http://www.copmadrid.org/webcopm/publica... ), a subescala de Desempenho da Criança da presente investigação registrou um valor mais baixo (M = 81,91) em relação à amostra espanhola de famílias em risco (M = 92,0). O resultado inferior do Desempenho da Criança pode ser particularmente relevante na medida em que poderá indicar que, para as crianças sob risco no contexto português, o maior prejuízo é visto em indicadores que integram este fator, tais como a performance acadêmica e comportamental. Dessa forma, sugere-se especial atenção a essa dimensão quando avaliadas as famílias, uma vez que, conforme descrito por Serbati et al. (2015Serbati, S., Pivetti, M., & Gioga, G. (2015). Child Well-Being Scales (CWBS) in the assessment of families and children in home-care intervention: An empirical study. Child and Family Social Work, 20(4), 446-458. https://doi.org/10.1111/cfs.12094
https://doi.org/10.1111/cfs.12094... ), ela foi também a subescala em que se registraram maiores benefícios a curto prazo das intervenções de preservação familiar.

Relativamente à validade de construto, foram encontradas evidências do critério na relação das EBI com outras dimensões relevantes das competências parentais percebidas e do bem-estar dos pais (saúde mental dos pais e eficácia e satisfação parental). A associação positiva entre a satisfação parental e as dimensões de bem-estar infantil já havia sido documentada em estudos como o de Nunes e Ayala-Nunes (2017Nunes, C., & Ayala-Nunes, L. (2017). Parenting sense of competence in at psychosocial risk families and child well-being. Bordon, 69(1), 155-168. https://doi.org/10.13042/Bordon.2016.48589
https://doi.org/10.13042/Bordon.2016.485... ), que fizeram uso da mesma medida. De forma análoga, a relação entre a eficácia parental e o desempenho da criança aparece como um aspecto saliente em pesquisas recentes (e.g., Grimaldi et al., 2019Grimaldi, V., Pérez-Padilla, J., Garrido, M. Á., & Lorence, B. (2019). Assessment and decision-making in child protective services: Risk situations kept-at-home versus out-of-home care. Child Indicators Research, 12(5), 1611-1628. https://doi.org/10.1007/s12187-018-9600-1
https://doi.org/10.1007/s12187-018-9600-... ), nos quais a ineficácia ao desempenhar o papel parental é tido como um forte preditor de menor bem-estar infantil.

Assim, não obstante a heterogeneidade das dificuldades das famílias em risco psicossocial, as associações encontradas sugerem indicadores que têm sido sistematicamente comprovados (Grimaldi et al., 2019Grimaldi, V., Pérez-Padilla, J., Garrido, M. Á., & Lorence, B. (2019). Assessment and decision-making in child protective services: Risk situations kept-at-home versus out-of-home care. Child Indicators Research, 12(5), 1611-1628. https://doi.org/10.1007/s12187-018-9600-1
https://doi.org/10.1007/s12187-018-9600-... ; Ménendez et al., 2016Ménendez, S. A., Hidalgo, M. V. G., Lorence, B. L., & Pérez, J. P. (2016). Assessing the level of risk of families supported by child and family protection services: Practitioners and mothers as informants. Journal of Social Work, 16(5), 595-609. https://doi.org/10.1177/1468017315583174
https://doi.org/10.1177/1468017315583174... ) e que devem ser levados em conta na avaliação e intervenção no âmbito da proteção infantil e preservação familiar.

Diante desse quadro, as conclusões da análise psicométrica tornam possível afirmar que as EBI são um instrumento confiável e válido para avaliar potenciais situações de maltrato e negligência. É uma ferramenta que permite estruturar a observação dos profissionais sobre as características básicas do lar, do funcionamento parental e da criança. Essa caraterística é particularmente importante, uma vez que, na avaliação do maltrato e da negligência, é fundamental conseguir uma homogeneidade, tanto nas variáveis que devem ser objeto de observação como na descrição e na categorização dos níveis de severidade das variáveis (Serbati et al., 2015Serbati, S., Pivetti, M., & Gioga, G. (2015). Child Well-Being Scales (CWBS) in the assessment of families and children in home-care intervention: An empirical study. Child and Family Social Work, 20(4), 446-458. https://doi.org/10.1111/cfs.12094
https://doi.org/10.1111/cfs.12094... ). Por via da estandardização, as EBI permitem colmatar erros que comumente se apontam ao processo de tomada de decisão dos técnicos, que é feito maioritariamente com base na subjetividade e no senso clínico dos profissionais (Grimaldi-Puyana et al., 2012Grimaldi-Puyana, V., Garrido-Fernández, M., & Jiménez-Morago, J. (2012). Perfiles de riesgo infantil y niveles de intervención con familias usuarias del Sistema Público Servicios Sociales. Anales de Psicología, 28(2), 515-523. https://doi.org/10.6018/analesps.28.2.148751
https://doi.org/10.6018/analesps.28.2.14... ; López et al., 2015López, M., Fluke, J. D., Benbenishty, R., & Knorth, E. J. (2015). Commentary on decision-making and judgments in child maltreatment prevention and response: An overview. Child Abuse and Neglect, 49(1), 1-11. https://doi.org/10.1016/j.chiabu.2015.08.013
https://doi.org/10.1016/j.chiabu.2015.08... ). Num âmbito em que as decisões podem ter consequências drásticas e dramáticas para as famílias e as crianças, não se pode depender da intuição, já que frequentemente está contaminada por vieses individuais e culturais. Assim, a validação das EBI oferece aos técnicos dos serviços de proteção de menores a possibilidade de utilizarem uma linguagem comum e de basearem o seu trabalho nos mesmos princípios, de modo que as suas decisões se tornem mais confiáveis e consistentes.

Apesar do contributo favorável da validação, a dimensão reduzida da amostra e a distribuição geográfica dos participantes, circunscrita a apenas uma região do país, constituem desvantagens que colocam em causa a possibilidade de generalização dos resultados. Além disso, existem outras limitações que estão relacionadas com o desenho transversal do estudo, que impossibilitou a exploração de análises de teste-reteste, e com a inclusão de apenas um grupo amostral, não sendo, por isso, possível proceder à análise de comparação entre grupos.

Como propostas de investigações futuras, sugerimos a necessidade de replicar este estudo com uma amostra de maior representatividade, que inclua diferentes grupos (por exemplo, com distintos níveis de risco psicossocial familiar), de modo a obter maior validade externa e informação acerca da sensibilidade das escalas.

References

Datas de Publicação

Histórico