Para imprimir o texto da consulta sem formatação, clique em IMPRIMIR no final da página.
Para visualizar os dados, clique em DADOS DA CONSULTA

Introdução


O Regulamento da Pesquisa previu a criação de um instrumento ao qual denominou “Manual de Aplicação”, instrumento dependente de aprovação por despacho decisório, com a assinatura em conjunto dos titulares da Superintendência de Relação com os Consumidores (SRC) e da Superintendência de Planejamento e Regulamentação (SPR), contendo o tratamento dos aspectos técnicos, metodológicos e procedimentais das pesquisas. Assim, foi criado o Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações - aprovado pelo Despacho nº 6.284/2015 - SRC/SPR, de 30 de julho de 2015 e alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015 e pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470).

Prevê o Regulamento da Pesquisa que o Manual de Aplicação é “o instrumento contendo os atributos de pesquisa, o planejamento amostral, a metodologia de pesquisa em campo, o cálculo da margem de erro, o calendário anual, a forma, o padrão, a regularidade e os meios de disponibilização ou envio das bases cadastrais e demais procedimentos operacionais necessários para a realização das pesquisas” (art. 3º, III).

A elaboração, publicação e alteração do Manual de Aplicação é atribuição da Anatel, devendo ser submetido a consulta pública e aprovado por despacho decisório, como bem especifica o Regulamento da Pesquisa:

Art. 9º Cabe à Anatel:

I - elaborar e publicar o Manual de Aplicação;

(...)

Parágrafo Único. O Manual de Aplicação previsto no inciso I deste artigo, bem como as suas alterações, devem ser submetidos a Consulta Pública pelos Superintendentes de Relações com Consumidores e de Planejamento e Regulamentação e por ambos aprovados por meio de despacho decisório em até 2 (dois) meses antes do início da pesquisa.

Tendo sido completados cinco ciclos de pesquisa sob a égide da resolução supracitada, e com o sexto ciclo ora em andamento, foi possível identificar pontos de possíveis melhorias nas etapas de planejamento, execução, finalização, consolidação e publicação dos resultados obtidos, que demandavam alterações no Manual de Aplicação. Embora tais alterações pudessem aguardar mais tempo para serem implementadas, o novo Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019, imprimiu a necessidade de rever diversos aspectos da pesquisa, em função de sua demanda por um Índice de Qualidade Percebida (IQP) a ser utilizado na composição do Selo de Qualidade que será atribuído às prestadoras, e que não é previsto na atual versão do Manual:

Art. 7º, VII - Índice de Qualidade Percebida (IQP): índice constituído das notas resultantes da Pesquisa de Qualidade Percebida, na forma prevista no Regulamento das Condições de Aferição do Grau de Satisfação e Qualidade Percebida junto aos Usuários de Serviços de Telecomunicações, ou outro instrumento normativo que vier a substituí-lo, que expressa a percepção do usuário quanto ao desempenho da prestadora na prestação do serviço;

Esta demanda coincide com os trabalhos oriundos da parceria realizada com o Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT) - unidade de pesquisa integrante da estrutura do Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC). A parceria tem por objetivo o aprimoramento do conhecimento sobre os consumidores de serviços de telecomunicações no país e melhor conhecer as práticas de relacionamento com o consumidor adotadas pelas empresas do setor, com o intuito de melhor direcionar as ações regulatórias e de controle. O projeto prevê o desenvolvimento e a aplicação de metodologias para a análise e compreensão das relações de consumo no setor de telecomunicações no Brasil, com foco na análise do comportamento do consumidor e de operadoras do setor.





1. Objetivo do Manual


O Manual de Aplicação para Aferição do Grau de Satisfação e da Qualidade Percebida dos Usuários de Serviços de Telecomunicações (Pesquisa) tem por objetivo prover orientações, às prestadoras de telecomunicações e à empresa pesquisadora contratada, acerca das características e procedimentos que devem ser observados em sua condução. 

Justificativa


As alterações como um todo visam a dar mais clareza e concisão ao texto. A inclusão da expressão "de Serviços" objetiva alinhar o texto com o da ementa da Resolução nº 654/2015, que aprova o regulamento da pesquisa. A inclusão da expressão "(Pesquisa)" foi realizada com o intuito de permitir que, ao longo do texto, seja desnecessário repetir o nome formal da pesquisa, tal qual disposto na ementa da referida Resolução. Nessa linha, a partir daqui, todas as referências à "Aferição do Grau de Satisfação e da Qualidade Percebida dos Usuários de Serviços de Telecomunicações" foram trocadas no texto do Manual pela palavra Pesquisa.


2. Aspectos Gerais da Pesquisa - 2.1. Objetivo


O objetivo da Pesquisa é subsidiar a Anatel com informações para melhoria da regulação dos serviços de telecomunicações no Brasil.  

Justificativa


A versão atualmente aprovada do Manual não especifica o objetivo geral da aplicação da pesquisa. A inclusão permite uma visão geral aos leitores da razão para a Anatel realizar a pesquisa. 


2. Aspectos Gerais da Pesquisa - 2.2. Periodicidade


A Pesquisa é realizada anualmente. Para permitir maior comparabilidade entre os resultados das pesquisas realizadas em diferentes anos, criando assim uma série histórica consistente, e para efeitos de melhor planejamento de todos os atores envolvidos, todas as etapas que compõe o ciclo da Pesquisa devem ocorrer em períodos pré-fixados, conforme calendário anual, constante deste Manual. 

Justificativa


Ajustes textuais.


2. Aspectos Gerais da Pesquisa - 2.3. Forma de Coleta


A empresa pesquisadora receberá da Anatel os lotes contendo o(s) telefone(s) de contato(s) das amostras sorteadas aleatoriamente com as identificações do serviço, da prestadora e da Unidade da Federação (UF), na relação de até 40 x n (quarenta vezes “n”, sendo n o número de amostras) para o envio inicial. Caso necessário, poderão ser enviados lotes extras, quando a empresa pesquisadora indicar dificuldades de completar a coleta para determinados estratos, de acordo com o plano amostral estabelecido. Antes de iniciar a coleta, a base recebida deve ser novamente randomizada pela empresa pesquisadora para, em seguida, iniciar as coletas.  

A empresa pesquisadora contratada elaborará e enviará à Anatel, para cada período de coleta de dados, um Plano de Pesquisa de Campo (PPC), que servirá de base para a execução e controle das entrevistas. A empresa pesquisadora deve informar à Anatel, sempre que seja necessário, alterações no planejamento inicial. 

O relatório com o PPC a ser enviado para a Anatel deverá conter, no mínimo, as seguintes informações para cada serviço:  

i) planejamento dos recursos humanos necessários (quantitativo de entrevistadores, supervisores, coordenadores e equipes); 

ii) horário de trabalho das equipes (da coleta); 

iii) cronograma da coleta dos dados (com quantitativo estimado de entrevistas a serem realizadas por mês); 

iv) identificação de todas as empresas terceirizadas de Call Center, processamento de dados, treinamento, etc. envolvidas na pesquisa; e 

v) critérios que serão adotados para garantir o controle estatístico e qualitativo de cada pesquisa, bem como os demais requisitos de controle de qualidade observados nas normas da ABEP, a cuja entidade a empresa deve ser filiada, conforme item 10.1. 

As entrevistas para todos os serviços serão feitas de modo randômico entre os estratos com o uso da técnica de pesquisa por telefone assistida por computador – CATI (Computer Assisted Telephone Interviewing). Isto significa o uso de microcomputadores em rede, controle de amostragem no servidor da rede, discagem automática, marcação de entrevista, consistência de valores aceitos nas perguntas do questionário e geração de estatísticas de entrevistas realizadas. Essa etapa deverá ser complementada pelos controles de qualidade de que tratam as regras da Associação Brasileira das Empresas de Pesquisa (ABEP) e as normas referenciadas no item 10.1 deste Manual. 

Uma vez atingidas 5 (cinco) tentativas de contato sem sucesso, a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso utilizada toda a observação da amostra, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato. 

Justificativa

1. Primeiro parágrafo: As alterações propostas visam a melhor clarificar esse procedimento específico. Quando a amostra inicialmente enviada à empresa pesquisadora é totalmente utilizada, seguindo as diretrizes do Manual, e a coleta não é finalizada, a Anatel pode enviar lotes extras de forma a viabilizar a coleta total do plano amostral planejado. Historicamente, a amostra inicial de 40 x n se mostrou insuficiente para alguns estratos, de modo que se fez necessário enviar amostra complementar, a fim de viabilizar a conclusão da pesquisa.
2. Segundo parágrafo: A proposta visa garantir que a Anatel receba as informações atualizadas sobre a operacionalização da coleta da pesquisa.
3. "iii) cronograma da coleta dos dados": Com as alterações propostas pretende-se especificar a periodicidade mínima a ser considerada no cronograma a ser apresentado à Anatel.
4. Quarto parágrafo: A alteração decorre da Anatel entender que não seja necessário especificar os detalhes excluídos e que as referências às regras da ABEP (que estão disponíveis no site da entidade e incluem seus padrões de qualidade) e às normas referenciadas no item 10.1 do Manual atendem plenamente aos requisitos de controle de qualidade que devem ser observados na aplicação da pesquisa.

2. Aspectos Gerais da Pesquisa - 2.4. Do Acompanhamento pela Anatel


O controle estatístico e qualitativo de cada pesquisa poderá ser baseado na verificação dos dados coletados e realizado de forma randômica pela Anatel. A Agência poderá, a qualquer momento da pesquisa, solicitar informações, acompanhar a aplicação dos questionários, submeter os dados coletados a análises e controles estatísticos e qualitativos. 

Além das informações a serem enviadas para a Anatel - descritas no item 8 deste Manual - fica facultada à Agência a possibilidade, nos casos em que julgar necessário, de solicitar à empresa contratada a emissão de relatórios específicos. 

A empresa pesquisadora proverá à Anatel informes parciais a respeito da progressão das entrevistas em campo. Tais informes deverão conter as informações que a Anatel julgar necessárias, a exemplo das constantes no Relatório de Ocorrência de Campo (ROC.) 

Justificativa


Propõe-se a inclusão da frase "Tais informes deverão conter as informações que a Anatel julgar necessárias, a exemplo das constantes no ROC" para formalizar algo que já vem acontecendo nas edições anteriores da pesquisa. Nas últimas edições, antes do início da coleta, a Anatel apresenta à empresa pesquisadora um calendário, mais detalhado que o estabelecido no Manual, que inclui a apresentação do andamento da coleta. Assim, a Anatel recebe a cada mês de coleta realizada os resultados do andamento dos trabalhos. 


2. Aspectos Gerais da Pesquisa - 2.5. Prestadoras Participantes da Pesquisa


Estão obrigadas a participar da pesquisa todas as prestadoras que não se enquadram na condição de Prestadora de Pequeno Porte, na forma definida na regulamentação, na data de referência de 31 de março do ano corrente.  

Entretanto, estão dispensadas do dever de participação as prestadoras que não se enquadram na condição de Prestadora de Pequeno Porte e que, após enviarem os relatórios de que tratam o item 5 deste Manual, possuírem menos de 10.000 (dez mil) contratos/acessos ativos e elegíveis por UF, de acordo com o item 2.6 deste Manual. 

As prestadoras desobrigadas de participar podem manifestar a sua intenção de participação, tempestivamente, através de solicitação específica formalizada na Anatel. Tal solicitação deve ser formalizada na Anatel por peticionamento eletrônico ou correspondência registrada, encaminhada à Superintendência de Relações com Consumidores até o dia 20 de março do ano a que se refere a pesquisa.  

Justificativa


Na versão atual do Manual não é especificada a data limite para manifestação pelas prestadoras com participação discricionária. Assim, optou-se por utilizar o primeiro prazo de entrega pelas prestadoras para a Anatel, que seria a data limite para informar os nomes e contatos dos responsáveis pelas atividades relacionada à pesquisa do ano corrente. 


2. Aspectos Gerais da Pesquisa - 2.6. Universos Pesquisados


Farão parte do Universo da Pesquisa – população-alvo, cujas informações deverão ser enviadas para a Anatel na base de clientes, conforme o item 5 deste manual, todos os usuários dos serviços de telecomunicações, observadas as seguintes condições: 

i. Os serviços que serão pesquisados são os seguintes: 

a) Telefonia Celular - Serviço Móvel Pessoal (SMP), modalidades pré e pós paga; 

b) Telefonia Fixa - Serviço Telefônico Fixo Comutado (STFC); 

c) Banda Larga Fixa - Serviço de Comunicação Multimídia (SCM); 

d) TV por Assinatura - incluem: 

• Serviço de Acesso Condicionado (SeAC); 

• Serviço de TV a Cabo (TVC); 

• Serviço de Distribuição de Sinais Multicanal (MMDS); 

• Serviço de Distribuição de Sinais de Televisão e de Áudio por Assinatura via Satélite (DTH); e 

• Serviço Especial de Televisão por Assinatura (TVA). 

ii. Apenas serão considerados nas pesquisas os contratos/acessos registrados em nome de pessoas físicas (PF); 

iii. No caso do SMP, os acessos em serviço para aplicações M2M (machine-to-machine) e os utilizados exclusivamente para dados serão excluídos do universo da pesquisa; e 

iv. A pesquisa é realizada por Unidade da Federação (UF) e de forma independente entre os serviços. 

Adicionalmente, durante as entrevistas, serão desconsiderados os usuários que: 

1. não são um dos principais usuários do serviço pesquisado; 

2. possuem menos de 18 anos; e 

3. trabalhem em empresas de pesquisa de opinião ou mercado, empresa ou departamento de marketing, agência de propaganda/comunicações, agência de promoção ou merchandising, rádio, jornal, revista ou televisão, operadoras de serviços de telecomunicações, órgão regulador ou de defesa do consumidor de serviços de telecomunicações. 

Justificativa


As pesquisas para o SMP Pré e Pós não serão mais realizadas de forma independente para alinhamento dos resultados da pesquisa com o disposto no regulamento do RQUAL, a partir do qual o Selo de Qualidade não será definido separadamente para as modalidades de pagamento do SMP, mas apenas para o serviço como um todo.

As demais alterações propostas no item são apenas para melhoria o texto, deixando-o mais claro quanto a independência da pesquisa entre os serviços.


3. Atributos ou Dimensões da Pesquisa


Os atributos da pesquisa, conforme definição da Resolução 654, de 13 de julho de 2015, são as características da prestação dos serviços que servem de base para a aferição do grau de satisfação e de qualidade percebida pelo usuário e, para efeito deste manual e da divulgação dos resultados, poderão ser também chamados de Dimensões, de modo a se obter maior proximidade com a literatura corrente sobre qualidade percebida. Essas dimensões são definidas pela Anatel, levando em consideração informações obtidas da análise dos registros de reclamações dos usuários, o conhecimento geral da Agência e suas demandas por informações, bem como estudos específicos elaborados com ou sem apoio de entidades externas.

 

 

Justificativa


O acréscimo do termo "dimensão" (ou "dimensões") como alternativa ao uso de "atributos" objetiva o alinhamento da terminologia do Regulamento da Pesquisa com a utilizada pelos estudos do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT) - unidade de pesquisa integrante da estrutura do Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e mais próximo da literatura atualmente sendo usada.

Quanto à inclusão do trecho "bem como estudos específicos elaborados com ou sem apoio de entidades externas", o objetivo é deixar mais transparente a possibilidade da participação de entidades externas para revisão no processo da pesquisa.

Já a proposta para excluir a tabela com a listagem dos atributos se deve a redundância com o item 3.1.


3. Atributos ou Dimensões da Pesquisa - 3.1 Definições dos atributos ou dimensões


• Satisfação Geral do Consumidor (SG): avaliação do consumidor acerca do resultado de sua relação de consumo junto a determinada prestadora. 

• Qualidade da Informação ao Consumidor (QIC): nível da prestação de informações ao longo do relacionamento consumidor-operadora. 

• Qualidade do Funcionamento (QF): avaliação das condições críticas de acesso, fruição e retenção, a depender do serviço. 

• Qualidade da Cobrança ou Recarga (QCR): avaliação sobre características da atividade de cobrança - envolvendo coerência e clareza - ou da atividade de recarga - no caso do serviço pré-pago, quanto aos critérios de compatibilidade entre créditos cobrados e créditos consumidos e de clareza nas informações apresentadas sobre o consumo de créditos de recarga. 

• Qualidade do Atendimento ao Cliente (QA): avaliação acerca de aspectos relacionados ao processo e ao resultado do atendimento nos canais utilizados. A dimensão pode ser unifatorial ou formada por dois fatores: Qualidade do Atendimento ao Cliente via Atendimento Telefônico (QAT) e Qualidade do Atendimento ao Cliente via Canais Digitais (QAD), a depender dos resultados da análise de que trata o item 7.1. 

Considerando-se a importância do efeito das dimensões da qualidade percebida sobre a dimensão de Satisfação Geral, constatada em pesquisa realizada para validação da estrutura interna de novo instrumento de pesquisa, o Índice de Satisfação Geral  será utilizado para composição do Selo de Qualidade de que trata o Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019. 

Justificativa


Os estudos empreendidos pelo IBICT vislumbraram a necessidade de realização de ajustes às dimensões (ou atributos) da qualidade percebida pelo consumidor. Embora tivessem como ponto de partida os atributos utilizados desde 2015, a revisão da literatura sobre pesquisas, bem como as análises qualitativas e quantitativas realizadas, apontaram para uma estrutura de aspectos da qualidade percebida tal e qual ora se propõe. Nota-se que, embora os nomes das dimensões e as definições tenham sido alteradas, em relação aos atributos anteriormente existentes, permanecem os temas satisfação geral, funcionamento, cobrança, recarga e atendimento. Como novidade, entra a dimensão "Qualidade da Informação ao Consumidor", que trata em última instância da transparência da relação da prestadora como consumidor. Convém ressaltar, ainda, que essa proposta de estrutura foi validada pela análise relativa à pesquisa piloto de que trata o item 3.17, utilizando-se o Modelo de Equações Estruturais já referenciado.

Quanto a inclusão do parágrafo final neste item o objetivo é explicitar qual será o índice a representar o IQP que irá compor o Selo de Qualidade de que trata o RQUAL, aprovado pela Resolução nº 717/2019.


4. Questionários


Os questionários a serem empregados devem avaliar o conjunto de atributos, da pesquisa e ser atualizados sempre que os dados obtidos indicarem essa necessidade ou quando a Anatel avaliar ser conveniente e oportuno pesquisar novos aspectos de satisfação e percepção de qualidade.

Cada população-alvo deve responder a um questionário específico. Para fins de estruturação do questionário, as perguntas devem ser organizadas em blocos homogêneos, relativos aos atributos da pesquisa. Para cada atributo já definido no item 3 deste Manual pode haver uma ou mais perguntas, de forma a captar a maior quantidade de informação daquele atributo, prezando-se, contudo, pela concisão do questionário como um todo.

A construção dos questionários deve se basear em procedimentos metodológicos de natureza similar constantes da literatura de pesquisas e incorporar a experiência de estudos anteriores, de modo ainda a possibilitar, quando possível, a comparação com resultados obtidos em anos anteriores.

As perguntas que visam a avaliar a satisfação e a qualidade percebida permitem ao entrevistado uma resposta utilizando escala de 0 (zero) até 10 (dez), onde 0 significa a avaliação mínima do atributo e 10 a avaliação máxima. De modo a aprimorar a qualificação das respostas, os questionários devem conter filtros para que apenas os usuários que passaram pelas experiências dos atributos respondam às perguntas dos blocos a eles relativos. Assim, a título de exemplificação, o usuário que não se relacionou com nenhum canal de atendimento da respectiva prestadora não responderá questões relacionadas a essa dimensão.

Com o objetivo de captar com acurácia a percepção e a satisfação do usuário, a Pesquisa tem como característica principal a avaliação por espontaneidade das respostas do entrevistado. Para que essa característica seja preservada, essas questões serão não-estimuladas e, por consequência, os questionários não serão previamente divulgados ao público-alvo.

Além de avaliar a satisfação e a qualidade percebida, os questionários também poderão incluir perguntas que avaliem o comportamento do consumidor em relação aos serviços prestados e à respectiva prestadora, além de questões que permitam entender o perfil sócio-demográfico dos entrevistados.

Justificativa


A maior parte das alterações propostas neste item não altera o sentido, apenas objetiva conferir maior clareza e coerência aos enunciados. A alteração mais significativa refere-se à inclusão do último parágrafo, com o intuito de especificar a possibilidade de uso de perguntas específicas que possam vir a agregar informação e ampliar as possibilidade de análises.


5. Relatório Quantitativo e Base de Clientes - 5.1. Relatório Quantitativo


O relatório quantitativo é o documento solicitado a critério da Anatel que deve ser elaborado pelas prestadoras participantes da pesquisa informando o quantitativo de acessos ativos em data de referência única e uniforme para todos os participantes, definida no item 2.5. deste Manual. A Anatel poderá solicitar, por meio de Ofício às prestadoras participantes, este documento, informando quais dados devem constar no arquivo sempre que entender necessário para esclarecer e complementar as informações referentes à base de clientes.

Justificativa


A fim de facilitar a leitura do relatório, o item "5. Relatório Quantitativo e Base de Clientes" foi separado em dois subitens: o "5.1 Relatório Quantitativo" e o "5.2 Base de Clientes".

Quanto a proposta de alteração no texto, pretende-se dar discricionariedade à Anatel para solicitar o Relatório Quantitativo, com os dados que eventualmente entender necessários, cujo envio atualmente é obrigatório. A equipe técnica entende que as informações constantes dos itens i e ii (para o SCM, o STFC e o serviço de TV por Assinatura) e dos itens i, ii e iii (para o SMP) deste relatório já constam da nova coleta de dados de acessos implementada a partir dos despachos SEI n° 5604181, 5604186, 5604191, 5701168, 5604174, tornando desnecessário o envio de tais informações no âmbito do processo de realização da Pesquisa. Desta forma, a ideia em tornar o relatório discricionário é racionalizar o processo, evitando que a equipe técnica tenha que conferir dados que já constem em outros relatórios, tornando o processo mais eficiente e célere. Outrossim, contribui para reduzir a carga regulatória às empresas, uma vez que tais relatórios deixam de ser obrigatórios e somente serão solicitados quando forem identificadas inconsistências relativas às bases de acessos já encaminhadas regularmente pelas prestadoras, com a finalidade de esclarecer tais inconsistências e evitar prejuízo ao bom andamento da Pesquisa. Quanto aos itens relacionados ao sigilo, não há qualquer dispositivo – nem no Regulamento, nem no Manual - que determine que qualquer arquivo venha com exceção em relação aos acessos que solicitaram sigilo. A única determinação é que seja informada a quantidade de acessos que solicitaram sigilo. Reforça esse posicionamento, o fato de que o item que define os universos pesquisados e as exclusões, não coloca os acessos que solicitaram sigilo no rol de exclusões, de modo que tal informação torna-se desnecessária. A conclusão é que a prática da exclusão desses acessos da base de dados não se dá com base no Regulamento, nem mesmo no próprio Manual de aplicação da pesquisa, mas em uma herança dos antigos regramentos das pesquisas que eram realizadas anteriormente pela Anatel. Neste aspecto, convém ressaltar que a Lei Geral de Telecomunicações (LGT) - cujo art. 3º, VI, continua vigente - assegura o direito de não divulgação do código de acesso a quem assim o requerer, com a intenção, nos parece, de resguardar a privacidade daquele que não quer ser encontrado em listas de código de acesso. Sob este prisma, as antigas normas das pesquisas criaram uma regra inócua para os fins da LGT, uma vez que a inclusão na base de dados dos códigos de acesso de quem solicitou sigilo - para fins amostrais da pesquisa - não fere o direito de não ter o seu código de acesso divulgado. Isto porque, entendendo-se por divulgação o “tornar público”, o mero encaminhamento da base de dados da prestadora para a Anatel não se converte em publicização dos códigos de acesso. Muito pelo contrário, tal medida é realizada seguindo as regras de proteção à privacidade e nenhum dado pessoal é tornado público nesse processo. Os resultados das pesquisas (sejam as atuais ou as anteriores) que são divulgados publicamente não contém dados pessoais. Por isso mesmo, as normas atuais da Pesquisa não repetiram esses dispositivos. Por sua vez a Lei Geral de Proteção de Dados, Lei nº 13.709/18 (LGPD) não traz qualquer óbice ao uso dos dados pessoais pela administração pública. Nem mesmo o consentimento seria necessário, desde que observadas suas regras e princípios, incluindo (aqui em destaque) o respeito à privacidade. Por fim, a inclusão de tais registros na base que servirá de parâmetro para sorteio das amostras enseja melhoria no resultado final da Pesquisa, uma vez que as amostras sorteadas seriam mais representativas da população-alvo que se deseja pesquisar.


5. Relatório Quantitativo e Base de Clientes - 5.2. Base de Clientes


A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à mesma data de referência do relatório quantitativo, a partir do qual a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos que poderão ser entrevistados. Esse arquivo deve conter pelo menos as seguintes informações:

1. município;

2. UF;

3. CPF do titular;

4. DDD e telefone para contato principal; e

5. dois DDDs e telefones alternativos para contato.

Os relatórios e bases aqui referidos devem ser encaminhados em formato aberto, preferencialmente do tipo CSV, por meio de transferência seguro disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução do formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos poderão ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

Justificativa


Quanto à exclusão do nome do titular, trata-se de uma adequação à LGPD, uma vez que tal informação tem se demonstrado desnecessária ao longo das pesquisas realizadas desde 2015. Em relação ao CPF (utilizado no processo de validação da base), o intuito é deixar claro que trata-se do CPF da pessoa titular do serviço.

As nova redação dado ao último parágrafo do item pretende especificar mais claramente os meios e formatos utilizados para transferência dos arquivos pelas prestadoras à Agência, alinhando de forma mais adequada o texto do Manual ao que estabelece o art. 3º, III, da Resolução nº 654/2015: "Manual de Aplicação: instrumento contendo os atributos de pesquisa, o planejamento amostral, a metodologia de pesquisa em campo, o cálculo da margem de erro, o calendário anual, a forma, o padrão, a regularidade e os meios de disponibilização ou envio das bases cadastrais e demais procedimentos operacionais necessários para a realização das pesquisas" (grifo nosso). Ressalte-se que preferimos, neste ponto específico, não entrar em mais detalhes por conta da evolução natural na tecnologia, que rapidamente pode deixar orientações deste tipo obsoletas, ou mesmo de dificuldades pontuais para se utilizar determinado formato ou meio. Assim, esperamos evitar alterações desnecessárias no Manual, ainda mantendo sua aderência ao que estabelece o regulamento.


6. Planejamento Amostral - 6.1. Definições


Para fins de planejamento amostral da pesquisa, aplicam-se as seguintes definições:

• Amostra: é qualquer subconjunto da população-alvo (Universo) de um dos serviços estudados na pesquisa, selecionado aleatoriamente por meio de um processo computacional, utilizando técnicas de amostragem estatística;

• Código de Acesso do Serviço/Usuário: conjunto de caracteres numéricos, estabelecido em plano de numeração que permite a identificação do usuário do SMP e do STFC a ele vinculado. Para fins dessa pesquisa inclui o DDD e o número do telefone do serviço pesquisado;

• População-alvo (Universo): é o conjunto de todos os usuários dos quais se tem interesse em pesquisar o grau de satisfação e a qualidade percebida, conforme critérios estabelecidos no item 2.6 deste Manual;

• Prestadora: é a pessoa jurídica que detém concessão, permissão ou autorização para a exploração de serviço de telecomunicações abrangido nesta pesquisa;

• Registro do Assinante: é o conjunto das informações cadastrais dos assinantes na base de clientes enviada pelas prestadoras à Anatel (conforme item 5.2);

• Unidade Primária de Amostragem (UPA): usuário do serviço de telecomunicações selecionado aleatoriamente para responder a pesquisa;

• Usuário: qualquer pessoa física, com 18 anos ou mais, que utiliza os serviços de telecomunicações em uma ou mais modalidades abrangidas por essa pesquisa;

• Variável: representação simbólica ou factual de um atributo; e

• Variável de Estratificação: variável utilizada no processo de amostragem aleatória estratificada, cuja característica permite a divisão da População-alvo em estratos (grupos homogêneos) de usuários, para cada serviço a ser pesquisado. Para fins dessa pesquisa, a variável de estratificação será a combinação de Unidade da Federação e prestadora.

Justificativa


Melhorar a clareza do texto e evitar repetição de informação já anteriormente referenciada.


6. Planejamento Amostral - 6.2. Das Unidades Primárias de Amostragem (UPA) de Pessoas Físicas


Em cada população-alvo a unidade primária de amostragem será:

• TV por Assinatura e SCM: registro do Assinante; e

• SMP e STFC: código de acesso (DDD e número do telefone).
Justificativa


Item sem alteração.


6. Planejamento Amostral - 6.3. Metodologia Estatística


A Metodologia Estatística adotada nessa pesquisa será a de levantamento amostral probabilístico para seleção das amostras. O plano amostral probabilístico reúne todas as técnicas que usam mecanismos aleatórios de seleção das unidades amostrais, atribuindo a cada um deles uma probabilidade, conhecida a priori, de pertencer à amostra. Uma das grandes vantagens desse plano é a de medir a precisão da amostra obtida, baseando-se no resultado contido na própria amostra. A definição da amostra a ser pesquisada será feita visando a obtenção de resultados generalizáveis para o Universo estudado, tomando por referência um determinado período base.

Justificativa


Item sem alteração.


6. Planejamento Amostral - 6.4. Técnicas de Amostragem


Dentre as diversas técnicas pertencentes aos métodos probabilísticos, a Pesquisa adotará a Amostragem Aleatória Simples (AAS) e a Amostragem Estratificada (AE).

A Amostragem Aleatória Simples (AAS) é a técnica mais simples para selecionar uma amostra probabilística de uma população-alvo. Utilizando um procedimento aleatório (computacional ou tabela de números aleatórios), sorteia-se um elemento da população-alvo, sendo que todos os elementos têm a mesma probabilidade de serem sorteados. Repete-se o procedimento até que as n unidades da amostra sejam sorteadas.

A Amostragem Estratificada (AE) procura explorar a ideia de que, quanto mais homogênea for a população-alvo, mais precisos serão os resultados amostrais. Nessa técnica, a população-alvo é dividida em estratos (subpopulações homogêneas mutuamente exclusivas), usualmente de acordo com uma variável de estratificação.

Na Pesquisa, a variável de estratificação utilizada será a combinação de Unidade da Federação e prestadora, de modo que possam ser comparáveis entre si. Para garantir a representatividade por Unidade da Federação e prestadora, em cada estrato dos serviços pesquisados será aplicada uma AAS para selecionar as unidades amostrais. A alocação do tamanho amostral em cada estrato se dará de modo a se buscar a precisão das estimativas tanto nos estratos quanto para toda a população, conforme definido no Regulamento da Pesquisa.

Justificativa


Item sem alteração.


6. Planejamento Amostral - 6.5. Erro Amostral


O erro amostral mensura o quanto os valores obtidos a partir das informações da amostra podem diferir do valor real da população-alvo.

Em qualquer estudo com amostras, o erro amostral está presente a certo nível de confiabilidade.

Destaca-se que não existe erro único para todas a pesquisa, pois cada variável tem distribuição de probabilidade própria. Para cada indicador obtido na amostra há um erro diferente que só pode ser efetivamente calculado após a execução do estudo.

As medidas de erro amostral da Pesquisa são planejadas pelo menos para as estimativas do Índice de Satisfação Geral (ISG), utilizando-se um coeficiente de confiança de 95% (noventa e cinco porcento). Os tamanhos das amostras serão dimensionados para se obter estimativas com erros de valor absoluto equivalentes a 5% do ISG, obtidas com os dados da pesquisa do ano anterior, para cada serviço.

Excepcionalmente,no caso da Pesquisa realizada em 2021, considerando que esta será a primeira pesquisa a utilizar um novo modelo, as medidas de erro amostral serão planejadas com base nos indicadores de satisfação geral, oferta e contratação, funcionamento, cobrança e recarga da pesquisa realizada em 2020.

Para cada indicador - dos acima mencionados, no caso da Pesquisa realizada em 2021 - ou para cada item que compõe o ISG - nas Pesquisas subsequentes a 2021 -  será calculado um tamanho de amostra e o tamanho a ser considerado para o estrato será o maior dentre os tamanhos calculados, de tal forma que a precisão amostral esteja assegurada em todos os indicadores ou itens acima referidos.

Após obtidos os resultados da pesquisa, o erro amostral de cada indicador é calculado por:



Esse cálculo tem por suposição que as observações sejam aleatórias e independentes (não-correlacionadas), com valor esperado igual à média do respectivo indicador.

Justificativa


Considerando que a) os indicadores (ou dimensões) da qualidade percebida passarão a ser calculados de forma diferente do que tem sido feito desde 2015 e b) a partir deste novo modelo alguns indicadores das dimensões da qualidade percebida ora apresentadas podem, eventualmente, não ser relevantes para a formação do ISG (a depender dos cálculos a serem realizadas em cada edição da Pesquisa), entendemos que nem sempre será possível planejar a amostra com base nessas dimensões. Por outro lado, as perguntas que irão compor o ISG devem permanecer estáveis, possibilitando utilizá-lo como parâmetro para os cálculos de erro amostral. A manutenção dos indicadores de satisfação geral, funcionamento, cobrança, recarga e oferta e contratação dar-se-há apenas para os coletados na pesquisa de 2020, e utilizados como referência para os cálculos da pesquisa de 2021, como elementos de transição entre o modelo atual e o novo modelo.


6. Planejamento Amostral - 6.6. Cálculo do Tamanho das Amostras


Para cada uma das populações-alvo (SMP, STFC, SCM e Serviços de TV por Assinatura), a alocação das amostras nos estratos se dará de forma desproporcional devido à alta variabilidade do tamanho dos estratos, caso em que a alocação proporcional causaria amostras extremamente pequenas e erros amostrais altos em alguns estratos ou, em outro extremo, amostras de tamanho tão grande que se tornam inexequíveis.

Para obtenção de resultados mais afinados com todas as populações, optou-se pelo cálculo mais ortodoxo de tamanho da amostra, que será calculado com correção para populações finitas, embora se saiba que, por aproximação de fórmulas matemáticas, quando um Universo tende ao infinito (>10.000), os valores para amostragem finita e infinita são bem semelhantes.

Como o objetivo do plano amostral é buscar garantir a precisão tanto das estimativas dos estratos quanto das estimativas da população como um todo, tem-se que os tamanhos das amostras em cada estrato e para cada indicador devem satisfazer:



Essa condição indica que com esses tamanhos amostrais pretende-se que os resultados de cada estrato tenham erro aproximadamente igual a ε, com (1 - α) x 100% de confiança. Como é gerado um tamanho de amostra para cada indicador em cada estrato, seleciona-se o maior tamanho, garantindo precisão para todos os demais indicadores, considerando o tamanho mínimo de 50 amostras. Para que os resultados de cada indicador consolidados para toda a população também possuam a precisão desejada, após o cálculo dos tamanhos amostrais de cada estrato é preciso garantir:



Caso seja identificada a entrada de um novo estrato na pesquisa, será considerada no cálculo do tamanho amostral a variância média da respectiva Unidade da Federação, estimada por valores de pesquisas anteriores. Caso não existam dados da Unidade da Federação em pesquisas anteriores, será utilizada a variância do resultado consolidado do serviço.

 

Justificativa


A exclusão da expressão "Pós, SMP Pré" no primeiro parágrafo do item objetiva o alinhamento dos resultados da pesquisa com o disposto no regulamento do RQUAL, a partir do qual o Selo de Qualidade não será definido separadamente para as modalidades de pagamento do SMP, mas apenas para o serviço como um todo.


6. Planejamento Amostral - 6.7. Seleção da Amostra


Calculado o tamanho da amostra em cada estrato, o processo de seleção se dará de forma probabilística, segundo o método de amostragem aleatória simples, com igual probabilidade de seleção entre as UPAs dentro dos estratos. Assim, parte-se do pressuposto técnico de que a amostragem é de natureza aleatória e o tamanho de cada subamostra será suficientemente significativo para sustentar a aferição do grau de satisfação e da qualidade percebida em nível de estratos da amostra.

A seleção das amostras será realizada pela Anatel a partir da base de dados da população-alvo, fornecida pelas prestadoras do serviço a ser pesquisado, de modo randômico.

Uma vez sorteadas as amostras, a instituição contratada para a operacionalização do estudo de campo, receberá as seguintes informações:

• serviço;

• unidade da federação;

• prestadora; e

• telefone(s) de contato.

Justificativa


Item sem alteração.


6. Planejamento Amostral - 6.8. Uso de Calibradores



Toda amostra estratificada planejada desproporcionalmente necessita da aplicação de calibradores para que, quando for interpretada, represente a população-alvo. A este método chamamos de raking.

Os calibradores utilizados neste estudo seguem uma estrutura simplificada, onde é possível sua demonstração através da seguinte fórmula:



Justificativa


Melhoria textual.


6. Planejamento Amostral - 6.9 Pesquisa Piloto


A empresa pesquisadora deve fazer, quando solicitada pela Anatel e desde que evidenciada a necessidade, rodada de entrevistas a título de pesquisa piloto, com informação prévia às prestadoras participantes. As pesquisas piloto de cada serviço devem ser submetidas a pelo menos 100 (cem) e no máximo 200 (duzentos) respondentes. Havendo a necessidade de adequação ao questionário, caberá à Anatel efetuar os ajustes cabíveis e tomar a decisão final a respeito.

Todos os resultados da pesquisa piloto devem ser entregues à Anatel em até 10 (dez) dias após seu término.

As pesquisas piloto têm o propósito de orientar as pesquisas principais e, por este motivo, seus resultados somente serão tornados públicos após a divulgação dos resultados da pesquisa à qual está relacionada.

Justificativa


Para ampliar a transparência nos trabalhos relacionados ao processo da pesquisa a equipe técnica entende ser mais producente possibilitar a publicação dos resultados das pesquisas piloto, quando eventualmente realizadas. Por outro lado, considerando que pesquisas piloto fazem parte do processo como um todo e que sua publicação antecipada poderia gerar confusão desnecessária quanto a que pesquisa está sendo divulgada, se propõe que elas sejam tornadas públicas apenas após a publicação da pesquisa que subsidia, sem óbice a que as operadoras tenham acesso a seus resultados antes, desde que mantida a discrição.  


7. Do cálculo dos indicadores e ranking - 7.1. Cálculo dos indicadores


Para o cálculo dos indicadores da pesquisa, são utilizadas a Análise Fatorial Confirmatória (AFC), para a formação do Índice de Satisfação Geral, a Modelagem por Equações Estruturais (MEE), para a formação dos indicadores de qualidade percebida específicos (e.g. indicador de qualidade de funcionamento) para cada dimensão do serviço. Para estas abordagens utiliza-se a Correlação Policórica, aplicada a dados ordinais que buscam estimar a correlação entre as variáveis latentes.

Para a formação do Índice de Satisfação Geral (ISG) – que pode variar de 0 a 10 –, é realizada, inicialmente, a AFC com o método de Estimação de Máxima Verossimilhança. O propósito desta análise é identificar uma dimensão unifatorial de Satisfação Geral do Consumidor, mensurada com base nas respostas a pelo menos três e no máximo cinco perguntas específicas que remetem à satisfação geral do consumidor. Em seguida, identificada a estrutura fatorial da dimensão de Satisfação Geral (variável latente), forma-se o ISG com base na estimativa não padronizada de regressão de cada item na composição da dimensão da variável latente Satisfação Geral, conforme resultado da AFC. O cálculo para cada estrato é mostrado a seguir:



Para a formação dos Indicadores de Qualidade Percebida Parciais (IQPP, específicos de cada dimensão do serviço), adota-se a MEE para identificar a estrutura fatorial das dimensões de qualidade percebida, definidas no item 3.1 deste Manual (ex: QF, QA, QIC). Deve-se atentar à dimensão de Qualidade do Atendimento, que pode ser uni ou bifatorial, conforme o serviço avaliado. A identificação da melhor estrutura para essa dimensão deve ser orientada pela comparação dos parâmetros da validade convergente e discriminante obtidos para os construtos das duas opções. Outro ponto de atenção é a dimensão de Qualidade da Cobrança ou Recarga, que no caso do serviço pré-pago é representada por questões relacionadas ao processo de recarga.

Identificada a estrutura fatorial, as dimensões da qualidade percebida que exercem influência significativa sobre a dimensão de satisfação geral (SG), para cada serviço e podendo-se descartar, quando considerado pertinente, as dimensões com efeitos não significativos.

A formação dos IQPPs – cuja escala pode variar de 0 a 10 – deve ser realizada com base em uma média das respostas a cada item da dimensão, ponderada pelos pesos das estimativas não padronizadas de regressão obtidas por meio da MEE, conforme fórmula a seguir:



Para aplicação da MEE, deve ser realizado um ajuste nos dados dos serviços, em função da adoção da amostragem estratificada. A fim de preservar a proporção estabelecida, o método peso da amostra deve ser usado, seguindo os estratos percentuais (conforme indicado no item 6.8), de modo a ponderar a base de dados levando-se em conta o tamanho do estrato amostral.

Cada dimensão (fator) de qualidade percebida é mensurada pelos seus respectivos itens. As estimativas padronizadas de regressão, geradas pela MEE (e também pela AFC), apontam o quanto cada item mede a dimensão estudada e podem assumir valores de até |1| (um). Além disso, tais estimativas devem apresentar significância estatística (p-valor < 0,05). Os aspectos da validade convergente anteriormente referidos são traduzidos nas estimativas padronizadas de regressão acima de 0,5 e nos valores da Variância Média Extraída (VME) e do Rho de Jöreskog, que precisam ser ≥ 0,5 e acima de 0,7, respectivamente. A validade discriminante é avaliada pelo método Fornell-Larcker, no qual os valores da raiz quadrada da VME devem ser maiores que a correlação entre os construtos (e.g. dimensões latentes de qualidade da cobrança e da qualidade do funcionamento).

Justificativa


Alterações propostas para alinhamento com o estudo do IBICT (anexo a esta consulta pública). Análises qualitativas e quantitativas foram realizadas com fundamento na literatura acadêmica sobre pesquisas, bem como comparativo com pesquisas realizadas por agências internacionais e nacionais, a fim de definir um modelo de pesquisa mais propício à definição de um índice que viesse a melhor servir ao Selo de Qualidade de que trata o RQUAL. Com base nisso e na análise dos resultados de pesquisa piloto realizada entre julho e setembro com cerca de 1700 consumidores, o IBICT chegou a uma proposta de revisão completa dos questionários de todos os serviços pesquisados. Também propôs e comparou três índices para formação do referido IQP, tendo demonstrado ser o mais adequado para fazer as vezes do IQP de que trata o RQUAL o índice baseado nas perguntas de satisfação geral (ISG), formado a partir do processo de Análise Fatorial Confirmatória (AFC). Além disso, por meio do Modelo de Equações Estruturais, propôs a definição de indicadores de qualidade percebida que se relacionam a esse ISG. Ambos os métodos são descritos acima e vem a substituir os métodos utilizados anteriormente.


7. Do cálculo dos indicadores e ranking - 7.2. Definição do Ranking


O ranking das operadoras por Unidade da Federação deve ser obtido, ao menos, para o indicador de Satisfação Geral, não se excluindo a possibilidade do cálculo do ranking dos demais indicadores, caso a Anatel julgue necessário. Para a definição do ranking será utilizada a Análise de Variância (ANOVA), técnica estatística que permite a comparação de múltiplas médias. A família de hipóteses associada ao teste é:



Sob a hipótese nula, todas as médias populacionais são iguais. A hipótese alternativa estabelece que pelo menos uma média é estatisticamente diferente das demais. Em caso de violação do pressuposto da homogeneidade das variâncias (pelo teste de Levene), poderá ser adotada a ANOVA com correção pela matriz de White (ANOVA robusta). Caso a hipótese nula não seja rejeitada, assume-se que não há evidências de que os indicadores das operadoras sejam diferentes entre si.

Do contrário, passa-se à utilização do método de comparação múltipla conhecido como teste de Tukey. Tal teste consiste na comparação de todos os possíveis pares de médias, ou seja, comparando par a par das médias, e é baseado na distribuição da amplitude estudentizada (studentized range distribution). O procedimento de comparação múltipla permite controlar a taxa de erro estabelecida no teste de hipóteses da ANOVA.

De acordo com Kutner et al. (2004), esse teste pode ser conduzido diretamente calculando a seguinte estatística do teste para cada comparação de médias duas a duas:





Adicionalmente, caso necessário, outros testes post-hoc paramétricos ou não paramétricos (e.g. Mann Whitney) poderão ser aplicados, além de Tukey, para localização das diferenças, a partir de comparações das operadoras par a par, nos casos em que os testes ANOVA rejeitem a hipótese nula, ou seja, em que pelo menos uma média é estatisticamente diferente das demais.

 

Justificativa


Alinhamento com o estudo do IBICT  (anexo a esta consulta pública), no sentido de tornar mais robusto o ranking e deixar mais claro os passos necessários para sua consecução.


8. Dos Dados Gerados pela Pesquisa - 8.1. Envio de Informações Coletadas à Anatel


A empresa pesquisadora deverá entregar diretamente à Anatel, no prazo estabelecido no calendário anual constante deste Manual:

A. os dados coletados, separados por prestadora, Unidade da Federação e serviço;

B. as gravações das entrevistas em campo, com identificação que permita à Anatel acessar cada uma delas diretamente;

C. as ocorrências de campos (análises das tentativas de contato, recusas, passagens pelos filtros, etc);

D. ranking de prestadoras por Unidade da Federação;

E. comparativo das informações coletadas com os resultados dos anos anteriores; e

F. os demais dados solicitados pela Agência, que sejam relevantes para o acompanhamento da apuração da pesquisa e da lisura de seus resultados ou para a correta interpretação e análise dos dados.

Os dados previstos nos itens “A” a “F” acima devem ser entregues em arquivos de formato definido pela Anatel.

Os arquivos referentes ao item “A” devem ser transferidos, preferencialmente, por sistema de carga de dados definido pela Anatel, atendendo à especificação do dicionário de dados específico.

Esse dicionário deverá especificar, pelo menos:

a) o nome das variáveis;

b) o tipo das variáveis;

c) a descrição das variáveis; e

d) a categoria ou valores atribuídos em resposta.

A Anatel definirá os meios pelos quais deverão ser entregues as informações referentes aos itens “B” a “F”.

As informações referentes ao item “C” deverão ser enviadas na forma de Relatório de Ocorrência de Campo (ROC) que deverá conter no mínimo (para cada serviço):

i. o plano amostral realizado (quantitativo de amostras por UF e prestadora);

ii. número médio de tentativas de contato por unidade amostral e por UF;

iii. tempo médio das entrevistas, por UF

iv. quantitativo de entrevistas recusadas, por UF;

v. quantitativo de entrevistas interrompidas por queda na chamada, por UF;

vi. quantitativo de entrevistas interrompidas por desistência do respondente, por UF; e

vii. quantitativo de entrevistas finalizadas pelos filtros constantes nos questionários de cada serviço, conforme exemplo abaixo (por UF):

a) trabalha em empresa de pesquisa, rádio, jornal, Anatel e etc;

b) não é cliente da operadora no serviço;

c) não é o principal usuário da linha;

d) pessoa jurídica;

e) mudou de plano pré-pago para pós-pago ou vice versa, e

f) idade inferior a 18 anos.

Justificativa


Racionalização e coesão textual.

Algumas informações anteriormente previstas já são divulgadas pela empresa pesquisadora no PPC e, como a empresa pesquisadora deve informar a Anatel de qualquer alteração no planejamento de execução da coleta, não há necessidade de enviar à Anatel informação em duplicidade.

Exclusão de informações que não tem sido utilizada pela Anatel e, caso venha a ser necessário, a Agência pode solicitá-lo com base no item F.


8. Dos Dados Gerados pela Pesquisa - 8.2. Envio dos Resultados à Anatel


Os resultados finais da pesquisa devem ser consolidados em relatório a ser encaminhado à Anatel no prazo estabelecido no calendário anual, constante deste Manual, contendo em seu formato, no mínimo:

i. escopo;

ii. resumo executivo;

iii. metodologia, contendo:

a) período da coleta;

b) tipo de amostragem;

c) desenho da amostra;

d) amostra coletada;

e) tipo de alocação dentro dos estratos;

f) erros amostrais a posteriori;

g) calibradores utilizados; e

h) procedimentos operacionais.

iv. análise do controle de qualidade dos dados coletados;

v. observações e considerações relevantes.

Adicionalmente, a Anatel poderá solicitar a inclusão de outras informações nos relatórios, tais como:

a) análise crítica aos dados coletados;

b) perfil sócio demográfico dos entrevistados - por prestadora, por serviço e por Unidade da Federação;

c) percepção de qualidade das prestadoras - por atributo, por prestadora, por serviço e por Unidade da Federação;

d) satisfação com as prestadoras - por prestadora, por serviço e por Unidade da Federação; e

e) ranking das prestadoras por Unidade da Federação, observados os preceitos da seção 7.2 deste Manual.

Outros relatórios com os resultados da pesquisa nos formatos e granularidades definidos pela Anatel, se necessários, poderão ser solicitados à empresa pesquisadora.

Justificativa


As informações já constam no relatório analítico elaborado pela Anatel. Ademais, todas as informações que estão sendo propostas como facultativas já são recebidas nos relatórios de resultados consolidados enviados pela empresa pesquisadora, gerados a partir das bases de entrevistas realizadas, estas também encaminhadas à Agência.


8. Dos Dados Gerados pela Pesquisa - 8.3. Envio de Informações Coletadas e dos Resultados às Prestadoras


Os dados da pesquisa previstos nos subitens “A” a “F” do item 8.1 e os seus resultados podem ser enviados pela Anatel às prestadoras participantes, de forma que estas recebam tão somente os seus próprios dados, sem que seja dado conhecimento às demais prestadoras dos resultados umas das outras. Somente serão enviados às prestadoras os contatos identificados referentes aos entrevistados que autorizaram o repasse da informação às prestadoras.

As prestadoras não podem dar publicidade aos seus resultados recebidos antes da divulgação pela Anatel.

Justificativa


Alteração para atualizar o Manual de Aplicação nos termos da LGPD , respeitando a vontade declarada do entrevistado.


9. Divulgação dos Resultados


O resultado da análise dos dados coletados será disponibilizado pela Anatel em sua página da internet, e por outros meios que julgar adequados, de acordo com o calendário anual estabelecido neste Manual. Adicionalmente, a Agência poderá divulgar os resultados da pesquisa em qualquer ocasião que julgar conveniente.

A Anatel dará às prestadoras conhecimento dos resultados globais previamente à sua publicação.

Justificativa


Item sem alteração.


10. Outras Disposições - 10.1. Contratação


As prestadoras devem contratar conjuntamente empresa especializada em realização de pesquisas. A empresa pesquisadora contratada pelas prestadoras deverá possuir os seguintes requisitos mínimos:

• ser filiada à ABEP (Associação Brasileira das Empresas de Pesquisa);

• possuir os padrões ESOMAR;

• possuir certificação ISO 20252;

• ser uma empresa de pesquisa constituída há pelo menos 3 (três) anos;

• possuir experiências comprovadas na atividade de pesquisa de mercado e de opinião; e

• não estar inscrita no Cadastro Nacional de Empresas Inidôneas e Suspensas (CEIS), do Governo Federal.

As prestadoras deverão informar à Anatel no prazo estabelecido no item 11 deste Manual a empresa pesquisadora contratada, bem como encaminhar documentos que comprovem que a empresa atende aos requisitos mínimos estabelecidos neste Manual. O envio da documentação comprobatória dos requisitos mínimos pode ser encaminhado à Anatel de forma centralizada por meio de uma prestadora ou de instituição representativa indicada conjuntamente pelas prestadoras.

Justificativa


As prestadoras devem encaminhar à Anatel a documentação referente a comprovação dos requisitos mínimos da empresa pesquisadora. Atualmente a Anatel recebe uma cópia de cada prestadora dos mesmos documentos. Na edição da pesquisa de 2020, a Gerência de Interações Institucionais, Satisfação e Educação para o Consumo - RCIC, responsável pelo acompanhamento da pesquisa, sugeriu às prestadoras que elas encaminhassem esta documentação de forma centralizada. Tal ação mantém o recebimento pela Anatel da documentação, mas elimina a necessidade da conferência da mesma documentação mais de uma vez, bem como torna o procedimento mais eficiente e racional. Convém ressaltar que o Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717/2019, estabelece que a Entidade de Suporte a Aferição de Qualidade (ESAQ) terá uma série de atribuições relacionadas à aferição da qualidade dos serviços de telecomunicações, especialmente voltadas à consolidação dos Índices que irão compor o Selo de Qualidade (art. 19, II, III, IV), não havendo qualquer demanda explícita do referido regulamento para que a entidade em tela atue em outras etapas da Pesquisa. Por outro lado, o Manual Operacional do RQUAL, que poderia melhor esclarecer essa questão, ainda está sendo elaborado, de modo que entendemos que a ESAQ, a princípio e com base puramente no que estabelece o regulamento de qualidade, receberá o Índices de Qualidade Percebida (IQPs) dos serviços já calculados pela Anatel e/ou empresa pesquisadora contratada pelas prestadoras, procedendo tão somente à já referida consolidação - no caso dos dados da Pesquisa. Por essa razão não propusemos a indicação da ESAQ para atuar no envio da documentação aqui tratada, muito embora acreditemos que o texto por nós proposto admita que possa ser esta a instituição representativa a ser indicada pelas prestadoras, caso assim elas decidam, sem prejuízo do que venha a dispor o Manual Operacional do regulamento de qualidade.


10. Outras Disposições - 10.2. Condições para a Troca da Empresa Contratada


Caso a Anatel constate indícios de que a empresa contratada não apresenta experiência, capacidade operacional ou nível de serviço adequados à realização da Pesquisa ou ao atingimento das obrigações regulamentares, inclusive as constantes deste Manual, poderá determinar que as prestadoras contratem uma nova empresa especializada em realização de pesquisa.

A determinação de contratação de nova empresa especializada em realização de pesquisa é restrita às hipóteses previstas acima, devendo ser fundamentada e formalizada por despacho decisório conjunto da Superintendência de Relações com Consumidores – SRC e da Superintendência de Planejamento e Regulamentação – SPR.

Justificativa


Item sem alteração.


10. Outras Disposições - 10.3. Divulgação da Realização da Pesquisa pelas Prestadoras


A prestadora deverá garantir, previamente e durante todo o período de coleta, a divulgação adequada e o fornecimento de esclarecimentos sobre as Pesquisas a todos os usuários pelos meios de atendimentos previstos no Regulamento Geral de Direitos dos Consumidores de Serviços de Telecomunicações, Resolução nº 632, de 7 de março de 2014, como:

a) Central de Atendimento Telefônico; e

b) Página da prestadora na internet, em local adequado e de fácil visualização.

Tais informações devem estar disponíveis até a finalização do período de coleta, conforme cronograma anual, constante deste Manual.

A Anatel, por sua vez, tomará as medidas cabíveis para garantir a divulgação e o esclarecimento de dúvidas dos usuários que lhe forem dirigidas, por exemplo, por meio do seu Centro de Atendimento (1331 ou 1332) ou da sua página na internet.

Justificativa


Com a nova redação a Anatel pretende deixar aberto para novos meios de atendimentos que venham a ser previstos no Regulamento Geral de Direitos dos Consumidores de Serviços de Telecomunicações - RGC.


10. Outras Disposições - 10.4. Segurança da Informação e Confidencialidade das Bases de Clientes


Todos os relatórios e dados das prestadoras recebidos pela Anatel para uso na pesquisa obedecerão rigorosamente as diretrizes da Lei Geral de Proteção de Dados, Lei nº 13.709, de 14 de agosto de 2018 e do Decreto nº 10.046, de 9 de outubro de 2019, que dispõe sobre a governança no compartilhamento de dados no âmbito da administração pública federal e institui o Cadastro Base do Cidadão e o Comitê Central de Governança de Dados. A empresa pesquisadora terá acesso somente às amostras selecionadas para a pesquisa.

Justificativa


A inclusão da previsão dos termos da Lei Geral de Proteção de Dados visa a garantir que as diretrizes e normativos estabelecidos por este Lei sejam considerados no processo da Pesquisa. 


10. Outras Disposições - 10.5. Do Descumprimento das Disposições contidas no Manual


O descumprimento das disposições deste Manual sujeitará as prestadoras às sanções cabíveis, nos termos da legislação e regulamentação aplicáveis.

 

 

Justificativa


Item sem alteração.


11. Calendário Anual


Prazo	Atividade	Responsável
01/03	Publicação do Manual de Aplicação a ser utilizado no ciclo de pesquisa (caso existam alterações)	Anatel
20/03	Envio à Anatel dos nomes e contatos dos responsáveis pelas atividades relacionadas à Pesquisa	Prestadoras
20/03	Prazo para manifestação das Prestadoras de Pequeno Porte para participação na Pesquisa	Prestadoras
31/03	Publicação das instruções sobre formatos e procedimentos de envio do relatório com o quantitativo dos acessos ativos e das bases de clientes	Anatel
30/04	Envio à Anatel do relatório com o quantitativo de acessos ativos e da base de clientes	Prestadoras
31/05	Comunicação à Anatel da empresa pesquisadora contratada pelas prestadoras	Prestadoras
15/06	Divulgação do plano amostral	Anatel
15/06	Envio à empresa pesquisadora e às prestadoras participantes os modelos de questionários a serem utilizados	Anatel
25/06	Envio do PPC à Anatel	Empresa Pesquisadora
30/06	Envio para a empresa pesquisadora dos contatos a serem entrevistados	Anatel
15/07	Início do Período de Coleta	Empresa pesquisadora
15/11	Fim do Período de Coleta	Empresa pesquisadora
05/12	Envio para a Anatel dos dados coletados (base de entrevistas realizadas e resultados consolidados), das gravações das entrevistas e das ocorrências de campo	Empresa pesquisadora
15/12	Envio para a Anatel do ranking das prestadoras da Pesquisa	Empresa pesquisadora
15/01	Envio das minutas dos relatórios finais da Pesquisa do ano anterior	Empresa pesquisadora
31/01	Envio dos relatórios finais da Pesquisa do ano anterior com os devidos ajustes	Empresa pesquisadora
31/03	Publicação dos resultados da Pesquisa do ano anterior	Anatel

Caso não seja verificado qualquer prejuízo à Pesquisa, todas as etapas podem ocorrer antes do previsto neste Manual de Aplicação, desde que acordado entre a Anatel e as prestadoras.

Caso os prazos definidos no Calendário Anual sejam feriados nacionais ou fim de semana, o prazo será postergado para o dia útil subsequente.

 

 

Justificativa


Na versão atual do Manual não estava explicitado o prazo para manifestação das Prestadoras de Pequeno Porte para participação na Pesquisa, que era inferido a partir dos demais, considerando o encadeamento lógico das atividades. Com a data prevista no Calendário Anual do Manual de Aplicação há maior transparência do processo à sociedade.

A alteração referente à data de 05/12 visa a deixar mais claro quais são as informações que devem ser encaminhadas à Anatel.