Para limpar dados de pesquisa com o OpenRefine sem perder a trilha, preserve o arquivo bruto, importe uma cópia para um projeto, examine cada coluna com facetas e filtros, corrija primeiro problemas mecânicos e só depois padronize categorias ou una duplicatas. Revise cada operação no histórico, exporte a sequência de transformações e gere um novo arquivo limpo. Nunca sobrescreva a única cópia recebida nem trate uma mudança automática como correta sem conferir seus efeitos.
O OpenRefine é uma ferramenta local voltada à exploração e transformação de dados tabulares. Embora a interface seja aberta no navegador, o projeto é processado na máquina. Isso não elimina cuidados de segurança: informações pessoais devem ser minimizadas, protegidas e tratadas conforme o protocolo e as autorizações da pesquisa.
Preserve a base bruta e descreva o que cada coluna significa
Copie o arquivo recebido para uma pasta somente de leitura e registre nome, data, origem, formato, quantidade de linhas e, quando apropriado, um resumo de integridade. Trabalhe numa cópia. A base bruta é a referência que permite verificar se uma alteração veio da coleta ou da limpeza.
Antes de abrir a ferramenta, consulte ou crie um dicionário de dados. Para cada coluna, defina unidade, tipo esperado, valores permitidos, significado de vazio e identificador único. Sem essa definição, “corrigir” pode significar trocar uma categoria legítima por outra apenas porque ela aparece menos vezes.
Remova fórmulas que não precisam entrar e exporte a planilha como CSV ou outro formato aceito, preservando a codificação. Não transforme datas em texto por conveniência nem permita que zeros à esquerda desapareçam de códigos. Na pré-visualização de importação, confirme separador, cabeçalho, caracteres acentuados e número de colunas.
Crie o projeto e faça um diagnóstico antes de editar
Nomeie o projeto com versão e data. Confira as primeiras e últimas linhas e compare a contagem com o arquivo original. Procure colunas deslocadas, cabeçalhos duplicados, linhas de subtotal e notas incluídas no corpo. Esses problemas estruturais devem ser resolvidos antes de padronizar valores.
A documentação de facetas do OpenRefine explica que elas resumem distribuições e permitem trabalhar apenas com subconjuntos. Aplique faceta textual a categorias, faceta numérica a medidas e faceta de vazio quando precisar distinguir ausência de conteúdo. Observe quantidades, grafias raras e valores que parecem pertencer a outra coluna.
Não corrija imediatamente o primeiro valor estranho. Verifique se ele é erro de digitação, código válido, resposta aberta ou sinal de falha na coleta. Uma categoria com uma ocorrência pode ser rara e verdadeira. Volte ao instrumento, ao dicionário e, se permitido, ao registro-fonte.
Corrija primeiro os problemas mecânicos
Espaços no início ou no fim, variação de maiúsculas, caracteres invisíveis e pontuação inconsistente podem multiplicar categorias visualmente iguais. Use transformações pequenas e previsíveis, sempre com a faceta aberta para comparar antes e depois. A seção oficial sobre transformações mostra como expressões GREL operam sobre valores.
Aparar espaços é diferente de remover todos os espaços. “São Paulo” precisa manter o espaço interno. Converter tudo para maiúsculas pode facilitar uma chave técnica, mas é inadequado quando a capitalização carrega significado ou será exibida no relatório. Guarde uma coluna original quando a forma de apresentação importa.
Tipos misturados também exigem cuidado. A string “não se aplica” não deve virar zero numa coluna numérica. Datas incompletas não devem receber dia e mês inventados. Crie indicadores de ausência ou colunas auxiliares quando o plano de análise precisar distinguir não resposta, desconhecido e não aplicável.
Padronize categorias com facetas e decisões explícitas
Numa variável de município, “S. Paulo”, “São paulo” e “SAO PAULO” podem representar a mesma categoria, mas confirme antes de editar em massa. A edição de células permite alterar um valor e aplicar a mudança às células correspondentes na faceta. Registre qual forma canônica foi escolhida e por quê.
Clustering sugere grupos de valores semelhantes. Comece pelos métodos mais conservadores e examine cada sugestão. Algoritmos que aproximam grafias podem unir nomes, instituições ou códigos distintos. Aceite apenas agrupamentos cuja equivalência seja sustentada pelo contexto.
Crie uma tabela de correspondência para categorias recorrentes. Ela deve mostrar valor original, valor padronizado, regra e observação. Essa tabela pode ser aplicada a novos lotes e revisada quando surgir uma exceção, reduzindo decisões improvisadas ao longo da pesquisa.
Trate duplicatas a partir de uma chave justificável
Linhas iguais não são necessariamente duplicatas, e linhas diferentes podem representar a mesma unidade. Defina a chave com base no desenho da pesquisa: código do participante mais visita, identificador da instituição mais período ou outra combinação prevista. Nunca use nome ou e-mail como chave sem necessidade e proteção adequadas.
Ordene ou facetee a chave e investigue repetições. Compare todas as colunas relevantes. Duas respostas do mesmo participante podem representar medidas longitudinais; uma linha repetida integralmente pode resultar de duplo envio; valores conflitantes podem exigir retorno ao registro-fonte. A decisão precisa ser metodológica.
Em vez de apagar imediatamente, marque candidatos numa coluna auxiliar e conte quantos existem. Exporte uma lista para conferência quando necessário. Depois remova ou consolide apenas os casos decididos, preservando a justificativa e o efeito sobre o tamanho da amostra.
Use o histórico como parte do método
O OpenRefine registra operações do projeto e permite desfazer até um ponto anterior. Dê nomes interpretáveis a marcos e revise a sequência. Transformações exploratórias que não foram adotadas devem ser desfeitas, não deixadas misturadas à versão final.
Extraia o histórico aplicável em JSON para que a sequência possa ser reutilizada. Esse arquivo não basta sozinho: documente a versão da ferramenta, a base à qual se aplica e decisões manuais. Operações que dependem de seleção visual ou consulta externa precisam de descrição complementar.
Se uma regra produzir efeito inesperado, volte no histórico e corrija a lógica em vez de editar individualmente os resultados. A reprodutibilidade nasce de uma sequência clara, não de uma planilha aparentemente limpa cuja transformação ninguém consegue explicar.
Exporte sem sobrescrever a fonte
Antes da saída, confira contagem de linhas e colunas, identificadores únicos, intervalos numéricos, categorias permitidas e valores ausentes. Compare estatísticas simples com a base bruta. Uma redução grande de linhas, mudança de média ou desaparecimento de categoria exige justificativa.
Faça uma conferência por amostragem entre fonte, base bruta e saída limpa. Escolha casos comuns, valores raros, registros com ausência e linhas afetadas pelas regras mais abrangentes. Essa leitura vertical detecta transformações tecnicamente válidas que alteraram o significado no contexto. Registre os identificadores verificados e o resultado, sem copiar dados pessoais para um relatório desnecessário.
Valide ainda as relações entre colunas. Idade pode estar dentro do intervalo isoladamente e, mesmo assim, contradizer ano de nascimento; data de alta pode ser válida, mas anterior à admissão. O OpenRefine ajuda a criar facetas e expressões para esses testes, porém as regras precisam vir do desenho da pesquisa e do conhecimento do domínio.
Exporte para um novo arquivo com versão e data. Guarde juntos a base bruta protegida, o arquivo limpo, o projeto ou histórico, o dicionário de dados e o registro de decisões. O plano de análise definido antes da coleta indica quais variáveis e transformações são realmente necessárias.
Limpeza não é embelezamento. É um processo controlado para tornar tipos, categorias e unidades coerentes sem apagar a informação que explica como o dado foi produzido. O OpenRefine ajuda a enxergar padrões e repetir operações; o pesquisador continua responsável por significado, exceções e impacto analítico.
