Tf–idf

O valor tf–idf (abreviação do inglês term frequency–inverse document frequency, que significa frequência do termo–inverso da frequência nos documentos), é uma medida estatística que tem o intuito de indicar a importância de uma palavra de um documento em relação a uma coleção de documentos ou em um corpus linguístico. Ela é frequentemente utilizada como fator de ponderação na recuperação de informações e na mineração de dados. O valor tf–idf de uma palavra aumenta proporcionalmente à medida que aumenta o número de ocorrências dela em um documento, no entanto, esse valor é equilibrado pela frequência da palavra no corpus. Isso auxilia a distinguir o fato da ocorrência de algumas palavras serem geralmente mais comuns que outras. A medida surgiu no contexto do modelo de espaço vetorial, no qual documentos e consultas são representados como vetores de pesos de termos e a semelhança entre eles é calculada por operações vetoriais. Variantes do esquema continuam a ser empregadas por motores de busca como componente de pontuação e ordenação de resultados, e o tf–idf serve ainda de linha de base habitual em tarefas de processamento de linguagem natural, como a classificação de textos e a extração de palavras-chave.