Formas de mejorar la precisión de un clasificador Bayes Ingenuo?

En mi experiencia, los clasificadores Bayes ingenuos debidamente entrenados suelen ser sorprendentemente precisos (y muy rápidos de entrenar notic notablemente más rápidos que cualquier clasificador-constructor que haya utilizado).

Así que cuando quieras mejorar la predicción del clasificador, puedes buscar en varios lugares:

• tune your classifier (ajuste de los parámetros sintonizables del clasificador);

• Aplicar algún tipo de técnica de combinación clasificador (por ejemplo, ensamble, impulsar, embolsado); o puede

• Mire los datos alimentados al clasificador add o bien agregue más datos, mejore su análisis básico o refine las funciones que seleccione datos.

W/r/t clasificadores bayesianos ingenuos, ajuste de parámetros es limitado; recomiendo centrarse en sus datos ie es decir, la calidad de su pre-procesamiento y la selección de características.

I. Análisis de datos (preprocesamiento)

Asumo que sus datos en bruto son algo así como un cadena de texto sin procesar para cada punto de datos, que mediante una serie de pasos de procesamiento transforma cada cadena en un vector estructurado (matriz 1D) para cada punto de datos de modo que cada desplazamiento corresponde a una entidad (generalmente una palabra) y el valor en ese desplazamiento corresponde a la frecuencia.

• stemming : ¿ya sea manualmente o usando una biblioteca de stemming? los populares de código abierto son Porter, Lancaster y Snowball. Así que para instancia, si usted tiene los términos programador, programa, progamming, programado en un punto de datos dado, un stemmer los reducirá a un single stem (probably program ) por lo que su vector de término para esos datos punto tendrá un valor de 4 para el programa de características, que es probablemente lo que quieras.

• búsqueda de sinónimos : la misma idea que stemming fold doblar palabras relacionadas en una sola palabra; por lo que un buscador de sinónimos puede identificar desarrollador, programador, codificador, e ingeniero de software y rodar en un solo término

• palabras neutrales : palabras con frecuencias similares entre clases hacen características pobres

II. Selección de características

Considere un caso de uso prototípico para NBCs: filtrado de spam; puede ver rápidamente cómo falla y también puede ver cómo mejorarlo. Por ejemplo, los filtros de spam por encima del promedio tienen características matizadas como: frecuencia de palabras en mayúsculas, frecuencia de palabras en el título y la ocurrencia de signo de exclamación en el título. Además, las mejores características a menudo no son palabras individuales sino, por ejemplo, pares de palabras, o grupos de palabras más grandes.

III. Optimizaciones de Clasificadores específicos

En lugar de 30 clases use un esquema 'uno contra muchos' in en otras palabras, comienza con un clasificador de dos clases (Clase A y 'todo lo demás'), luego los resultados en la clase 'todo lo demás' se devuelven al algoritmo para su clasificación en Clase B y 'todo lo demás', sucesivamente.

El Método Fisher (probablemente la forma más común de optimizar un clasificador Bayes ingenuo.) A mí, pienso en Fisher como normalizando (más correctamente, estandarizando ) las probabilidades de entrada Un NBC usa las probabilidades de característica para construir una probabilidad de 'documento completo'. El Método Fisher calcula la probabilidad de una categoría para cada característica del documento y luego combina estas probabilidades de característica y compara esa probabilidad combinada con la probabilidad de un conjunto aleatorio de características.