¿Cómo puedo calcular la similitud del coseno de dos vectores?

Si desea evitar depender de bibliotecas de terceros para una tarea tan simple, aquí hay una implementación de Java simple:

public static double cosineSimilarity(double[] vectorA, double[] vectorB) {
    double dotProduct = 0.0;
    double normA = 0.0;
    double normB = 0.0;
    for (int i = 0; i < vectorA.length; i++) {
        dotProduct += vectorA[i] * vectorB[i];
        normA += Math.pow(vectorA[i], 2);
        normB += Math.pow(vectorB[i], 2);
    }   
    return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}

Tenga en cuenta que la función asume que los dos vectores tienen la misma longitud. Es posible que desee verificar explícitamente su seguridad.

Echa un vistazo a: http://en.wikipedia.org/wiki/Cosine_similarity .

Si tienes vectores A y B.

La similitud se define como:

cosine(theta) = A . B / ||A|| ||B||

For a vector A = (a1, a2), ||A|| is defined as sqrt(a1^2 + a2^2)

For vector A = (a1, a2) and B = (b1, b2), A . B is defined as a1 b1 + a2 b2;

So for vector A = (a1, a2) and B = (b1, b2), the cosine similarity is given as:

  (a1 b1 + a2 b2) / sqrt(a1^2 + a2^2) sqrt(b1^2 + b2^2)

Ejemplo:

A = (1, 0.5), B = (0.5, 1)

cosine(theta) = (0.5 + 0.5) / sqrt(5/4) sqrt(5/4) = 4/5

Para el código de matriz en Java recomendaría usar la biblioteca Colt. Si usted tiene esto, el código se ve como (no probado o incluso compilado):

DoubleMatrix1D a = new DenseDoubleMatrix1D(new double[]{1,0.5}});
DoubleMatrix1D b = new DenseDoubleMatrix1D(new double[]{0.5,1}});
double cosineDistance = a.zDotProduct(b)/Math.sqrt(a.zDotProduct(a)*b.zDotProduct(b))

El código anterior también podría modificarse para usar uno de los métodos Blas.dnrm2() o Algebra.DEFAULT.norm2() para el cálculo de la norma. Exactamente el mismo resultado, que es más legible depende del gusto.

Cuando estaba trabajando con la minería de texto hace algún tiempo, estaba utilizando la biblioteca SimMetrics que proporciona una amplia gama de diferentes métricas en Java. Si sucede que necesita más, entonces siempre hay R y CRAN para mirar.

Pero codificarlo a partir de la descripción en Wikipedia es una tarea bastante trivial, y puede ser un buen ejercicio.

Para la representación dispersa de vectores usando Map(dimension -> magnitude) Aquí hay una versión de scala (Puedes hacer cosas similares en Java 8)

def cosineSim(vec1:Map[Int,Int],
              vec2:Map[Int,Int]): Double ={
  val dotProduct:Double = vec1.keySet.intersect(vec2.keySet).toList
    .map(dim => vec1(dim) * vec2(dim)).sum
  val norm1:Double = vec1.values.map(mag => mag * mag).sum
  val norm2:Double = vec2.values.map(mag => mag * mag).sum
  return dotProduct / (Math.sqrt(norm1) * Math.sqrt(norm2))
}

def cosineSimilarity(vectorA: Vector[Double], vectorB: Vector[Double]):Double={
    var dotProduct = 0.0
    var normA = 0.0
    var normB = 0.0
    var i = 0

    for(i <- vectorA.indices){
        dotProduct += vectorA(i) * vectorB(i)
        normA += Math.pow(vectorA(i), 2)
        normB += Math.pow(vectorB(i), 2)
    }

    dotProduct / (Math.sqrt(normA) * Math.sqrt(normB))
}

def main(args: Array[String]): Unit = {
    val vectorA = Array(1.0,2.0,3.0).toVector
    val vectorB = Array(4.0,5.0,6.0).toVector
    println(cosineSimilarity(vectorA, vectorA))
    println(cosineSimilarity(vectorA, vectorB))
}

Versión Scala