NHibernate Fluido de Muchos a Muchos

Estoy usando Fluent NHibernate y tengo algunos problemas para establecer una relación de muchos a muchos con una de mis clases. Probablemente sea un error estúpido pero he estado atascado un poco tratando de que funcione. De todos modos, tengo un par de clases que tienen Muchas-Muchas relaciones.

public class Person
{
    public Person()
    {
        GroupsOwned = new List<Groups>();
    }

    public virtual IList<Groups> GroupsOwned { get; set; }
}

public class Groups
{
    public Groups()
    {
        Admins= new List<Person>();
    }

    public virtual IList<Person> Admins{ get; set; }
}

Con el mapeo como este

Persona: ...

HasManyToMany<Groups>(x => x.GroupsOwned)
    .WithTableName("GroupAdministrators")
    .WithParentKeyColumn("PersonID")
    .WithChildKeyColumn("GroupID")
    .Cascade.SaveUpdate();

Grupos: ...

 HasManyToMany<Person>(x => x.Admins)
    .WithTableName("GroupAdministrators")
    .WithParentKeyColumn("GroupID")
    .WithChildKeyColumn("PersonID")
    .Cascade.SaveUpdate();

Cuando corro mi prueba de integración, básicamente estoy creando una nueva persona y grupo. Agregar el Grupo a la Persona.Groupsown. Si recupero el Objeto Person del repositorio, el GroupsOwned es igual al grupo inicial, sin embargo, cuando recupero el grupo si compruebo count on Group.Administradores, la cuenta es 0. La tabla Join tiene el groupId y el PersonId guardados en ella.

Gracias por cualquier consejo que pueda tener.