Comunicación remota de Powershell con dirección ip como destino

He habilitado correctamente PSRemoting en mi servidor 2008 R2. Puedo hacer una pssession remota desde dentro de la misma red usando el nombre de host como destino.

Estoy fallando cuando intento usar la dirección IP como destino desde cualquier computadora (dentro de la red o desde otra red (por ejemplo, a través de VPN)). Quiero poder usar la comunicación remota a través de mi conexión VPN donde tengo que usar la dirección IP ya que el nombre de host no se puede resolver.

No quiero añadir nombres a mi archivo hosts porque hay algunos otros servidores en nuestros clientes que tienen el mismo nombre dns y no quiero eliminar e insertar la asociación nombre-dirección ip una y otra vez.

Espero que alguien pueda decirme cómo permitir que el psremoting-target sea llamado a través de IP.

Editar : Para ser más específico, quiero ser capaz de ejecutar esto:

Enter-PSSession -Computername 192.168.123.123 -credentials $cred 

Pero solo puedo ejecutar ese comando si paso un nombre de host a "-Computername"

Edit2:
Me están siguiendo. errormessage cuando intento iniciar sesión usando la ip en lugar del nombre de host (de la red interna):

Enter-PSSession : Connecting to remote server failed with the following error message : The WinRM client cannot process
 the request. Default authentication may be used with an IP address under the following conditions: the transport is HT
TPS or the destination is in the TrustedHosts list, and explicit credentials are provided. Use winrm.cmd to configure T
rustedHosts. Note that computers in the TrustedHosts list might not be authenticated. For more information on how to se
t TrustedHosts run the following command: winrm help config. For more information, see the about_Remote_Troubleshooting
 Help topic.

Edit3:
Sé acerca de la configuración de servidores de confianza de WSMan, pero ese no parece ser el problema. Ya está configurado en " * " (lo hice justo después de habilitar la comunicación remota), pero todavía no puedo conectarme a ese servidor usando la ip como target-computername, pero puedo conectarme usando el hostname como target-computername. Parece que hay algo como la unión en IIS que impide que el receptor escuche las solicitudes que se dirigen al número ip en lugar del nombre de host. Pero IIS no está instalado. No se donde buscar un escenario así.

Actualizar 2011-07-12:
Vale, creo que trustedhosts-setting no es el problema porque PUEDO conectarme desde nuestro DC vía hostname pero no si uso la dirección ip del destino para el computer-param.
Creo que el problema debe ser el oyente. Tal vez el oyente no acepta peticiones que se dirigieron a la dirección ip de destino en lugar del nombre de host de destino. Pero no se como cambiar eso.