Cómo agregar un encabezado Access-Control-Allow-Origin en IIS7 con restricciones

Necesito acceder a un archivo de fuente en mi aplicación desde el servidor que también poseo. Funciona para todos los navegadores excepto Firefox, y sé que necesito agregar un encabezado 'Access-Control-Allow-Origin'.

Así que en la raíz de mi servidor hay otra aplicación con web.config a la que he añadido:

<httpProtocol>
  <customHeaders>
    <add name="Access-Control-Allow-Origin" value="*" />
  </customHeaders>
</httpProtocol>

Funciona bien sin embargo, no estoy seguro de cuáles son los problemas de seguridad aquí. ¿Especificar el dominio que puede acceder a él es una buena resolución de seguridad aquí? Creo que prefiero tener este configuración solo para archivos en la carpeta de fuentes y no para toda la aplicación. Vi una .solución htaccess para ello que requiere colocar el archivo en la carpeta deseada, pero cómo puedo hacerlo con web.configuración de configuración o IIS?

Apache:

<FilesMatch "\.(ttf|otf|eot|woff)$">
<IfModule mod_headers.c>
Header set Access-Control-Allow-Origin "http://yourdomain.com"
</IfModule>
</FilesMatch>

Muchas Gracias,