Obtener GitLab CI para clonar repositorios privados

Aquí un howto completo:

Diseño general

• generando un par de claves SSH
• agregar la privada como variable de entorno seguro de su proyecto
• hacer que el privado esté disponible para sus scripts de prueba en GitLab-CI
• agregar la pública como clave de despliegue en cada una de sus dependencias privadas

Generando un par de claves SSH públicas y privadas

Generar un par de claves SSH públicas y privadas sin contraseña:

ssh-keygen -b 4096 -C "<name of your project>" -N "" -f /tmp/name_of_your_project.key

Añadiendo la clave SSH privada a tu proyecto

Debe agregar la clave como una variable de entorno seguro a su proyecto como siguiente:

• examinar https://<gitlab_host>/<group>/<project_name>/variables
• haga clic en"Agregar una variable"
• rellene el campo de texto Key con SSH_PRIVATE_KEY
• rellene el campo de texto Value con la propia clave privada SSH
• haga clic en"Guardar cambios"

Exponiendo la clave SSH privada a sus scripts de prueba

Con el fin de haga que su clave privada esté disponible para sus scripts de prueba que necesita agregar lo siguiente a su archivo .gitlab-ci.yml:

before_script:
  # install ssh-agent
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  # run ssh-agent
  - eval $(ssh-agent -s)
  # add ssh key stored in SSH_PRIVATE_KEY variable to the agent store
  - ssh-add <(echo "$SSH_PRIVATE_KEY")
  # disable host key checking (NOTE: makes you susceptible to man-in-the-middle attacks)
  # WARNING: use only in docker container, if you use it with shell you will overwrite your user's ssh config
  - mkdir -p ~/.ssh
  - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config

El fragmento de código proviene de la documentación de GitLab

Agregar la clave pública SSH como clave de despliegue a todas sus dependencias privadas

Debe registrar la clave SSH pública como clave de despliegue para todos sus datos privados dependencias como sigue:

• examinar https://<gitlab_host>/<group>/<dependency_name>/deploy_keys
• haga clic en"Nueva clave de despliegue"
• rellene el campo de texto Title con el nombre de su proyecto
• rellene el campo de texto Key con la propia clave SSH pública
• haga clic en"Crear clave de despliegue"

Solucionado esto agregando la clave a los hosts conocidos con ssh-keyscan -H 'localgitlab.co.uk' >> ~gitlab_ci_runner/.ssh/known_hosts

Si no desea jugar con las claves o submódulos ssh, puede anular el repositorio en la configuración de git para autenticarse con el token de trabajo en su lugar (en gitlab-ci.yml):

before_script:
  - git config --global url."https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.example.com/group/repo.git".insteadOf [email protected]:group/repo.git

Utilicé deploy tokens para resolver este problema, ya que la configuración de claves SSH para un corredor de prueba parece un poco larga.

git clone http://<username>:<deploy_token>@gitlab.example.com/tanuki/awesome_project.git

Los tokens de implementación son por proyecto y son de solo lectura.

Tuve un escenario en el que tuve que usar mi clave ssh en 3 scripts diferentes, así que puse las cosas de la clave ssh en un solo script de shell y lo llamé primero, antes que los otros 3 scripts. Esto terminó sin funcionar, creo que debido a que ssh-agent no persistía entre scripts de shell, o algo en ese sentido. Terminé simplemente enviando la clave privada al archivo ~/.ssh/id_rsa, que seguramente persistirá en otros scripts.

.gitlab-ci.yml

script:
    - ci/init_ssh.sh
    - git push # or whatever you need ssh for

Ci/init_ssh.sh

# only run in docker:
[[ ! -e /.dockerenv ]] && exit 0

mkdir -p ~/.ssh
echo "$GITLAB_RUNNER_SSH_KEY" > ~/.ssh/id_rsa
chmod 400 ~/.ssh/id_rsa
echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > /.ssh/config

It funciona como un encanto!

Parece que finalmente hay una solución razonable.

En resumen, a partir de GitLab 8.12, todo lo que necesita hacer es usar rutas relativas en el .submodules, y el git submodule update --init simplemente funcionará