Advertencia de Hadoop "No se puede cargar la biblioteca nativa de hadoop para su plataforma"

Simplemente añade word native a tu HADOOP_OPTS así:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

PD: Gracias Searene

La respuesta depende... Acabo de instalar Hadoop 2.6 de tarball en 64-bit CentOS 6.6. La instalación de Hadoop de hecho viene con una biblioteca nativa pre-construida de 64 bits. Para mi instalación, está aquí:

/opt/hadoop/lib/native/libhadoop.so.1.0.0

Y sé que es de 64 bits:

[hadoop@VMWHADTEST01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 =>  (0x00007fff43510000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f9be553a000)
libc.so.6 => /lib64/libc.so.6 (0x00007f9be51a5000)
/lib64/ld-linux-x86-64.so.2 (0x00007f9be5966000)

Desafortunadamente, estúpidamente pasé por alto la respuesta justo ahí mirándome a la cara como yo estaba se centra en, " Es esta biblioteca 32 pr 64 bit?":

`GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)

Entonces, lección aprendida. De todos modos, el resto al menos me llevó a ser capaz de suprimir la advertencia. Así que continué e hice todo lo recomendado en las otras respuestas para proporcionar la ruta de la biblioteca usando la variable de entorno HADOOP_OPTS en vano. Así que miré el código fuente. El módulo que genera el error le dice la pista ( util.NativeCodeLoader):

15/06/18 18:59:23 WARN util.NativeCodeLoader: Unable to load native-hadoop    library for your platform... using builtin-java classes where applicable

Por lo tanto, fuera de aquí para ver lo que does:

Http://grepcode.com/file/repo1.maven.org/maven2/com.ning/metrics.action/0.2.6/org/apache/hadoop/util/NativeCodeLoader.java/

Ah, hay algunos registros de nivel de depuración - vamos a activar eso a ver si obtenemos alguna ayuda adicional. Esto se hace añadiendo la siguiente línea al archivo HAD HADOOP_CONF_DIR / log4j. properties:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

Luego ejecuté un comando que genera la advertencia original, como stop-dfs.sh y tengo esta cosa:

15/06/18 19:05:19 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /opt/hadoop/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /opt/hadoop/lib/native/libhadoop.so.1.0.0)

Y la respuesta se revela en este fragmento del mensaje de depuración (lo mismo que el comando ldd anterior 'intentó' decirme:

`GLIBC_2.14' not found (required by opt/hadoop/lib/native/libhadoop.so.1.0.0)

¿Qué versión de GLIBC tengo? Aquí hay un truco simple para averiguarlo:

[hadoop@VMWHADTEST01 hadoop]$ ldd --version
ldd (GNU libc) 2.12

Por lo tanto, no puedo actualizar mi sistema operativo a 2.14. La única solución es construir las bibliotecas nativas a partir de fuentes en mi sistema operativo o suprimir la advertencia y simplemente ignorarla por ahora. Opté por suprimir la molesta advertencia por ahora (pero planeo construir a partir de fuentes en el futuro) comprar usando el mismo las opciones de registro que utilizamos para obtener el mensaje de depuración, excepto ahora, simplemente lo convierten en un nivel de ERROR.

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

Espero que esto ayude a otros a ver que un gran beneficio del software de código abierto es que puede resolver esto si toma algunos pasos lógicos simples.

Tuve el mismo problema. Se resuelve añadiendo las siguientes líneas en .bashrc:

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

En mi caso , después de compilar hadoop en mi sistema operativo Linux mint de 64 bits, reemplazé la biblioteca nativa en hadoop/lib. Aún el problema persiste. Entonces descubrí que el hadoop apunta a hadoop/lib no a hadoop/lib/native. Así que simplemente moví todo el contenido de la biblioteca nativa a su padre. Y la advertencia acaba de desaparecer.

Después de una investigación continua como lo sugirió KotiI se resolvió el problema.

hduser@ubuntu:~$ cd /usr/local/hadoop

hduser@ubuntu:/usr/local/hadoop$ ls

bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin

hduser@ubuntu:/usr/local/hadoop$ cd lib

hduser@ubuntu:/usr/local/hadoop/lib$ ls
native

hduser@ubuntu:/usr/local/hadoop/lib$ cd native/

hduser@ubuntu:/usr/local/hadoop/lib/native$ ls

libhadoop.a       libhadoop.so        libhadooputils.a  libhdfs.so
libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a         libhdfs.so.0.0.0

hduser@ubuntu:/usr/local/hadoop/lib/native$ sudo mv * ../

Salud

Esto también funcionaría:

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native

Para aquellos en OSX con Hadoop instalado a través de Homebrew, siga estos pasos reemplazando la ruta y la versión de Hadoop cuando corresponda

wget http://www.eu.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz
tar xvf hadoop-2.7.1-src.tar.gz
cd hadoop-2.7.1-src
mvn package -Pdist,native -DskipTests -Dtar
mv lib /usr/local/Cellar/hadoop/2.7.1/

Luego actualizar hadoop-env.sh con

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc= -Djava.library.path=/usr/local/Cellar/hadoop/2.7.1/lib/native"

@zhutoulala F FWIW tus enlaces funcionaron para mí con Hadoop 2.4.0 con una excepción Tuve que decirle a maven que no construyera los javadocs. También usé el parche en el primer enlace para la versión 2.4.0 y funcionó bien. Aquí está el comando maven que tuve que emitir

mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

Después de construir esto y mover las bibliotecas, no se olvide de actualizar hadoop-env.sh :)

Pensé que esto podría ayudar a alguien que se encontró con los mismos obstáculos que yo

export JAVA_HOME=/home/hadoop/software/java/jdk1.7.0_80
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"

Mueva sus archivos compilados de la biblioteca nativa a la carpeta $HADOOP_HOME/lib.

Luego establezca las variables de entorno editando .bashrc file

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib  
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib"

Asegúrese de que los archivos compilados de la biblioteca nativa estén en la carpeta $HADOOP_HOME/lib.

Debería funcionar.

export HADOOP_HOME=/home/hadoop/hadoop-2.4.1  
export PATH=$HADOOP_HOME/bin:$PATH  
export HADOOP_PREFIX=$HADOOP_HOME  
export HADOOP_COMMON_HOME=$HADOOP_PREFIX  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native  
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop  
export HADOOP_HDFS_HOME=$HADOOP_PREFIX  
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX  
export HADOOP_YARN_HOME=$HADOOP_PREFIX  
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

Esta línea aquí:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

De la respuesta de KunBetter es donde está el dinero

Esta línea aquí:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

De la respuesta de KunBetter, funcionó para mí. Sólo añádelo a .archivo bashrc y recarga .contenido de bashrc

$ source ~/.bashrc

Tuve el mismo problema con JDK6,cambié el JDK a JDK8,el problema resuelto. Trate de usar JDK8!!!

Además de la respuesta aceptada de @zhutoulala, aquí hay una actualización para que funcione con la última versión estable hasta la fecha (2.8) en plataformas ARMHF (Raspberry Pi 3 modelo B). Primero puedo confirmar que debe recompilar bibliotecas nativas a 64 bits ARM, otras respuestas aquí basadas en establecer algunas variables de entorno no funcionarán. Como se indica en la documentación de Hadoop, las bibliotecas nativas preconstruidas son de 32 bits.

Pasos de alto nivel dados en el primer enlace (http://www.ercoppa.org/posts/how-to-compile-apache-hadoop-on-ubuntu-linux.html) son correctas. En esta url http://www.instructables.com/id/Native-Hadoop-260-Build-on-Pi / obtendrá más detalles específicos para Raspberry Pi, pero no para la versión 2.8 de Hadoop.

Aquí están mis indicaciones pour Hadoop 2.8:

• todavía no hay ningún paquete protobuf en la última Raspbian, por lo que debe compilarlo usted mismo y la versión debe ser exactamente protobuf 2.5 ( https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz )

• Se debe cambiar el método de parcheo del archivo CMake. Más aún, los archivos a patch no son lo mismo. Desafortunadamente, no hay ningún parche aceptado en JIRA específico para la versión 2.8. En esta URL ( https://issues.apache.org/jira/browse/HADOOP-9320 ) debes copiar y pegar el parche propuesto por Andreas Muttscheller en tu namenode:

  :hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ touch HADOOP-9320-v2.8.patch
  :hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ vim HADOOP-9320-v2.8.patch
  #copy and paste proposed patch given here : https://issues.apache.org/jira/browse/HADOOP-9320?focusedCommentId=16018862&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-16018862
  :hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ patch < HADOOP-9320-v2.8.patch
  patching file HadoopCommon.cmake
  patching file HadoopJNI.cmake
  :hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ cd ../..
  :hadoop-2.8.0-src $ sudo mvn package -Pdist,native -DskipTests -Dtar
  

Una vez que la compilación es exitosa:

    :hadoop-2.8.0-src/hadoop-dist/target/hadoop-2.8.0/lib/native $ tar -cvf nativelibs.tar *

Y sustitúyase el contenido del directorio lib/native de su instalación de Hadoop con el contenido de este archivo. El mensaje de advertencia al ejecutar Hadoop debe desaparecer.

Para instalar Hadoop es soooooo mucho más fácil instalar la versión gratuita de Cloudera. Viene con una bonita interfaz gráfica de usuario que hace que sea fácil agregar nodos, no hay compilación o relleno con dependencias, viene con cosas como hive, pig, etc.

Http://www.cloudera.com/content/support/en/downloads.html

Los pasos son: 1) Descargar 2) Ejecutarlo 3) Ir a web GUI (1.2.3.4: 7180) 4) Agregue nodos adicionales en la gui web (no instale el software cloudera en otros nodos, lo hace todo por ti) 5) Dentro de la GUI web vaya a Inicio, haga clic en Hue y Hue Web UI. Esto le da acceso a Hive, Pig, Sqoop, etc.

Remedio verificado de publicaciones anteriores:

1) Comprobé que el libhadoop.so.1.0.0 enviado con la distribución Hadoop fue compilado para la arquitectura de mi máquina, que es x86_64:

[nova]:file /opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0
/opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=3a80422c78d708c9a1666c1a8edd23676ed77dbb, not stripped

2) Añadido -Djava.library.path=<path> a HADOOP_OPT en hadoop-env.sh:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/opt/hadoop-2.6.0/lib/native"

Esto hizo desaparecer la molesta advertencia.

En primer lugar: Puede modificar la versión de glibc.CentOS proporciona softwares seguros tranditionally, también significa que la versión es antigua como glibc, protobuf ...

ldd --version
ldd /opt/hadoop/lib/native/libhadoop.so.1.0.0

Puede comparar la versión de glibc actual con la glibc necesaria.

Segundo: Si la versión del glibc actual es antigua,puede actualizar el glibc. Descargar Glibc

Si la versión actual de glibc id está a la derecha, puede agregar word nativo a su HADOOP_OPTS

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

No estoy usando CentOS. Esto es lo que tengo en Ubuntu 16.04.2, hadoop-2.7.3, jdk1.8.0_121. Corre start-dfs.sh o stop-dfs.sh con éxito sin error:

# JAVA env
#
export JAVA_HOME=/j01/sys/jdk
export JRE_HOME=/j01/sys/jdk/jre

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PATH}:.

# HADOOP env
#
export HADOOP_HOME=/j01/srv/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Reemplace /j01 / sys /jdk,/j01/srv / hadoop con su ruta de instalación

También hice lo siguiente para la configuración de una sola vez en Ubuntu, lo que elimina la necesidad de ingresar contraseñas varias veces cuando se ejecuta start-dfs.sh:

sudo apt install openssh-server openssh-client
ssh-keygen -t rsa
ssh-copy-id user@localhost

Reemplazar usuario con su nombre de usuario