¿syncthreads () sincroniza todos los subprocesos en la cuadrícula?

El comando __syncthreads() es una barrera de sincronización de nivel de bloque . Eso significa que es seguro para ser utilizado cuando todos los hilos en un bloque alcanzan la barrera. También es posible usar __syncthreads() en código condicional, pero solo cuando todos los subprocesos evalúan de manera idéntica dicho código, de lo contrario, es probable que la ejecución se cuelgue o produzca efectos secundarios no deseados[4].

Ejemplo de uso __syncthreads(): (source)

__global__ void globFunction(int *arr, int N) 
{
    __shared__ int local_array[THREADS_PER_BLOCK];  //local block memory cache           
    int idx = blockIdx.x* blockDim.x+ threadIdx.x;

    //...calculate results
    local_array[threadIdx.x] = results;

    //synchronize the local threads writing to the local memory cache
    __syncthreads();

    // read the results of another thread in the current thread
    int val = local_array[(threadIdx.x + 1) % THREADS_PER_BLOCK];

    //write back the value to global memory
    arr[idx] = val;        
}

Para sincronizar todos los hilos en una cuadrícula actualmente hay no llamada a la API nativa. Una forma de sincronizar subprocesos en un nivel de cuadrícula es usar llamadas consecutivas al núcleo ya que en ese punto todos los subprocesos terminan y comienzan de nuevo desde el mismo punto. También se llama comúnmente sincronización de CPU o sincronización implícita. Por lo tanto, todos están sincronizados.

Ejemplo de uso de esta técnica (fuente):

Con respecto a la segunda pregunta. Sí , declara la cantidad de memoria compartida especificado por bloque. Tenga en cuenta que la cantidad de memoria compartida disponible se mide por SM. Así que uno debe ser muy cuidadosocómo se usa la memoria compartida junto con la configuración de lanzamiento .