OverlapSphere

Collider[] resultados =
    Physics.OverlapSphere(
        transform.position,
        radio,
        layerObjetivos
    );

Buscar el más cercano

Transform masCercano = null;
float mejorDistancia =
    Mathf.Infinity;

foreach (Collider col in resultados)
{
    float distancia =
        Vector3.SqrMagnitude(
            col.transform.position -
            transform.position
        );

    if (distancia < mejorDistancia)
    {
        mejorDistancia = distancia;
        masCercano = col.transform;
    }
}

Por qué SqrMagnitude

Evita calcular raíces cuadradas innecesarias.

Resumen rápido

Physics.OverlapSphere(...)
Vector3.SqrMagnitude(...)