Al pausar el juego, decidí qué audio debe seguir funcionando.

Pausar un AudioSource

audioSource.Pause();

Continuar:

audioSource.UnPause();

AudioListener.pause

Puede pausar globalmente el audio que respeta esa configuración.

AudioListener.pause = true;

Reanudar:

AudioListener.pause = false;

Ignorar pausa

Un AudioSource puede configurarse para no ser afectado por la pausa del listener:

audioSource.ignoreListenerPause = true;

Útil para:

Resumen rápido

Pause()
UnPause()

AudioListener.pause
ignoreListenerPause