Aproximar tanh en ML: Padé, K-TanH y bit-hacks IEEE-754

Cada vez que una red neuronal hace un forward pass, puede evaluar la función tanh millones de veces. Cada plugin de audio que emula la saturación de un amplificador a válvulas aplica tanh a cada muestra, 44.100 veces por segundo. En ambos escenarios, la implementación estándar basada en exponenciales se vuelve un cuello de botella. Por eso existe toda una disciplina alrededor de cómo aproximar tanh sacrificando algo de precisión a cambio de velocidad: el arte de llegar a una respuesta suficiente