Nivel 5 · Lección 18

Mover la energía a su sitio: la fase y la reasignación

Unos 50 minutos

La idea en una imagen

Cada punto es una casilla del espectrograma de una señal con una nota, un chirp que sube y un golpe, y su brillo es su energía. Al subir el control, cada punto viaja hasta el sitio donde su fase dice que está de verdad la energía, y las nubes se contraen hasta quedar en líneas: la horizontal es la nota, la diagonal es el chirp y la vertical es el golpe.

Un espectrograma, como el de la lección 11, reparte la energía en baldosas que no se pueden encoger (lección 12), y cada casilla pinta la media de lo que cae dentro de su baldosa. Esa energía no tiene por qué estar en el centro, y la fase de la casilla, que el espectrograma tira, dice dónde está en realidad.

Mueve el control a mano y fíjate en que los puntos no se desplazan todos igual: los de la nota solo suben o bajan hasta su línea, los del golpe se van hacia los lados y los del chirp viajan en diagonal. Cada uno va a su propio sitio, y la fase lo conoce.

Paso a paso

La mitad que tiramos

El espectrograma de la lección 11 se hace cortando la señal con una ventana que se desliza, haciendo Fourier de cada trozo y pintando una columna de color por trozo. Cada casilla de esa columna es el resultado de comparar el trozo con una noria de prueba, como en la lección 4, y una noria tiene dos datos: el tamaño, que es lo único que se pinta, y el punto de partida, que es la fase de la casilla y se tira.

¿Importa lo que se tira? Hay una demostración muy conocida con imágenes. Una imagen también se descompone en norias, en este caso en rayas, cada una con su tamaño y su punto de partida. Si tomas dos dibujos, calculas la transformada de cada uno y cruzas las mitades, de forma que un dibujo pone los tamaños y el otro los puntos de partida, ves el dibujo que puso la fase. A eso se le llama intercambio de fase, y es lo que hace el reto de abajo con dos dibujos sintéticos hechos en esta misma página.

Alan Oppenheim, Jae Lim y sus colegas estudiaron el asunto a finales de los años setenta. Una imagen hecha solo con la fase, con todos los tamaños iguales, conserva los bordes del original como una versión realzada y con algo de ruido, mientras que una hecha solo con los tamaños es una pequeña zona brillante en el centro, sin parecido con el original.

Consigue una imagen que se parezca a las letras usando los tamaños de la noria. Elige de qué dibujo salen los tamaños y de cuál los puntos de partida; las lecturas dicen cuánto se parece el resultado a cada original.

La flecha que gira de más

Mira cada casilla como una flecha cuya longitud es el tamaño y cuya dirección es la fase. Esa flecha sale de comparar el trozo con la noria de prueba de su fila, y se comporta como el estroboscopio de la lección 2: si la noria escondida en la señal gira exactamente a la velocidad de la noria de prueba, la flecha se queda quieta; si gira un poco más deprisa, la flecha avanza despacio, y si gira un poco más despacio, retrocede. La flecha gira, por tanto, a la velocidad de la diferencia.

Eso da un instrumento mucho más fino que la anchura de la mancha. Una casilla de la fila de 1.000 Hz pertenece a una mancha que ocupa decenas de hercios, pero si su flecha gira 36° de más en 2 milésimas de segundo, la noria que lleva dentro da 50 vueltas por segundo más que su fila. Es la frecuencia instantánea de la lección 15, leída dentro de cada casilla, y por eso se llama frecuencia instantánea local. Un truco equivalente ya se usaba en 1966 en el vocoder de fase de Flanagan y Golden, que calculaba así la frecuencia de cada canal.

La fase guarda también el instante. Si en lugar de comparar dos fotos seguidas comparas dos filas contiguas, cómo cambia la fase de una a la otra revela cuándo ocurrió de verdad lo que hay en esa casilla, el retraso de grupo local. Un golpe es el ejemplo más claro, porque su fase cambia de fila en fila al ritmo que marca el instante exacto en que cayó.

Calcula la velocidad real de la noria que lleva dentro la casilla de la fila de 1.000 Hz. La flecha se ha movido entre dos fotos separadas unos milisegundos, y lo que ha girado dice todo lo que necesitas.

Si quieres ver el giro en cámara lenta, pulsa el botón. Puedes escribir la frecuencia como «1050» o «1.050».

Cada punto, a su centro de gravedad

Cada valor del espectrograma es una media: la energía de la señal que cae dentro de su baldosa, repartida de cualquier manera. El espectrograma lo cuelga siempre del centro de la baldosa, y eso es como pesar una tabla con las pesas amontonadas en un extremo y suponer que todo el peso está en el medio. El sitio que corresponde es el centro de gravedad.

Las dos lecturas de la fase, la frecuencia local y el instante local, son justo las dos coordenadas de ese centro de gravedad. Llevar cada valor del espectrograma hasta allí es la reasignación, y la imagen que resulta es el espectrograma reasignado: las nubes de energía se contraen hasta quedar en líneas.

La idea la publicaron a finales de los años setenta Kodera, Gendrin y de Villedary, en una revista de geofísica y con el nombre de «método de la ventana móvil modificado». Se usó poco durante años y, según Auger y sus colegas, por una razón concreta: de la imagen que daba no había forma de volver a la señal. En 1995, Auger y Flandrin le dieron el nombre de reasignación y una receta más barata: en lugar de derivar la fase se calculan tres transformadas, una con la ventana, otra con su derivada y otra con la ventana multiplicada por el tiempo.

Con un tono, un chirp lineal o un golpe, la imagen reasignada es en teoría una línea sin grosor, sea cual sea la ventana. El espectrograma, en cambio, obliga a elegir entre una ventana corta, que afina el golpe, y una a medida, que afina el chirp. Las ventanas de este capítulo son gaussianas y su anchura se da con un solo número, σ, la desviación en milisegundos, que es la que moverás en los retos.

Consigue que el golpe y el chirp salgan finos a la vez: el chirp con menos de 5 Hz de anchura y el golpe con menos de 1 ms. Mueve la ventana y cambia entre el espectrograma y el reasignado.

Lo que la reasignación no arregla

La reasignación no rompe el límite de la lección 12. Mueve cada valor a su centro de gravedad, pero si dos notas caben en la misma baldosa, la energía de las dos está mezclada dentro de cada casilla y el centro de gravedad de una mezcla cae entre ellas. Ninguna fase puede repartirlas. Para que salgan como dos líneas, la separación entre las notas tiene que ser mayor que lo que mide, a media altura, la mancha de una nota sola: unos 37 Hz con una ventana de 10 ms, y menos cuanto más larga es la ventana.

El ruido es el otro enemigo. Un valor casi sin energía también tiene fase, y la reasignación lo mueve igual que a los demás, de modo que el ruido se convierte en una lluvia de motas brillantes. Por eso se fija un umbral de energía y no se mueve lo que queda por debajo, con la idea de dejar fuera el ruido sin perder lo débil que importa. Podrás moverlo en «En tu voz».

Las dos notas de la figura, de 1.000 y 1.040 Hz, tienen que salir como dos líneas finas: consigue que más del 90 % de la energía reasignada caiga a menos de 4 Hz de las notas. Solo puedes mover la ventana.

Una imagen perfecta, con fantasmas

Hay otra imagen del plano tiempo-frecuencia que clava un chirp sin el borrón del espectrograma: la distribución de Wigner-Ville, que Wigner definió en 1932 en la física cuántica y Ville llevó a las señales en 1948. Su problema aparece en cuanto hay dos componentes. Además de dibujar las dos, dibuja una tercera, un fantasma, justo a medio camino entre ellas, que parpadea entre valores positivos y negativos, y una energía negativa no tiene sentido.

La relación con lo anterior es sencilla: el espectrograma es la imagen de Wigner-Ville suavizada con la de la propia ventana. Suavizar borra los fantasmas, pero emborrona todo lo demás, que es justo lo que le pasaba al espectrograma. La reasignación vuelve a afinar la imagen y, según Auger y sus colegas, se libra de la mayor parte de las interferencias.

Coloca la segunda nota para que el fantasma caiga en la diana naranja. Toca el plano para colocarla; la primera nota no se mueve.

Un dibujo sin camino de vuelta

La reasignación da un dibujo estupendo, pero solo un dibujo. Para volver al sonido harían falta tres cosas, y ha perdido las tres. Guarda energía y no números completos, así que la fase se ha ido. Mueve valores también en el tiempo, de manera que ya no están en el instante en que se midieron. Y apila en un mismo punto valores que venían de sitios distintos, que ya no se pueden separar. Como resumen Auger y sus colegas, con la imagen reasignada no hay una forma sencilla de reconstruir las componentes.

Se puede comprobar con el oído, deshaciendo cada imagen con lo que tiene: la transformada completa con su fase, el espectrograma, que solo guarda los tamaños, y el reasignado. La frase que suena es sintética. La lección siguiente empieza justo aquí, porque la fase tiene lo necesario para afinar la imagen y habrá que usarla sin perder el camino de vuelta.

Una de estas tres imágenes guarda todo lo necesario para recuperar la grabación exacta. Escucha lo que sale de cada una y elige la buena.

En tu voz

Qué grabar. Una melodía corta, cantada o silbada: es el tramo 7 de la grabación de referencia de la serie. Con unos 6 segundos basta, y el laboratorio se queda con los 6 que tengan más sonido. Graba con el micrófono si tu navegador lo deja; si no, sube un audio grabado con el móvil o prueba con los ejemplos sintéticos.

Qué mirar. A la izquierda, el espectrograma, y a la derecha, el reasignado con la misma ventana. En una melodía cantada, cada armónico debería ser una línea fina que sube y baja con tu entonación, y el vibrato, una ondulación limpia; los ataques bruscos, como las palmadas, pasan de columnas anchas a rayas verticales. Con ruido de fondo salen motas por todo el plano, y entonces conviene subir el umbral. Con una voz muy grave y una ventana muy corta, los armónicos se estorban entre sí y vuelven a salir como manchas.

Lo que tienes que recordar

El espectrograma tira la fase, y la fase guarda dónde están las cosas: cuánto gira la flecha de cada casilla dice la frecuencia instantánea local, y cómo cambia de una fila a otra dice el instante.
La reasignación lleva cada valor del espectrograma a su centro de gravedad y las nubes de energía se contraen hasta quedar en líneas. Clava tonos, chirps lineales y golpes, pero no rompe la incertidumbre: dos notas dentro de la misma baldosa siguen estorbándose y el ruido también se mueve.
La imagen reasignada no tiene camino de vuelta, porque ha tirado la fase, ha movido valores de instante y ha apilado puntos. La pregunta que queda es si se puede afinar sin perder la vuelta.

Errores típicos

«El espectrograma lo tiene todo; la fase es ruido que se puede tirar.» La fase guarda dónde están las cosas: en una imagen, los bordes, y en el espectrograma, la frecuencia local y el instante de cada mancha.
«La reasignación vence a la incertidumbre.» Solo afina cuando en cada baldosa domina una componente. Dos notas más próximas de lo que mide la mancha de una sola se siguen estorbando, por mucha fase que haya.
«La reasignación lleva cada punto al máximo de su mancha, sin salir de su columna.» Lo lleva a su centro de gravedad, calculado con la fase, que puede estar en otro instante. En un tono el punto solo sube o baja hasta la línea, pero en un chirp viaja en diagonal hasta la recta, y por eso queda perfecto.
«La imagen de Wigner-Ville es la perfecta.» Lo es con una sola componente. Con dos, dibuja un fantasma a medio camino que oscila y puede ser negativo.
«Desde el espectrograma reasignado puedo volver a oír la señal.» No: ha tirado la fase, ha movido valores de instante y ha apilado puntos que venían de sitios distintos.

Abrir

Rincón matemático

Las fórmulas, para quien las quiera. Cada una va después de su lectura en palabras.

La transformada de tiempo corto y el espectrograma

Cada casilla compara la señal, recortada por una ventana g centrada en el instante t, con una noria de prueba de frecuencia f, y el espectrograma se queda con el tamaño al cuadrado:

V_x(t,f) = \int x(s)\,g(s-t)\,e^{-i2\pi f s}\,ds, \qquad S_x(t,f) = \left|V_x(t,f)\right|^2

La fase dice la frecuencia y el instante

Si la casilla se refiere al centro de su ventana, \tilde V_x, la velocidad con que gira su fase en el tiempo es la frecuencia instantánea local, y cómo cambia su fase con la frecuencia da el retraso de grupo, que corrige el instante:

\tilde V_x(t,f) = e^{i2\pi f t}\,V_x(t,f), \qquad \hat f(t,f) = \frac{1}{2\pi}\,\frac{\partial}{\partial t}\arg \tilde V_x(t,f), \qquad \hat t(t,f) = t - \frac{1}{2\pi}\,\frac{\partial}{\partial f}\arg \tilde V_x(t,f)

La receta de Auger y Flandrin

Las mismas coordenadas, sin derivar la fase: se calculan tres transformadas, con la ventana, con su derivada, en 1/s, y con la ventana multiplicada por el tiempo, en s, y se dividen entre sí:

\hat f(t,f) = f - \frac{1}{2\pi}\,\operatorname{Im}\!\left\{\frac{V_x^{g'}(t,f)}{V_x^{g}(t,f)}\right\}, \qquad \hat t(t,f) = t + \operatorname{Re}\!\left\{\frac{V_x^{t g}(t,f)}{V_x^{g}(t,f)}\right\}

La flecha entre dos fotos

Si la flecha de la fila f_k gira \Delta\varphi radianes de más en \Delta t segundos, la noria que lleva dentro va a esta frecuencia, con el giro medido entre -\pi y \pi:

\hat f \approx f_k + \frac{\Delta\varphi}{2\pi\,\Delta t}, \qquad \Delta\varphi \in (-\pi, \pi]

Con los números del texto, 36° son 0{,}2\pi radianes y, en 2 ms, la noria de dentro va a esta distancia de su fila:

\frac{0{,}2\pi}{2\pi\cdot 0{,}002} = 50\ \text{Hz}

El espectrograma reasignado

Cada valor del espectrograma se suma en el punto al que apuntan sus coordenadas reasignadas:

\hat S_x(t',f') = \iint S_x(t,f)\,\delta\big(t' - \hat t(t,f)\big)\,\delta\big(f' - \hat f(t,f)\big)\,dt\,df

Un chirp queda sobre su recta

Si la frecuencia sube \alpha hercios por segundo, cada punto reasignado cumple la ley del chirp, y por eso la imagen queda como una recta perfecta:

x(t) = e^{i2\pi\left(f_0 t + \alpha t^2/2\right)} \;\Rightarrow\; \hat f = f_0 + \alpha\,\hat t

El centro de gravedad

Cada valor del espectrograma es una media de la distribución de Wigner-Ville de la señal, pesada con la de la ventana alrededor de (t,f), y las coordenadas reasignadas son el centro de masas de esa media:

\hat t(t,f) = \frac{\iint s\,W_x(s,\xi)\,W_g(s-t,\xi-f)\,ds\,d\xi}{S_x(t,f)}, \qquad \hat f(t,f) = \frac{\iint \xi\,W_x(s,\xi)\,W_g(s-t,\xi-f)\,ds\,d\xi}{S_x(t,f)}

La distribución de Wigner-Ville y sus fantasmas

Compara la señal un poco hacia delante con la señal un poco hacia atrás, para todos los retrasos, y hace Fourier de ese producto:

W_x(t,f) = \int x\!\left(t + \tfrac{\tau}{2}\right)\,x^{*}\!\left(t - \tfrac{\tau}{2}\right)\,e^{-i2\pi f\tau}\,d\tau

La de una suma no es la suma de las de cada parte, porque sobra un término cruzado:

W_{x_1+x_2} = W_{x_1} + W_{x_2} + 2\,\operatorname{Re}\,W_{x_1,x_2}

Con dos notas en (t_1, f_1) y (t_2, f_2), el término cruzado está en el punto medio y oscila con una frecuencia que crece con la distancia entre las notas:

(t_m, f_m) = \left(\tfrac{t_1+t_2}{2},\, \tfrac{f_1+f_2}{2}\right), \qquad 2\,\operatorname{Re}\,W_{x_1,x_2} \propto \cos\!\big(2\pi\left[(f_1-f_2)(t-t_m) - (t_1-t_2)(f-f_m)\right] + \phi\big)

El espectrograma es esa imagen suavizada con la de la ventana, y por eso borra los fantasmas a costa de emborronar:

S_x(t,f) = \iint W_x(s,\xi)\,W_g(s-t,\ \xi-f)\,ds\,d\xi

Separación mínima entre dos notas

Con una ventana gaussiana de desviación \sigma, la mancha de una nota sola mide a media altura la cantidad siguiente, que es la separación mínima en hercios para que dos notas salgan como dos líneas:

\Delta f_{\min} = \frac{\sqrt{2\ln 2}}{\pi\,\sigma}

Con \sigma = 10 ms son unos 37 Hz, y con 12 ms, unos 31 Hz.

El intercambio de fase

Se toma el tamaño de la transformada de una imagen A y la fase de la de otra imagen B, y se deshace la transformada:

I_{AB} = \mathcal{F}^{-1}\!\left\{\,\left|\mathcal{F}\{A\}\right|\;e^{\,i\arg \mathcal{F}\{B\}}\right\}

Para saber más

Libro abierto · inglésAuger, Flandrin, Gonçalvès y Lemoine, Time-Frequency Toolbox. Tutorial (licencia GNU FDL). El capítulo 4 explica la Wigner-Ville, la geometría de sus fantasmas y la reasignación con la analogía del centro de gravedad.
Artículo abierto · inglésAuger, F., Flandrin, P., Lin, Y.-T., McLaughlin, S., Meignen, S., Oberlin, T. y Wu, H.-T. (2013). Time-frequency reassignment and synchrosqueezing: an overview. IEEE Signal Processing Magazine. La historia y las fórmulas de la reasignación y el sincrosqueezing, en nueve páginas.
Artículo abierto · inglésFitz, K. R. y Fulop, S. A. (2009). A unified theory of time-frequency reassignment. La reasignación contada desde el audio y la voz, con su historia y sus métodos de cálculo.
Artículo abierto · inglésOppenheim, A. V., Lim, J. S., Kopec, G. y Pohlig, S. (1979). Phase in speech and pictures. ICASSP '79. Imágenes y voz reconstruidas solo con la fase, y por qué la escala importa.
Traducción histórica · inglésVille, J. (1948), traducción de RAND de 1958, Theory and Applications of the Notion of Complex Signal. El origen de la señal analítica y de la distribución de Wigner-Ville en señales.