Arriba, la onda de un sonido con cuatro notas y una palmada, en verde, con la ventana púrpura que se desliza por ella. A la derecha, el espectro de lo que queda dentro de la ventana, en ámbar y tumbado. Debajo, el espectrograma, que gana una columna de color en cada posición de la ventana: el tiempo va hacia la derecha, la frecuencia hacia arriba y la energía se lee en la barra de decibelios.
En la lección 4, el espectro salía de comparar la señal con una noria de prueba por cada frecuencia, y cada noria giraba durante toda la grabación. El espectrograma hace lo mismo con un trozo cada vez. Se corta un trozo corto con una ventana suave, la de Hann de la lección 5, que no deja bordes por los que se escape energía. Se le hace Fourier a ese trozo, y su espectro se tumba y se convierte en una columna de colores. Se desplaza un poco la ventana y se repite, y las columnas, una junto a otra, forman un mapa con el tiempo a lo ancho, la frecuencia a lo alto y la energía de cada casilla como color, en decibelios.
El procedimiento se llama transformada de Fourier de tiempo corto, y el espectrograma es la energía de cada casilla suya. Mueve la ventana por la onda y mira cómo cada posición añade una columna; con el otro mando, alarga o acorta la ventana y observa cómo cambia el dibujo.
Paso a paso
Lo que Fourier sabe y lo que no
Cada noria de prueba de la lección 4 gira durante toda la grabación, y el espectro dice cuánto se parece la señal a cada una. Eso responde muy bien a qué norias hay y de qué tamaño, pero como las norias no tienen principio ni fin, el espectro no tiene manera de decir cuándo suena cada cosa.
La prueba más clara es dar la vuelta a una grabación. Si lees un audio de atrás adelante, su espectro de amplitudes no cambia en nada: aparecen las mismas norias con el mismo tamaño. Lo único que cambia es la fase, el punto de partida de cada noria (lección 1), y ahí, repartido entre todas ellas, queda escondido el orden en que suenan las cosas. Esto es cierto para el espectro de la grabación entera, calculado de una vez, y vale para cualquier señal real, como lo es todo el audio.
Mientras el sonido no cambia, da igual: un diapasón suena igual de principio a fin y su espectro lo cuenta todo. La voz, la música o el canto de un pájaro cambian de un instante a otro, y a una señal así se la llama señal no estacionaria. Con ella, la pregunta ya no es qué norias hay, sino qué norias hay ahora.
Escucha las dos versiones de una melodía de tres notas y encuentra la que suena al derecho. Los espectros de amplitudes de las dos, dibujados encima, son idénticos, así que tendrás que fiarte del oído. Acierta dos veces seguidas.
Cortar, mirar y apilar
Para saber qué norias hay ahora basta con mirar solo lo que ocurre ahora. Se coloca sobre la señal una ventana corta, de unas decenas de milisegundos, y solo cuenta lo que queda dentro. A ese trozo se le hace Fourier y su espectro dice qué suena en ese instante. Si repites el cálculo con la ventana en un sitio y luego en otro, tienes una fotografía de lo que suena en cada momento.
La ventana avanza a saltos, y la distancia entre el comienzo de una ventana y el de la siguiente es el salto. Un salto pequeño da muchas columnas por segundo y uno grande, pocas, pero no cambia lo nítida que sale cada columna, de lo que se encarga la duración de la ventana. En la lección 10 también se troceaba la señal, pero allí los trozos se promediaban para quitar ruido; aquí se ponen en fila, uno al lado de otro, para ver cómo cambia.
Con una ventana simétrica, el espectrograma de la grabación al revés es exactamente el original visto en un espejo, con el tiempo dado la vuelta. Es la señal de que ahora sí está guardado el cuándo: cada columna ocupa su sitio, y dar la vuelta a la grabación cambia ese sitio.
Suenan cuatro notas, una detrás de otra, y una de ellas es de 554 Hz. Arrastra la ventana, o muévela con las flechas del teclado, hasta dejarla encima de esa nota, bien dentro de ella. El espectro del trozo te dice qué suena en cada sitio.
Cuatro formas para leer casi cualquier sonido
Un espectrograma se lee como una partitura que dibuja el propio sonido, con el tiempo a lo ancho y la altura de la nota en vertical. Un tono que se mantiene, como un silbido sostenido, es una raya horizontal. Si el tono cambia, la raya se curva, y un silbido que sube dibuja una diagonal ascendente. Un golpe, como una palmada o el comienzo de una «p», dura un instante y suena en muchas frecuencias a la vez, así que dibuja una raya vertical. El ruido, como la «s» o el viento, no tiene nota ni instante: se reparte por una zona de frecuencias y dibuja una nube.
La cuarta forma es una pila de rayas horizontales a la misma distancia, que es lo que dibuja una vocal cantada y de la que se ocupa el paso siguiente. Con estas cuatro, la raya que se curva, la vertical, la nube y la pila, se interpreta casi cualquier espectrograma.
Escucha los cuatro sonidos y elige el espectrograma que le corresponde a cada uno. Cada dibujo sirve para un solo sonido, y se barajan en cada visita.
Una nota es una pila de líneas
Cuando cantas una «aaa» no sale una sola raya, sino una pila de líneas horizontales a la misma distancia unas de otras. Son los armónicos de la lección 3, las norias que suenan a la vez con una frecuencia múltiplo de la fundamental, y la distancia entre dos líneas seguidas es justo la frecuencia de la fundamental. La nota que oyes es la línea de más abajo, y las de encima forman su timbre. Una voz grave tiene las líneas más juntas y una voz aguda, más separadas.
Si cantas una «a» y después una «i» en la misma nota, las líneas se quedan donde estaban, porque la nota no ha cambiado. Lo que cambia es cuáles se iluminan, porque la boca y la garganta refuerzan unas zonas de frecuencias y apagan otras. Esas bandas más brillantes dentro de la pila son los formantes. En la «i» la primera banda queda muy abajo y la segunda muy arriba; en la «a» las dos se acercan por el medio. Los números cambian de una persona a otra, y por eso conviene fijarse en la forma y no en las cifras.
Los formantes explican también por qué se entiende un susurro. Al susurrar las cuerdas vocales no vibran y las líneas de los armónicos desaparecen, pero las bandas brillantes siguen en su sitio, y con ellas, las vocales.
Esta melodía tiene cinco notas. Toca sobre el espectrograma una vez por nota, en la altura de su fundamental, que es la línea de más abajo de cada pila. Puedes arrastrar las marcas para corregirlas.
La ventana es una decisión
La duración de la ventana decide la nitidez, y no hay una duración buena para todo. Con una ventana corta, los comienzos y los golpes salen finos, pero las notas se emborronan en frecuencia y los armónicos se funden. Con una ventana larga ocurre al revés: las notas son rayas finas y los armónicos se separan, pero los golpes se extienden en manchas anchas. La lección 12 explica por qué no se pueden tener las dos cosas a la vez.
El primer espectrógrafo ya tuvo que elegir. Lo presentaron en 1946 Koenig, Dunn y Lacy, de los Laboratorios Bell, y llevaba dos filtros, uno estrecho de 45 hercios y otro ancho de 300. Con el estrecho se veía cada armónico de la voz subiendo y bajando con la entonación; con el ancho, las vocales aparecían como bandas oscuras y cada vibración de las cuerdas vocales, como una raya vertical. Sus inventores se quedaron con el ancho como compromiso. Hoy se habla de espectrograma de banda estrecha, hecho con una ventana larga, que enseña los armónicos, y de banda ancha, con una ventana corta, que enseña los formantes y los golpes.
Los otros mandos del espectrograma hacen cosas distintas. El salto solo decide cuántas columnas hay por segundo, y rellenar con ceros, como en la lección 5, dibuja la misma columna con más puntos sin añadir información. El rango en decibelios decide qué se ve y qué se hunde en el negro, y por eso el color no es el volumen que oyes: depende del rango que hayas elegido. La nitidez la decide la duración del trozo, que va ligada a la separación entre filas: con trozos de 512 muestras a 11.025 Hz, cada trozo dura unos 0,046 s y las filas del mapa quedan separadas 21,6 Hz, y a mayor duración, filas más juntas.
Este canto sintético es un trino, una serie de notas muy seguidas, seguido de un silbido. Con la ventana larga con la que empieza, las notas se funden en una banda. Acorta la ventana hasta separarlas, cuenta cuántas notas tiene el trino en su segundo y escribe el número.
El eje también es una decisión
El eje de frecuencias de un espectrograma puede ser lineal, con los hercios repartidos por igual, o logarítmico, con cada octava ocupando lo mismo, como las octavas de un teclado de piano. El lineal da casi todo el sitio a los agudos y muy poco a los graves, mientras que el logarítmico trata igual a las notas de cualquier altura.
Un caso famoso: en 1999, Aphex Twin escondió su propia cara en el sonido. Está al final de la segunda pista del sencillo Windowlicker, la que se titula con una fórmula matemática, a partir del minuto 5:27 y durante unos diez segundos. Para verla hace falta un espectrograma con el eje de frecuencias en escala logarítmica, y en lineal sale deformada. Se atribuye a un programa llamado MetaSynth, que convierte una imagen en sonido. El tema que da nombre al sencillo esconde otra imagen al final, una espiral. Ni la imagen ni el audio de esas pistas pueden estar aquí, porque son de terceros, y por eso el reto repite el truco con una palabra escondida en un sonido sintético.
Hay una palabra de cuatro letras escondida en este sonido, dibujada con tonos. Encuentra el ajuste del espectrograma que permite leerla y escríbela en el campo.
El espectrograma sirve para mucho más que para mirar. Shazam, según el método que publicó Wang en 2003, no compara canciones enteras: convierte cada canción en un espectrograma y se queda solo con sus picos, puntos sueltos que parecen un cielo estrellado. Para reconocer lo que suena, desliza la constelación de tu grabación sobre la de cada canción hasta que muchas estrellas coinciden a la vez, y cada pareja de picos forma una huella acústica pequeña y fácil de buscar. Aguanta muchísimo ruido: en las pruebas del artículo, bastaba con que sobreviviera un 1 o un 2 % de las huellas de una muestra de 15 segundos. Es el método de 2003, y no sé cómo funciona hoy la aplicación.
Los ornitólogos leen cantos con los ojos desde hace más de setenta años. El artículo de 1946 sobre el espectrógrafo ya incluía el canto de un ruiseñor y el de un zorzal, que al final del suyo emite dos notas a la vez. En 1954, W. H. Thorpe usó el aparato para estudiar cómo aprenden a cantar los pinzones vulgares. La máquina que se vendió después, el Sona-Graph, dio nombre al sonagrama de los pajareros. Hoy la aplicación Merlin, del Laboratorio de Ornitología de Cornell, convierte cada grabación en un espectrograma y la clasifica con técnicas de reconocimiento de imágenes; cuando salió su función de reconocer sonidos, en 2021, distinguía más de 400 especies de Estados Unidos y Canadá.
Para ver tus propias grabaciones fuera de esta página, Audacity tiene una vista de espectrograma en la que eliges el tamaño de la ventana y la escala del eje, lineal o logarítmica.
En tu voz
Qué grabar. Una «aaa» seguida de una «iii» en la misma nota, de unos 3 segundos cada una, que son el tramo 3 de la grabación de referencia de la serie. Si quieres más, prueba un silbido que sube y baja (tramo 4), una frase (tramo 5) o una melodía silbada (tramo 7). Graba con el micrófono si tu navegador lo deja; si no, sube un audio grabado con el móvil o elige uno de los ejemplos sintéticos.
Qué mirar. El espectrograma de todo lo que cargues, con el espectro de la grabación entera tumbado a su lado. En banda estrecha, tu «aaa» se deshace en una pila de líneas horizontales, más juntas cuanto más grave es tu voz. En banda ancha, las líneas se funden en bandas y cada vibración de tus cuerdas vocales aparece como una raya vertical. Fíjate en que en la «i» se iluminan unas bandas distintas que en la «a», aunque la nota sea la misma. Si ves líneas finas y fijas en 50, 100 y 150 Hz incluso en los silencios, es el zumbido de la red eléctrica y no tu voz.
Lo que tienes que recordar
El espectro de una grabación entera dice qué norias hay, pero no cuándo suenan: una grabación y la misma al revés tienen el mismo espectro de amplitudes, y el orden queda escondido en la fase.
El espectrograma corta la señal con una ventana deslizante, le hace Fourier a cada trozo y apila los espectros como columnas de color: el tiempo a la derecha, la frecuencia hacia arriba y la energía en decibelios. Se lee por formas: la raya, la vertical, la pila de armónicos y la nube.
La duración de la ventana es una decisión: corta, enseña bien cuándo; larga, enseña bien qué nota. El salto y los ceros no afinan nada, y el color depende del rango en decibelios que elijas.
Errores típicos
«El espectro ya dice cuándo suena cada nota.» El espectro de amplitudes de una grabación y el de la misma al revés son idénticos. El orden está en la fase, repartido entre todas las norias, y no se lee a simple vista. Para saber cuándo hay que trocear la señal, que es lo que hace el espectrograma.
«Para ver más detalle reduzco el salto o relleno con ceros.» El salto solo añade columnas y rellenar con ceros solo dibuja más puntos de la misma curva, como vimos en la lección 5. La nitidez en frecuencia la decide la duración de la ventana.
«Cada línea horizontal es una nota distinta.» Una sola nota de voz o de instrumento es toda una pila de líneas, sus armónicos. La nota es la línea de más abajo, o la distancia entre las líneas, y la «a» y la «i» cantadas en la misma nota tienen las mismas líneas, con distintas bandas iluminadas.
«El color es el volumen que oyes.» El color es la energía de cada casilla en decibelios respecto al máximo, y depende del rango elegido: si bajas el suelo aparecen cosas que no se oían, y si lo subes, desaparecen. Además, el oído no oye igual de fuerte todas las frecuencias.
«Cuanto más larga la ventana, mejor.» Una ventana larga afina las notas, pero convierte cada golpe en una mancha ancha. No hay una ventana mejor en general: depende de lo que quieras ver, y de eso trata la lección 12.
Abrir
Rincón matemático
Las fórmulas, para quien las quiera. Cada una va después de su lectura en palabras.
La transformada de Fourier de tiempo corto
Para cada instante \tau, se multiplica la señal por la ventana centrada en \tau y se compara el resultado con una noria de frecuencia f, sumando el área del producto:
La columna m empieza m saltos más allá, la fila k corresponde a k veces la frecuencia de muestreo dividida entre el tamaño del trozo N, y H es el salto en muestras:
El trozo dura lo que tardan en pasar N muestras, las filas están separadas la frecuencia de muestreo dividida entre N, y el producto de las dos cosas siempre vale uno:
Si y es x dada la vuelta dentro de una duración T, y x es real, la transformada de y es la conjugada de la de x con un giro de fase, y los módulos coinciden:
Con una ventana simétrica, el espectrograma de la versión al revés es el original con el tiempo invertido:
|Y(\tau, f)| = |X(T - \tau, f)|
La huella de Shazam
Cada pareja de picos da una huella con dos frecuencias y una diferencia de tiempos. Si la muestra es la canción, las diferencias entre los instantes de la canción y los de la muestra se amontonan en un único valor, el desfase:
Libro abierto · inglésDowney, A. B., Think DSP, cap. 3, «Non-periodic signals». Chirps, espectrograma, el compromiso entre tiempo y frecuencia y fugas, con código en Python.
Manual · inglésAudacity, Spectrogram View. Cómo ver tus propias grabaciones, con tamaño de ventana y escala lineal o logarítmica.
Artículo · inglésKoenig, W., Dunn, H. K. y Lacy, L. Y. (1946), The Sound Spectrograph, JASA. El artículo que presentó el espectrógrafo, con voz, pájaros y los dos filtros.
Web · inglésBastwood, The Aphex Face. La cara de Aphex Twin y por qué hace falta la escala logarítmica.