Artificial creativity
•
2 likes•313 views
Este documento presenta Magenta, un proyecto de Google Brain para la generación musical mediante redes neuronales. Explica conceptos básicos de música y diferentes enfoques para la generación musical, incluyendo sistemas basados en reglas, estocásticos y aprendizaje automático. Luego describe varios modelos de Magenta para generar melodías, polifonía y síntesis, usando representaciones como MIDI y arquitecturas como LSTMs, CNNs y VAEs.
Recommended
More Related Content
Recently uploaded
Recently uploaded (20)
Featured
Featured (20)
Artificial creativity
- 1. ARTIFICIAL CREATIVITY: Generación musical con redes neuronales en Magenta 1
- 2. About Me Gonzalo Estrán Buyo, student and AI researcher at UPM @sigmoider ➔ CS + Math student at Universidad Politécnica de Madrid. ➔ Deep Learning and Computational Linguistics research. ➔ I studied piano at the Professional Conservatory for ten years. ➔ Experience in music composition and free play. 2 gonesbuyo turingnianos. github.io
- 4. “Si un árbol cae en un bosque y nadie está cerca para oírlo, ¿hace algún sonido?” George Berkeley 4
- 5. Música “La música es sonido organizado” Varèse 1 5
- 6. Conceptos básicos ● Tono: sonido musical diferenciado, se escribe como una nota. Las notas se agrupan en compases. ● Ritmo: duración de una serie de notas. El tempo es el global. ● Timbre: la diferencia entre un instrumento y otros cuando tocan la misma nota. Es como un “color tonal”. 6
- 7. Conceptos básicos ● Tonalidad: orden de importancia entre los tonos de una pieza. ● Melodía: tema principal de la pieza, lo que siempre se pega. ● Armonía: fondo musical en el que se apoya la melodía. Do M Re M Do m 7
- 8. Tecnología “You can't really imagine music without technology” Brian Eno 2 8
- 9. Música y Tecnología ● Los instrumentos musicales son tecnología: medios, no fines ● La base del arte es la creatividad ● La creatividad no se basa en el azar: CONOCIMIENTO + INTENCIÓN + INTUICIÓN Información Contexto Predicción y Experiencia 9
- 10. Enfoques “You don't understand anything until you learn it more than one way.” Marvin Minsky 3 10
- 11. Sistemas de generación Sistemas basados en reglas Sistemas estocásticos Sistemas de aprendizaje automático 11 1 2 3 Aplicando condiciones a diferentes aspectos (ritmo, tono, duración, intensidad). Tratando las transiciones mediante estados con una probabilidad y cierta aleatoriedad. Haciendo uso de algoritmos que aprenden en base a una información para realizar inferencias.
- 12. Los inicios: Hiller 12 Lejaren Hiller Illiac Suite (1957) Sistemas basados en reglas Cadenas de Markov (sistemas estocásticos)
- 13. Los inicios: Xenakis 13 Iannis Xenakis Formalized Music (1963) Metastasis (1955) Sistemas estocásticos Analogique A (1958) Cadenas de Markov
- 14. David Cope: EMI 14 David Cope EMI: Experiments in Musical Intelligence (1963) Redes de Transición (Sistema basado en reglas)
- 15. Gramáticas generativas 15 Noam Chomsky Aspects of the Theory of Syntax (1965): Gramáticas Generativas (Sistema mediante reglas) A Generative Theory of Tonal Music (1983) Fred Lerdahl Ray Jackendoff
- 16. Algoritmos genéticos y autómatas celulares Andrew Horner Genetic Algorithms and Computer-Assisted Music Composition (1991) David E. Goldberg Algoritmos Genéticos (Aprendizaje automático) Peter Beyls The Musical Universe of Cellular Automata (1989) Autómatas Celulares (Sistema basado en reglas) 16
- 17. Redes Neuronales Peter Todd Music and Connectionism (1991), Todd et al. Primeros usos de RNNs Douglas Eck A First Look at Music Composition using LSTM Recurrent Neural Networks (2002) Primera aplicación de LSTM a música. Jürgen Schmidhuber 17
- 18. Estado del arte 18 CNNs (convolucionales: filtros sobre conjuntos)RNNs (recurrentes, sólo con corto plazo) LSTMs (RNNs con largo y corto plazo) seq2seq (autoencoder: traduce secuencias)
- 19. Magenta “In science, one learns the most by studying what seems to be the least.” Marvin Minsky 4 19
- 20. ¿Qué es Magenta? 20 Google Brain Team TensorFlow GitHub
- 21. Dimensiones OBJETIVO REPRESENTACIÓN ARQUITECTURA 21 1 2 3 Tipo de contenido musical (melodía, polifonía, acompañamiento, melodía con acordes, ...). Naturaleza de los datos que emplea el modelo (señal, señal transformada, piano roll, MIDI, texto, …) Modelo neuronal empleado (DNN, CNN, RNN, LSTM, VAE, seq2seq, GAN, …) ESTRATEGIA4 Modo de emplear el modelo para la generación (directa, reforzada, condicionada, muestreo, adversaria, ...)
- 22. Modelos (I) NOMBRE OBJETIVO REPRESENTACIÓN ARQUITECTURA ESTRATEGIA Melody RNN Basic Melodía MIDI LSTM Directa Melody RNN Lookback Melodía MIDI LSTM + Lookback Condicionada Melody RNN Attention Melodía MIDI LSTM + Attention Directa Improv RNN Basic Melodía MusicXML LSTM + Chord Embedding Condicionada Improv RNN Attention Melodía MusicXML LSTM + Attention + Chord Embedding Condicionada Improv RNN Chord Pitches Melodía MusicXML LSTM + 3 Chord Embeddings Condicionada 22
- 23. Modelos (II) NOMBRE OBJETIVO REPRESENTACIÓN ARQUITECTURA ESTRATEGIA Polyphony RNN Polifonía MIDI / MusicXML LSTM Directa RL Tuner Melodía MIDI LSTM + DQN Reforzada NSynth Síntesis Señal WaveNet autoencoder Generativa MusicVAE Melodía MIDI VAE (LSTMs) Muestreo Coconet Polifonía MIDI → Piano roll CNN + Gibbs Muestreo Pianoroll RNN-NADE Polifonía MIDI → Piano roll LSTM + NADE Muestreo 23
- 24. 24 Demo time