Last updated on octobre 24th, 2023 at 04:41 pm
L’IA générative a fait des avancées remarquables dans la génération d’images, de vidéos et de textes, mais l’audio semblait être en retard. Cependant, avec le lancement d’AudioCraft, un nouvel outil d’IA développé par Meta, la génération d’audio et de musique de haute qualité devient désormais accessible à tous.
Les modèles AudioCraft
AudioCraft se compose de trois modèles clés : MusicGen, AudioGen et EnCodec.
MusicGen
Le modèle MusicGen a été spécialement entraîné avec de la musique sous licence appartenant à Meta. Il est capable de générer de la musique à partir de simples consignes textuelles. La génération de musique est un défi complexe, car elle implique de modéliser des signaux et des motifs complexes à différentes échelles. MusicGen est capable de produire de la musique de haute qualité avec une cohérence à long terme.
AudioGen
Le modèle AudioGen a été entraîné avec des effets sonores publics. Il permet de générer des sons et des effets sonores tels que des aboiements de chien, des klaxons de voitures ou des pas sur un plancher en bois à partir de consignes textuelles.
EnCodec
EnCodec est un décodeur amélioré qui permet une génération de musique de meilleure qualité avec moins d’artefacts. Il offre une expérience d’écoute plus agréable en éliminant les imperfections souvent présentes dans la génération d’audio.
La démocratisation de l’IA générative audio
Meta a décidé de rendre ces modèles AudioCraft open source, offrant ainsi aux chercheurs et aux praticiens la possibilité de les utiliser et de les améliorer. C’est une première dans le domaine de la génération d’audio et de musique, qui était jusqu’à présent très complexe et peu accessible.
Avec AudioCraft, Meta simplifie la conception globale des modèles génératifs pour l’audio par rapport aux travaux antérieurs dans le domaine. Les chercheurs et les développeurs peuvent ainsi s’appuyer sur les modèles existants développés par Meta et les personnaliser selon leurs besoins.
Les bénéfices d’AudioCraft
AudioCraft offre de nombreux avantages pour les musiciens, les compositeurs et les concepteurs sonores. Il permet d’explorer de nouvelles compositions sans avoir à jouer une seule note sur un instrument. Il facilite également l’ajout d’une bande sonore à une vidéo publicitaire sur Instagram ou à tout autre projet nécessitant de l’audio.
L’outil est facile à utiliser et permet une génération d’audio et de musique de haute qualité. Il offre une grande flexibilité aux utilisateurs qui peuvent manipuler les modèles existants et développer les leurs. AudioCraft fonctionne pour la musique, les effets sonores, la compression audio et la génération en général.
L’avenir de l’audio et de la musique
Meta voit les modèles AudioCraft comme une source d’inspiration pour les musiciens et les concepteurs sonores. Ils peuvent être utilisés pour stimuler la créativité, faciliter le brainstorming et l’itération rapide des compositions. L’outil ouvre de nouvelles perspectives pour la création musicale et sonore.
Avec AudioCraft, Meta espère encourager l’innovation dans le domaine de l’audio et de la musique. L’ouverture des modèles aux chercheurs et aux praticiens favorisera le développement de nouvelles techniques de génération d’audio et de musique. Meta croit fermement que MusicGen peut devenir un nouvel instrument en soi, tout comme les synthétiseurs lors de leur apparition.
Conclusion
AudioCraft est un pas en avant majeur dans le domaine de la génération d’audio et de musique. Grâce à ses modèles MusicGen, AudioGen et EnCodec, il permet à chacun de générer de l’audio de haute qualité à partir de simples consignes textuelles. En rendant ces modèles open source, Meta encourage l’innovation et la créativité dans le domaine de l’audio et de la musique.
Nous sommes impatients de voir les réalisations des musiciens, des compositeurs et des concepteurs sonores qui utiliseront AudioCraft. Cet outil ouvre de nouvelles possibilités pour la création musicale et sonore, et pourrait bien révolutionner la façon dont nous produisons et écoutons l’audio et la musique à l’avenir.
Pour en savoir plus sur AudioCraft, consultez ce blog sur l’IA.