TheMusicTreePipelines
Un monorepo uv de pipelines Python/Polars qui reconstruisent une hiérarchie de genres à partir de la liste plate de genres de MusicBrainz, en s'appuyant sur la taxonomie des genres musicaux de Wikidata, puis exportent les arbres de genres et toutes les chansons MusicBrainz dédupliquées pour GrowTheMusicTree.
L'objectif est une référence qui classe toute la musique : les pipelines gardent donc chaque chanson. Une chanson sans genre ou sans vidéo jouable est quand même exportée, pour que les utilisateurs puissent la rattacher plus tard.
Pour qui
Data engineers et contributeurs qui veulent comprendre ou étendre la façon dont les données de genres et de chansons de TheMusicTree sont construites.
Fonctionnalités principales
- Pipeline MusicBrainz : hiérarchie de genres du genre racine au sous-genre puis à l'enregistrement
- Pipeline Wikidata : taxonomie des genres (arbre P279 subclass-of) depuis l'endpoint SPARQL public
- Pipeline de curation : récupère les listes de règles curées à la main depuis l'API GrowTheMusicTree
- Pipeline gold : exporte les arbres de genres et les chansons dédupliquées, avec genre et vidéo quand ils sont connus
- Couverture de tests combinée de 90 % imposée en CI, avec Ruff, pytest et pre-commit
Projets liés
Alimente GrowTheMusicTree avec ses arbres de genres et son catalogue de chansons.
Documentation technique
L'installation, les API, l'architecture et les workflows de contribution sont documentés dans les README de chaque dépôt (et ressources liées). Cette page se concentre sur l'histoire produit et sa place dans l'écosystème.