TP2 𧟠Analyse de données
Une vidéo expliquant en détail le TP et fournissant quelques conseils est disponible en bas de page.
Les données sont partout autour de nous. Savoir les analyser et en tirer des conclusions est une compétence essentielle dans de nombreux domaines, en particulier en science.
Dans ce TP, vous allez choisir un ensemble de données réelles, les analyser à l'aide de Python et produire des visualisations pour illustrer vos découvertes.
Ă la fin de ce travail, vous serez capable de :
- Lire et traiter des fichiers CSV avec Pandas
- Créer des visualisations de données avec Matplotlib
- Interpréter des données scientifiques réelles
- Ăcrire dans un fichier texte un rapport
âđ€ đ đ«
Si votre travail est suspecté de plagiat (code copié d'un(e) autre étudiant(e), code généré par IA, notions non abordées en classe, etc.), deux choses peuvent se produire :
- Le plagiat est prouvé par nos outils : note de 0, automatiquement.
- Le plagiat est plutÎt évident, mais une validation est requise : vous serez convoqué(e) au bureau de votre enseignant(e). Vous devrez répondre à certaines questions pour prouver que vous comprenez et maßtrisez le code qui a été utilisé. Si vous ne réussissez pas à répondre à certaines questions, vous aurez la note de 0 (si vous ne comprenez pas votre propre code, c'est que vous avez plagié, d'une maniÚre ou d'une autre).
- Télécharger le fichier CSV de données approprié en lien avec le projet.
- Ăcrire un script Python qui lit le fichier CSV, analyse les donnĂ©es et produit :
- des figures (en format PNG) en utilisant les bibliothĂšques Pandas et Matplotlib.
- un fichier texte contenant les réponses à des questions d'analyse.
Votre enseignant a créé pour vous un dépÎt personnel, accessible seulement par vous.
Clonez-le et utilisez-le tout au long du TP : c'est ce dépÎt que votre enseignant récupérera pour la remise.
La structure du dossier :
âââ .gitignore # Fichiers Ă exclure des commits
âââ analyse.py # RĂ©ponses de la partie 1
âââ autocorrecteur.py # Script pour correction de la partie 1
âââ figures.py # RĂ©ponses de la partie 2
âââ README.md # Documentation du projet
âââ requirements.txt # DĂ©pendances du projet
âââ telecharger_arbres_csv.py # Script pour tĂ©lĂ©charger les donnĂ©es
GitHub est avant tout une plateforme conçue pour héberger des fichiers légers contenant du code source.
Par principe, certains éléments ne doivent jamais figurer dans un dépÎt Git :
- Les fichiers volumineux : ils ralentissent les opérations de clonage et de mise à jour.
- Les fichiers de configuration d'IDE : par exemple, le dossier
.ideade PyCharm, qui est propre Ă votre environnement de travail local. - Les fichiers gĂ©nĂ©rĂ©s : tout ce qui peut ĂȘtre produit automatiquement par l'exĂ©cution de votre programme.
En suivant ces principes, le fichier CSV que vous devrez tĂ©lĂ©charger est particuliĂšrement massif et ne devrait pas ĂȘtre sauvegardĂ© sur GitHub. Vous devrez donc re-tĂ©lĂ©charger le fichier CSV dans votre dossier de projet Ă chaque fois que vous changerez de poste dans les laboratoires du CĂ©gep (en roulant le script telecharger_arbres_csv.py fourni).
Concernant les fichiers TXT et PNG, ils sont dans le cadre de ce TP le résultat direct de l'exécution de votre code, il est donc inutile de les versionner :
nous préférons que votre dépÎt ne contienne que la "recette" (votre code) et non les produits finis.
Dans le cadre de ce projet, le fichier .gitignore a été configuré pour exclure automatiquement les fichiers CSV, PNG et TXT de vos commits.
Le fichier requirements.txt contient la liste des bibliothÚques Python nécessaires à l'exécution de votre code.
Il vous permet d'installer rapidement toutes les dépendances requises pour le projet, en une seule commande.
Par exemple, une fois votre dépÎt de projet cloné, toutes les bibliothÚques nécessaires seront installées lors de la création de votre environnement virtuel Python (en cliquant sur le message en bleu) :

Ainsi, vous n'aurez pas Ă installer manuellement chaque bibliothĂšque.
Le fichier CSV téléchargé doit absolument conserver son nom d'origine : vdq-arbrerepertorie.csv.
Bien qu'Excel soit l'outil par défaut pour lire des fichiers CSV, il n'est pas adapté aux jeux de données massifs scientifiques que nous utilisons.
- Affichage incomplet : Au-delà d'un certain seuil (environ 1 million de lignes), Excel tronque les données et n'affiche pas la totalité du fichier.
- Risque d'altération : Excel a tendance à reformater automatiquement les données, ce qui peut corrompre l'intégrité de votre fichier CSV.
Conseil : Ăvitez d'ouvrir le fichier CSV avec Excel!
PyCharm permet de visualiser les fichiers CSV, mais présente aussi certaines limitations avec les fichiers volumineux.
- Affichage potentiellement incomplet : PyCharm peut limiter la quantité de données chargées ou affichées.
- Recherche potentiellement incomplĂšte : Une recherche (
Ctrl+FouCmd+F) dans un fichier CSV ouvert peut ne pas trouver une valeur pourtant présente dans le fichier, si celle-ci se trouve dans une portion non chargée.
Conseil : Ne concluez pas qu'une donnée est absente du fichier CSV simplement parce que vous ne la trouvez pas dans PyCharm. Utilisez plutÎt Python, comme des fonctions de pandas, pour effectuer vos recherches dans l'ensemble du fichier.