Aller au contenu principal

TP2 🧼 Analyse de donnĂ©es

Explications

Une vidéo expliquant en détail le TP et fournissant quelques conseils est disponible en bas de page.

🧠 Contexte

Les données sont partout autour de nous. Savoir les analyser et en tirer des conclusions est une compétence essentielle dans de nombreux domaines, en particulier en science.

Dans ce TP, vous allez choisir un ensemble de données réelles, les analyser à l'aide de Python et produire des visualisations pour illustrer vos découvertes.

🎯 Objectifs pĂ©dagogiques

À la fin de ce travail, vous serez capable de :

  • Lire et traiter des fichiers CSV avec Pandas
  • CrĂ©er des visualisations de donnĂ©es avec Matplotlib
  • InterprĂ©ter des donnĂ©es scientifiques rĂ©elles
  • Écrire dans un fichier texte un rapport
👀 Plagiat

â—đŸ€– 👀 đŸš«

Si votre travail est suspecté de plagiat (code copié d'un(e) autre étudiant(e), code généré par IA, notions non abordées en classe, etc.), deux choses peuvent se produire :

  • Le plagiat est prouvĂ© par nos outils : note de 0, automatiquement.
  • Le plagiat est plutĂŽt Ă©vident, mais une validation est requise : vous serez convoquĂ©(e) au bureau de votre enseignant(e). Vous devrez rĂ©pondre Ă  certaines questions pour prouver que vous comprenez et maĂźtrisez le code qui a Ă©tĂ© utilisĂ©. Si vous ne rĂ©ussissez pas Ă  rĂ©pondre Ă  certaines questions, vous aurez la note de 0 (si vous ne comprenez pas votre propre code, c'est que vous avez plagiĂ©, d'une maniĂšre ou d'une autre).
📝 Pour faire ce TP, vous devez :
  • TĂ©lĂ©charger le fichier CSV de donnĂ©es appropriĂ© en lien avec le projet.
  • Écrire un script Python qui lit le fichier CSV, analyse les donnĂ©es et produit :
    • des figures (en format PNG) en utilisant les bibliothĂšques Pandas et Matplotlib.
    • un fichier texte contenant les rĂ©ponses Ă  des questions d'analyse.
📁 RĂ©cupĂ©rer le projet

Votre enseignant a créé pour vous un dépÎt personnel, accessible seulement par vous.
Clonez-le et utilisez-le tout au long du TP : c'est ce dépÎt que votre enseignant récupérera pour la remise.

📄 Fichiers dans le projet

La structure du dossier :

├── .gitignore # Fichiers à exclure des commits
├── analyse.py # RĂ©ponses de la partie 1
├── autocorrecteur.py # Script pour correction de la partie 1
├── figures.py # RĂ©ponses de la partie 2
├── README.md # Documentation du projet
├── requirements.txt # DĂ©pendances du projet
└── telecharger_arbres_csv.py # Script pour tĂ©lĂ©charger les donnĂ©es
Le rĂŽle du fichier .gitignore

GitHub est avant tout une plateforme conçue pour héberger des fichiers légers contenant du code source.
Par principe, certains éléments ne doivent jamais figurer dans un dépÎt Git :

  • Les fichiers volumineux : ils ralentissent les opĂ©rations de clonage et de mise Ă  jour.
  • Les fichiers de configuration d'IDE : par exemple, le dossier .idea de PyCharm, qui est propre Ă  votre environnement de travail local.
  • Les fichiers gĂ©nĂ©rĂ©s : tout ce qui peut ĂȘtre produit automatiquement par l'exĂ©cution de votre programme.

En suivant ces principes, le fichier CSV que vous devrez tĂ©lĂ©charger est particuliĂšrement massif et ne devrait pas ĂȘtre sauvegardĂ© sur GitHub. Vous devrez donc re-tĂ©lĂ©charger le fichier CSV dans votre dossier de projet Ă  chaque fois que vous changerez de poste dans les laboratoires du CĂ©gep (en roulant le script telecharger_arbres_csv.py fourni). Concernant les fichiers TXT et PNG, ils sont dans le cadre de ce TP le rĂ©sultat direct de l'exĂ©cution de votre code, il est donc inutile de les versionner : nous prĂ©fĂ©rons que votre dĂ©pĂŽt ne contienne que la "recette" (votre code) et non les produits finis.

Dans le cadre de ce projet, le fichier .gitignore a été configuré pour exclure automatiquement les fichiers CSV, PNG et TXT de vos commits.

Le rĂŽle du fichier requirements.txt

Le fichier requirements.txt contient la liste des bibliothÚques Python nécessaires à l'exécution de votre code. Il vous permet d'installer rapidement toutes les dépendances requises pour le projet, en une seule commande. Par exemple, une fois votre dépÎt de projet cloné, toutes les bibliothÚques nécessaires seront installées lors de la création de votre environnement virtuel Python (en cliquant sur le message en bleu) :

Ainsi, vous n'aurez pas Ă  installer manuellement chaque bibliothĂšque.

Ne renommez pas le fichier CSV

Le fichier CSV téléchargé doit absolument conserver son nom d'origine : vdq-arbrerepertorie.csv.

Partie 1 10% à remettre le jour de la séance 12 + 6 jours
Partie 2 15% à remettre le jour de la séance 15
⚠ Note importante sur l'utilisation d'Excel ⚠

Bien qu'Excel soit l'outil par défaut pour lire des fichiers CSV, il n'est pas adapté aux jeux de données massifs scientifiques que nous utilisons.

  • Affichage incomplet : Au-delĂ  d'un certain seuil (environ 1 million de lignes), Excel tronque les donnĂ©es et n'affiche pas la totalitĂ© du fichier.
  • Risque d'altĂ©ration : Excel a tendance Ă  reformater automatiquement les donnĂ©es, ce qui peut corrompre l'intĂ©gritĂ© de votre fichier CSV.

Conseil : Évitez d'ouvrir le fichier CSV avec Excel!

Et PyCharm?

PyCharm permet de visualiser les fichiers CSV, mais présente aussi certaines limitations avec les fichiers volumineux.

  • Affichage potentiellement incomplet : PyCharm peut limiter la quantitĂ© de donnĂ©es chargĂ©es ou affichĂ©es.
  • Recherche potentiellement incomplĂšte : Une recherche (Ctrl+F ou Cmd+F) dans un fichier CSV ouvert peut ne pas trouver une valeur pourtant prĂ©sente dans le fichier, si celle-ci se trouve dans une portion non chargĂ©e.

Conseil : Ne concluez pas qu'une donnée est absente du fichier CSV simplement parce que vous ne la trouvez pas dans PyCharm. Utilisez plutÎt Python, comme des fonctions de pandas, pour effectuer vos recherches dans l'ensemble du fichier.

Explications dĂ©taillĂ©es​