marseille-perils-webcrawler/README.md

Windows

Dépendances

• Python >= 3.5

• Microsoft Visual C++ Build-tools

  Ces modules doivent être installés :

  
  
  

• Librairie libxml2 (documentation en haut de page)

Environnement virtuel et modules python

Environnement virtuel

Mise en place d'un environnement virtuel pour scrapy dans lequel seront installées les dépendances :

    python -m venv scrapy-env
    scrapy-env\Scripts\activate.bat

Modules

    python -m pip install --upgrade pip
    python -m pip install regex
    python -m pip install scrapy

Lancement de scrapy

    cd src
    scrapy crawl perils -O perils.csv