Un webcrawler basé sur Scrapy pour extraire les arrêtés de péril du site de la ville de Marseille
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
p d7e5eeff9f
Merge branch 'main' of ssh://git.plefebvrebjo.fr:222/p/marseille-perils-webcrawler
3 years ago
crawler rename 3 years ago
doc/img doc : ajout carte jpg 3 years ago
.gitignore suprression fichiers locaux uploadés par erreur 3 years ago
LICENSE Initial commit 3 years ago
README.md update readme pour windows 3 years ago

README.md

Windows

Dépendances

Environnement virtuel et modules python

Environnement virtuel

Mise en place d'un environnement virtuel pour scrapy dans lequel seront installées les dépendances :

    python -m venv scrapy-env
    scrapy-env\Scripts\activate.bat

Modules

    python -m pip install --upgrade pip
    python -m pip install regex
    python -m pip install scrapy

Lancement de scrapy

    cd src
    scrapy crawl perils -O perils.csv