Arborescence des fichiers |
elgood // la racine de l'interface utilisateur (index.htm)
|
+--src_crawler // le code source du main et un script de compilation
| |
| +--base // le code source des principales classes du crawler
| |
| +--parser // le code source des classes pour parser les pages html
| |
| +--acces_bd // le code source de la classe permettant d'accéder depuis java à postgres
|
+--src_bd // le code source de la base de données (crawler.sql)
|
+--src_interface // les pages html de l'interface utilisateur
| |
| +--images // les images de l'interface
|
+--cgi // les pages php de l'interface utilisateur
|
+--classes // les classes du crawler et un script de lancement du crawler
|
+--data // les fichiers utiles au fonctionnement du crawler: dictionnaires, .conf , .log et un script
| | pour générer des sous-fichiers de journalisation
| |
| +--pict // les images téléchargées
|
+--doc // l'index de toutes les documentations et deux scripts (doc_crawler.bat et doc_crawler.sc) pour
| générer la doc du crawler grâce à javadoc
|
+--doc_bd // documentation de la base de données
|
+--doc_crawler // documentation du crawler
|
+--doc_interface // documentation de l'interface
- Il existe quatre scripts plus un fichier batch :
compil
dans src_crawler
pour compiler le code
du crawler.
crawler
dans classes
pour lancer le crawler.
make_more_log
dans data
pour générer
des sous fichiers de journalisation à partir de crawler.log
qui ne contiennent qu'un certain type d'information.
Il en existe quatre:
crawler.log.err
contenant les erreurs survenues pendant
l'exécution
crawler.log.ins
contenant toutes les insertions
crawler.log.coll
contenant les collisions entre processus
crawler.log.compt
contenant le nombre de liens insérés
pour chaque pages parsée
doc_crawler.sc
et doc_crawler.bat
dans doc
pour générer automatiquement la documentation du crawler