|
|||||||||
PREV NEXT | FRAMES NO FRAMES |
main
.Crawler
qui lancera l'application.
CrawlerCallbackHandler
.
SELECT currval('page_id_page_seq')
a déjà été
envoyée.
SELECT currval('page_id_page_seq')
a déjà été
envoyée.
mailto
contenus dans cette
page.
NavThread
).
http
contenus dans cette
page.
img
contenus dans cette
page.
HttpVerifThread
) du crawler.
Http
(c'est à dire tous les liens trouvés) vérifie que la page correspondante existe et l'insère
dans la table Page
si elle n'y est pas déjà. HttpVerifThread
.
PageWeb getPage()
de la classe WebFifo
.
mailto
d'une page web dans la base
de données du crawler.
img
(c'est à dire vers une image) d'une page web
dans la base de données du crawler.
LockedFifo
ayant la taille par défaut.
LockedFifo
d'une capacité de taille_max
.
PrintStream
est
déjà protégée contre les accès concurents bien que cela ne soit pas explicitement dit
dans la documentation java (il faut regarder le code source de la classe pour le savoir).
Cette classe engendre donc des appels de fonction inutils (mais couteux en temps et en mémoire).
De plus elle est risquée dan sle sens où toutes les méthodes de la classe mère n'ont pas été
surchargées ce qui la rend non homogène.LockedPrintStream
.
mailto
contenus dans cette page.
NavThread
pret à créer un nouveau processus pour
compléter et mettre à jour la base de données du crawler.
is_new_page
à true
.
..
- nextId() -
Method in class VerifThread
- Retourne le plus petit identificateur de page valide dans la base de données du crawler.
- nextId() -
Method in class HttpVerifThread
- Retourne le plus petit identificateur de lien valide dans la base de données du crawler.
Page
sans initialiser ses caractéristiques.
Page
en initialisant ses caractéristiques.
http
contenus dans cette page.
PageWeb
sans initialiser ses champs.
PageWeb
en initialisant tous ses champs.
NavThread
) des méthodes pour parser
les pages qu'ils vont rencontrer afin d'en extraire les liens de type :
http
(University of Paris 7
)
mailto
(Mihaela Sighireanu
)
img
(
)
ParserHttp
.
img
contenus dans cette page.
Semaphore
n'autorisant qu'un seul accès à la fois
à la ressource partagée.
Semaphore
autorisant nb
accès simultanés
à la ressource partagée.
Page
dans
la base de données.
/
' et ne comportant aucun '.
- simplifyUrl(String) -
Method in class CrawlerCallbackHandler
- Transforme une url absolue en une url canonique, c'est à dire une url dont le chemin est
canonique.
- suppLien(String) -
Method in class HttpVerifThread
- Supprime un lien n'existant plus sur le net de la base de données du crawler.
- suppPage(String) -
Method in class VerifThread
- Supprime une page n'existant plus sur le net de la base de données du crawler.
- suppPictFile(String) -
Method in class NavThread
- Supprime un fichier image du système.
- suppPictFile(String) -
Method in class VerifThread
- Supprime un fichier image du système.
NavThread
) du crawler.
VerifThread
) du crawler.
id_lien
) existe
sur le net et supprime le lien de la base de données si ce n'est pas le cas.
id_page
) existe encore
sur le net et la supprime de la base de données si ce n'est plus le cas.
Page
(c'est à dire toutes les pages déjà parcourues) vérifie que la page existe encore. VerifThread
.
PageWeb
.WebFifo
ayant la taille par défaut.
WebFifo
ayant la taille par défaut.
WebFifo
ayant la taille spécifiée en argument.
|
|||||||||
PREV NEXT | FRAMES NO FRAMES |