B C D E F G H I J L M N O P Q R S T U V W

B

bd - Variable in class NavThread
Objet permettant de communiquer avec la base de données du crawler.
bd - Variable in class VerifThread
Objet permettant de communiquer avec la base de données du crawler.
bd - Variable in class HttpVerifThread
Objet permettant de communiquer avec la base de données du crawler.
BOUCLE_MAX - Variable in class NavThread
Nombre maximum de répétitions d'une requête avant que celle-ci ne soit considérée comme échouée.
BOUCLE_MAX - Variable in class VerifThread
Nombre maximum de tentatives de répétitions de requêtes avant ne soit considérée comme échouée.
BOUCLE_MAX - Variable in class HttpVerifThread
Nombre maximum de tentatives de répétitions de requêtes avant ne soit considérée comme échouée.

C

caractPage(URL) - Method in class NavThread
Recupère toutes les caractéristiques d'une page (qu'on s'apprète à parser).
closeConnection() - Method in class Pgsql
CloseConnection ferme la connection a la base de donnees
conf - Variable in class Crawler
Objet stockant tous les paramètres de configuration du crawler.
Crawler - class Crawler.
Classe principale du crawler puisqu'elle contient la méthode main.
Crawler() - Constructor for class Crawler
Construit un nouvel objet Crawler qui lancera l'application.
CrawlerCallbackHandler - class CrawlerCallbackHandler.
 
CrawlerCallbackHandler(Hashtable[], Properties[], String) - Constructor for class CrawlerCallbackHandler
Construit un nouvel objet CrawlerCallbackHandler.
cur_link - Variable in class CrawlerCallbackHandler
Le lien en cours de traitement.

D

date - Variable in class Page
La date de dernière modificationde la page
DEF_DEPTH - Static variable in class Crawler
Profondeur de recherche par défaut utilisé si le fichier de configuration n'est pas accessible.
DEF_START - Static variable in class Crawler
Page html de départ par défaut utilisée si le fichier de configuration n'est pas accessible.
DEF_TAILLE - Static variable in class LockedFifo
Taille de la pile par défaut
DEF_THREAD - Static variable in class Crawler
Nombre de processus par défaut utilisé si le fichier de configuration n'est pas accessible.
depth - Variable in class PageWeb
Profondeur de la page à visiter par rapport à une des pages de démarrage de l'application.
depth_max - Variable in class WebFifo
Stocke la profondeur maximale de recherche autorisée.
DICO_DE - Static variable in class Crawler
Constante désignant le dictionnaire allemands des mots à ignorés (inutilisé dans cette version).
DICO_EN - Static variable in class Crawler
Constante désignant le dictionnaire anglais des mots à ignorés (inutilisé dans cette version).
DICO_FR - Static variable in class Crawler
Constante désignant le dictionnaire français des mots à ignorés lors du parsage des pages html.
dicos - Variable in class Crawler
Tableau contenant les dictionnairess des mots à ignorés lors du parsage des pages html.
dicos - Variable in class NavThread
Tableau de dictionnaires de mots à ignorer lors du parsage.
dicos - Variable in class ParserHttp
Tableau des dictionnaires des mots à ignorés lors du parsage.
dicos - Variable in class CrawlerCallbackHandler
Tableau des dictionnaires des mots à ignorés lors du parsage.

E

Entier - class Entier.
Classe implémentant un entier et permettant plus d'opérations que la classe java.lang.Integer.
Entier() - Constructor for class Entier
Construit un nouvel objet Entier avec 0 comme valeur par défaut.
Entier(int) - Constructor for class Entier
Construit un nouvel objet Entier valant nb.
equals(Object) - Method in class PageWeb
Compare deux objets et détermine s'il désigne la même page web.
existId(int) - Method in class VerifThread
Vérifie que l'identificateur de page passé en argument existe bien dans la base de données du crawler, c'est à dire qu'il correspond à une page existante.
existId(int) - Method in class HttpVerifThread
Vérifie que l'identificateur de lien passé en argument existe bien dans la base de données du crawler, c'est à dire qu'il correspond à un lien existant.

F

fin_url - Variable in class Page
L'url de la page web
finish() - Method in class NavThread
Permet un arrêt propre du processus.
finish() - Method in class VerifThread
Permet un arrêt propre du processus.
finish() - Method in class HttpVerifThread
Permet un arrêt propre du processus.
first_currval - Variable in class VerifThread
Drapeau indiquant si une requête SELECT currval('page_id_page_seq') a déjà été envoyée.
first_currval - Variable in class HttpVerifThread
Drapeau indiquant si une requête SELECT currval('page_id_page_seq') a déjà été envoyée.

G

get() - Method in class LockedFifo
Retourne l'objet en bas de la pile et le supprime de celle-ci.
get(String) - Method in class LockedFifo
Retourne l'objet en bas de la pile et le supprime de celle-ci.
getDepth() - Method in class Crawler
Retourne la profondeur maximale de l'exploration à partir de la page web de départ.
getIdSite(String) - Method in class NavThread
Récupère l'identificateur d'un site dans la base de données.
getInitPath(int) - Method in class Crawler
Retourne l'url de la i-ème page html de démarrage des recherches.
getMails() - Method in class ParserHttp
Retourne la table de hachage contenant tous les liens mailto contenus dans cette page.
getNbPaths() - Method in class Crawler
Retourne le nombre de page(s) web pour commencer l'exploration.
getNbThreads() - Method in class Crawler
Retourne le nombre de processus de navigation (NavThread).
getPage(String) - Method in class WebFifo
Retourne la page web en bas de la pile et la supprime de la pile.
getPages() - Method in class ParserHttp
Retourne la table de hachage contenant tous les liens http contenus dans cette page.
getPicts() - Method in class ParserHttp
Retourne la table de hachage contenant tous les liens img contenus dans cette page.

H

handleEndTag(HTML.Tag, int) - Method in class CrawlerCallbackHandler
Répère la fin d'un tag double (c'est à dire un tag qu'on doit refermer).
handleSimpleTag(HTML.Tag, MutableAttributeSet, int) - Method in class CrawlerCallbackHandler
Répère les balises simples.
handleStartTag(HTML.Tag, MutableAttributeSet, int) - Method in class CrawlerCallbackHandler
Répère le début d'un tag double (c'est à dire un tag qu'on doit refermer).
handleText(char[], int) - Method in class CrawlerCallbackHandler
Lit le texte html associé à un lien.
ht_tab - Variable in class CrawlerCallbackHandler
Tableau des tables de hachage dans lesquelles vont être stockés tous les liens.
httpverif_proc - Variable in class Crawler
Objet contenant le processus de vérification des liens (HttpVerifThread) du crawler.
HttpVerifThread - class HttpVerifThread.
Cette classe génère un processus qui pour toutes les entrées de la tables Http (c'est à dire tous les liens trouvés) vérifie que la page correspondante existe et l'insère dans la table Page si elle n'y est pas déjà.
HttpVerifThread(String, PrintStream) - Constructor for class HttpVerifThread
Construit un nouvel objet HttpVerifThread.

I

i - Variable in class Entier
La valeur entière de cet objet
id_lien - Variable in class HttpVerifThread
Identificateur du lien à vérifier et éventuellement à supprimer.
id_max - Variable in class VerifThread
Le plus grand identificateur de page utilisé dans la base de données.
id_max - Variable in class HttpVerifThread
Le plus grand identificateur de page utilisé dans la base de données.
id_page - Variable in class VerifThread
Identificateur de la page à vérifier et éventuellement à supprimer.
id_page - Variable in class Page
L'identificateur de la page dans la base de données du crawler
id_site - Variable in class Page
L'identificateur du site où se trouve la page.
in_getPage - Variable in class NavThread
Drapeau signalant que le processus se trouve actuellement dans un appel à la méthode PageWeb getPage() de la classe WebFifo.
increase() - Method in class Entier
Incrémente de 1 la valeur de cet objet.
increase(int) - Method in class Entier
Incrémente de pas la valeur de cet objet.
insert(Hashtable, String, String[]) - Method in class CrawlerCallbackHandler
Insère dans une table de hachage un lien associé à un ou plusieurs mot(s) Tous les mots passés en argument à la méthode ne sont pas forcément insérés dans la table de hachage.
insertHttpDB(Hashtable, int) - Method in class NavThread
Insère tous les liens http d'une page web dans la base de données du crawler.
insertMailDB(Hashtable, int) - Method in class NavThread
Insère tous les liens de type mailto d'une page web dans la base de données du crawler.
insertPageDB(String, int) - Method in class NavThread
Insert dans la base de données la page passée en argument.
insertPagePile(Hashtable, PageWeb) - Method in class NavThread
Insert une page html dans la pile des pages à visiter.
insertPictDB(Hashtable, Page, URL) - Method in class NavThread
Insère tous les liens de type img (c'est à dire vers une image) d'une page web dans la base de données du crawler.
insertSiteDB(String) - Method in class NavThread
Insert dans la base de données le site passé en argument.
intValue() - Method in class Entier
Retourne la valeur de cet objet sous forme de int.
is - Variable in class ParserHttp
Flux permettant de lire le contenu de la page.
is_new_page - Variable in class VerifThread
Champ permettant de savoir si une nouvelle page à été insérée dans la base de données par un processus de navigation.
isInsideLink - Variable in class CrawlerCallbackHandler
 
isPars - Variable in class ParserHttp
Drapeau indiquant si la page a été parsée ou non.

J

journal - Static variable in class Crawler
Drapeau demandant au programme de journaliser ce qu'il fait.

L

language() - Method in class CrawlerCallbackHandler
Détecte la langue employée dans la page qu'on est en train de parser.
liste - Variable in class LockedFifo
La pile FIFO est implémentée par une liste (doublement) chainée
loadConf(String) - Method in class Crawler
Charge la configuration du crawler.
loadDefConf() - Method in class Crawler
Charge les paramètres de configuration du crawler par défaut.
loadDico(String, int) - Method in class Crawler
Charge un dictionnaire de mots à ignorés lors du parsage d'une page html.
LockedFifo - class LockedFifo.
Classe générale implémentant une pile FIFO.
LockedFifo() - Constructor for class LockedFifo
Construit un nouvel objet LockedFifo ayant la taille par défaut.
LockedFifo(int) - Constructor for class LockedFifo
Construit un nouvel objet LockedFifo d'une capacité de taille_max.
LockedPrintStream - class LockedPrintStream.
Deprecated. Cette classe est en faite inutile car la classe PrintStream est déjà protégée contre les accès concurents bien que cela ne soit pas explicitement dit dans la documentation java (il faut regarder le code source de la classe pour le savoir). Cette classe engendre donc des appels de fonction inutils (mais couteux en temps et en mémoire). De plus elle est risquée dan sle sens où toutes les méthodes de la classe mère n'ont pas été surchargées ce qui la rend non homogène.
LockedPrintStream(OutputStream) - Constructor for class LockedPrintStream
Deprecated. Construit un nouvel objet LockedPrintStream.

M

mails_ht - Variable in class ParserHttp
Contient après parsage tous les liens de type mailto contenus dans cette page.
main(String[]) - Static method in class Crawler
Point de départ de l'application.
max_depth - Variable in class NavThread
Pour limiter la profondeur de recheche.
maxId() - Method in class VerifThread
Recherche le plus grand identificateur de page utilisé dans la base de données.
maxId() - Method in class HttpVerifThread
Recherche le plus grand identificateur de page utilisé dans la base de données.

N

name_db - Static variable in class Crawler
Champ contenant le nom de la base de données dans laquelle sont stockées tous les liens trouvés sur le web.
NavThread - class NavThread.
Cette classe génère un processus qui se connecte aux pages HTML à visiter afin de les analyser et de rajouter ds la base de données du crawler tous les liens contenus ds ces pages.
NavThread(String, PrintStream, Properties[], WebFifo, VerifThread, int) - Constructor for class NavThread
Construit un nouvel objet NavThread pret à créer un nouveau processus pour compléter et mettre à jour la base de données du crawler.
NB_DICOS - Static variable in class Crawler
Constante stockant le nombre total de dictionnaires de mots à ignorés.
newMaxId() - Method in class VerifThread
Recherche le nouvel identificateur maximum d'une page dans la base de données.
newMaxId() - Method in class HttpVerifThread
Recherche le nouvel identificateur maximum d'une page dans la base de données.
newPage() - Method in class VerifThread
Avertit le processus de vérification qu'une nouvelle page a été insérée dans la base de données en positionnant le drapeau is_new_page à true.
newPictFile(String, URL) - Method in class NavThread
Télécharge une image et la stocke dans un fichier dans le répertoire ..
nextId() - Method in class VerifThread
Retourne le plus petit identificateur de page valide dans la base de données du crawler.
nextId() - Method in class HttpVerifThread
Retourne le plus petit identificateur de lien valide dans la base de données du crawler.

O

openLog() - Method in class Crawler
Ouvre un flux vers le fichier de journalisation.
outLog - Variable in class Crawler
Objet permettant d'écrire dans le fichier de journalisation.
outLog - Variable in class NavThread
Flux d'entrée sur le fichier de journalisation.
outLog - Variable in class VerifThread
Flux d'entrée sur le fichier de journalisation.
outLog - Variable in class HttpVerifThread
Flux d'entrée sur le fichier de journalisation.

P

P() - Method in class Semaphore
Demande l'autorisation d'accéder à la resource partagée.
Page - class Page.
Classe permettant de réunir dans un même objet toutes les caractéristiques d'une page web stockée dans la base de données du crawler.
Page() - Constructor for class Page
Construit un nouvel objet Page sans initialiser ses caractéristiques.
Page(String, int, int, int) - Constructor for class Page
Construit un nouvel objet Page en initialisant ses caractéristiques.
pages_ht - Variable in class ParserHttp
Contient après parsage tous les liens de type http contenus dans cette page.
PageWeb - class PageWeb.
Classe permettant de stocker dans la pile fifo du crawler à la fois une url de page à visiter et la profondeur de celle-ci par rapport à une des pages de démarrage de l'application.
PageWeb() - Constructor for class PageWeb
Construit un nouvel objet PageWeb sans initialiser ses champs.
PageWeb(String, int) - Constructor for class PageWeb
Construit un nouvel objet PageWeb en initialisant tous ses champs.
parse() - Method in class ParserHttp
Parse la page html passée au constructeur de cet objet.
ParserHttp - class ParserHttp.
Cette classe fournit aux processus de navigation (NavThread) des méthodes pour parser les pages qu'ils vont rencontrer afin d'en extraire les liens de type : http (University of Paris 7 ) mailto (Mihaela Sighireanu ) img (REDBALL)
ParserHttp(String, InputStream, Properties[]) - Constructor for class ParserHttp
Construit un nouvel objet de type ParserHttp.
passwd_db - Static variable in class Crawler
Champ contenant le mot de passe de l'utilisateur pour se connecter à la base de données.
pathConf - Static variable in class Crawler
Chemin par défaut du fichier de configuration du crawler.
pathDicos - Static variable in class Crawler
Chemin par défaut des dictionnaires des mots à ignorés lors du parcours des pages html.
pathLog - Static variable in class Crawler
Chemin par défaut du fichier de journalisation du crawler.
Pgsql - class Pgsql.
Communication PostgresSql with java, ecriture et recuperation de données de la BD
Pgsql(String, String, String) - Constructor for class Pgsql
Chargement du pilote et connection a la base de données
picts_ht - Variable in class ParserHttp
Contient après parsage tous les liens de type img contenus dans cette page.
pile_pages - Variable in class NavThread
Pile FIFO contenant les pages à visiter.
println(boolean) - Method in class LockedPrintStream
Deprecated.  
println(char) - Method in class LockedPrintStream
Deprecated.  
println(char[]) - Method in class LockedPrintStream
Deprecated.  
println(double) - Method in class LockedPrintStream
Deprecated.  
println(float) - Method in class LockedPrintStream
Deprecated.  
println(int) - Method in class LockedPrintStream
Deprecated.  
println(long) - Method in class LockedPrintStream
Deprecated.  
println(Object) - Method in class LockedPrintStream
Deprecated.  
println(String) - Method in class LockedPrintStream
Deprecated.  
put(Object) - Method in class LockedFifo
Insére un objet en haut de la pile.
put(PageWeb) - Method in class WebFifo
Insére une page web en haut de la pile.

Q

query(String) - Method in class Pgsql
query executer une requete sql (insert ou update ou delete)
querySelect(String) - Method in class Pgsql
querySelect executer une requete sql de selection

R

racine(URL) - Method in class NavThread
Extrait de l'url d'une page web le chemin de celle-ci, c'est à dire supprime de l'url absolue le nom du fichier html contenant la page.
root - Variable in class ParserHttp
Le chemin du répertoire contenant le fichier source de la page à parser.
root - Variable in class CrawlerCallbackHandler
Le chemin du répertoire contenant le fichier source de la page à parser.
run() - Method in class NavThread
Méthode déterminant le fonctionnement du processus.
run() - Method in class VerifThread
Méthode déterminant le fonctionnement du processus.
run() - Method in class HttpVerifThread
Méthode déterminant le fonctionnement du processus.

S

sem - Variable in class LockedFifo
Permet des accès concurent à la pile.
sem - Variable in class LockedPrintStream
Deprecated. Limite l'accès au flux pour conserver la cohérence des données qui y sont écrites.
Semaphore - class Semaphore.
Classe implémentant un sémaphore.
Semaphore() - Constructor for class Semaphore
Construit un nouvel objet Semaphore n'autorisant qu'un seul accès à la fois à la ressource partagée.
Semaphore(int) - Constructor for class Semaphore
Construit un nouvel objet Semaphore autorisant nb accès simultanés à la ressource partagée.
setLastModif(int, int) - Method in class NavThread
Modifie la date de dernière modification d'une entrée de la table Page dans la base de données.
short_root - Variable in class CrawlerCallbackHandler
Le chemin du répertoire contenant le fichier source de la page à parser sans l'url du serveur.
simplifyPath(String) - Method in class CrawlerCallbackHandler
Transforme un chemin absolu de fichier en un chemin canonique, c'est à dire un chemin commençant par '/' et ne comportant aucun '.
simplifyUrl(String) - Method in class CrawlerCallbackHandler
Transforme une url absolue en une url canonique, c'est à dire une url dont le chemin est canonique.
suppLien(String) - Method in class HttpVerifThread
Supprime un lien n'existant plus sur le net de la base de données du crawler.
suppPage(String) - Method in class VerifThread
Supprime une page n'existant plus sur le net de la base de données du crawler.
suppPictFile(String) - Method in class NavThread
Supprime un fichier image du système.
suppPictFile(String) - Method in class VerifThread
Supprime un fichier image du système.

T

tab_nav_procs - Variable in class Crawler
Tableau contenant tous les processus de navigation (NavThread) du crawler.
taille - Variable in class LockedFifo
Taille courante de la pile
taille_max - Variable in class LockedFifo
Taille max de la pile
to_finish - Variable in class NavThread
Drapeau signalant que le processus doit s'arrêter.
to_finish - Variable in class VerifThread
Drapeau signalant que le processus doit s'arrêter.
to_finish - Variable in class HttpVerifThread
Drapeau signalant que le processus doit s'arrêter.

U

url - Variable in class PageWeb
URL d'une page web à vister.
user_db - Static variable in class Crawler
Champ contenant le nom de l'utilisateur qui doit se connecter à la base de données.

V

V() - Method in class Semaphore
Relache la ressource partagée pour permettre éventuellement à un autre processus d'y accéder.
val - Variable in class Semaphore
Indique le nombre maximal d'accès simultanés à la ressource partagée
value() - Method in class Entier
Retourne la valeur de cet objet sous forme de int.
verbose - Static variable in class Crawler
Drapeau demandant au programme de signaler en sortie standard toutes les pages qu'il parse et d'autres infos
verif_proc - Variable in class Crawler
Objet contenant le processus de vérification (VerifThread) du crawler.
verif_proc - Variable in class NavThread
Objet contenant le processus de vérification du crawler.
verifLien() - Method in class HttpVerifThread
Vérifie que la page correspondant à l'identificateur courant (id_lien) existe sur le net et supprime le lien de la base de données si ce n'est pas le cas.
verifPage() - Method in class VerifThread
Vérifie que la page correspondant à l'identificateur courant (id_page) existe encore sur le net et la supprime de la base de données si ce n'est plus le cas.
VerifThread - class VerifThread.
Cette classe génère un processus qui pour toutes les entrées de la tables Page (c'est à dire toutes les pages déjà parcourues) vérifie que la page existe encore.
VerifThread(String, PrintStream) - Constructor for class VerifThread
Construit un nouvel objet VerifThread.

W

WebFifo - class WebFifo.
Classe (particulière à l'application du crawler) implémentant une pile FIFO spécialisée dans la manipulation d'objet de type PageWeb.
WebFifo() - Constructor for class WebFifo
Construit un nouvel objet WebFifo ayant la taille par défaut.
WebFifo(int) - Constructor for class WebFifo
Construit un nouvel objet WebFifo ayant la taille par défaut.
WebFifo(int, int) - Constructor for class WebFifo
Construit un nouvel objet WebFifo ayant la taille spécifiée en argument.

B C D E F G H I J L M N O P Q R S T U V W