Class ParserHttp

java.lang.Object
  |
  +--ParserHttp

public class ParserHttp
extends java.lang.Object

Cette classe fournit aux processus de navigation (NavThread) des méthodes pour parser les pages qu'ils vont rencontrer afin d'en extraire les liens de type :


Field Summary
protected  java.util.Properties[] dicos
          Tableau des dictionnaires des mots à ignorés lors du parsage.
protected  java.io.InputStream is
          Flux permettant de lire le contenu de la page.
protected  boolean isPars
          Drapeau indiquant si la page a été parsée ou non.
protected  java.util.Hashtable mails_ht
          Contient après parsage tous les liens de type mailto contenus dans cette page.
protected  java.util.Hashtable pages_ht
          Contient après parsage tous les liens de type http contenus dans cette page.
protected  java.util.Hashtable picts_ht
          Contient après parsage tous les liens de type img contenus dans cette page.
protected  java.lang.String root
          Le chemin du répertoire contenant le fichier source de la page à parser.
 
Constructor Summary
ParserHttp(java.lang.String root, java.io.InputStream is, java.util.Properties[] dicos)
          Construit un nouvel objet de type ParserHttp.
 
Method Summary
 java.util.Hashtable getMails()
          Retourne la table de hachage contenant tous les liens mailto contenus dans cette page.
 java.util.Hashtable getPages()
          Retourne la table de hachage contenant tous les liens http contenus dans cette page.
 java.util.Hashtable getPicts()
          Retourne la table de hachage contenant tous les liens img contenus dans cette page.
protected  void parse()
          Parse la page html passée au constructeur de cet objet.
 
Methods inherited from class java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait
 

Field Detail

dicos

protected java.util.Properties[] dicos
Tableau des dictionnaires des mots à ignorés lors du parsage.


is

protected java.io.InputStream is
Flux permettant de lire le contenu de la page.


root

protected java.lang.String root
Le chemin du répertoire contenant le fichier source de la page à parser.

Par exemple si la page à parser est http://www.server.fr/rep1/rep2/fic.html alors root contiendra http://www.server.fr/rep1/rep2/.

Ce champ est nécessaire pour transformer les chemins relatifs rencontrés dans cette page en chemin absolus.


isPars

protected boolean isPars
Drapeau indiquant si la page a été parsée ou non.


pages_ht

protected java.util.Hashtable pages_ht
Contient après parsage tous les liens de type http contenus dans cette page.


mails_ht

protected java.util.Hashtable mails_ht
Contient après parsage tous les liens de type mailto contenus dans cette page.


picts_ht

protected java.util.Hashtable picts_ht
Contient après parsage tous les liens de type img contenus dans cette page.

Constructor Detail

ParserHttp

public ParserHttp(java.lang.String root,
                  java.io.InputStream is,
                  java.util.Properties[] dicos)
Construit un nouvel objet de type ParserHttp.

Parameters:
root - Le chemin du répertoire contenant le fichier source de la page à parser
is - Un flux sur le contenu de la page à parser.
dicos - Tableau des dictionnaires des mots à ne pas prendre en compte
See Also:
root, is, dicos, NavThread.racine(URL), Crawler.dicos
Method Detail

getPages

public java.util.Hashtable getPages()
                             throws java.io.IOException
Retourne la table de hachage contenant tous les liens http contenus dans cette page.

Cependant, si un lien est non valide (par ex un lien vers la page http://www.somewhere.com/ rep1/../../trux.html"), il n'est pas inséré dans cette table.

Returns:
La table de hachage contenant les liens http.
java.io.IOException

getMails

public java.util.Hashtable getMails()
                             throws java.io.IOException
Retourne la table de hachage contenant tous les liens mailto contenus dans cette page.

Returns:
La table de hachage contenant les liens mailto.
java.io.IOException

getPicts

public java.util.Hashtable getPicts()
                             throws java.io.IOException
Retourne la table de hachage contenant tous les liens img contenus dans cette page.

Cependant, si un lien est non valide (par ex un lien vers l'image /rep1/../../trux.gif"), il n'est pas inséré dans cette table.

Returns:
La table de hachage contenant les liens img.
java.io.IOException

parse

protected void parse()
              throws java.io.IOException
Parse la page html passée au constructeur de cet objet.

Le parsage consiste à remplir trois tables de hachage avec les liens trouvés dans la page.
Ces liens étant de type http, mailto et img.

Le parsage se base sur les méthodes de la classe CrawlerCallbackHandler.

java.io.IOException
See Also:
CrawlerCallbackHandler