SCRIPT
Avant de montrer ce scritp qui a été paufiné toute au long du sémestre, il est important de remarquer que même si celui-ci est un pe
Nous sommes parvenus à avoir un scritp qui fonctionne bien pour presque toutes nos langues. Il y a des modification dans celui du japonais, mais pour l'anglais, l'espagnol, le français et le turc celui-ci fonctionne bien.
Dans cette entrée nous allons montrer le script que nous avons travaillé tout au long du semestre pour notre projet
Dans cette première partie nous établissons les fonctions pour les dossiers des URL, pour créer le tableau et pour reconnaître notre motif.
Le premier traitement correspond au fichier URL, pour chaque fichier nous créons un tableau pour les URL’s
Ici quelques captures d’écran des tableaux en français et en espagnol.
Dans cette boucle while on traite nos URL, on met chacune sur une ligne et à l’aide de la commande curl on vérifie la valeur http_code.
Ensuite, si l'encodage de l’URL est de l’UTF-8 on fait les traitements pour l’obtention de notre corpus.
1- On aspire les contenus de nos URL avec la commande Lynx et on les garde dans notre répertoire PAGES ASPIRÉES en format html, et dans le répertoire DUMP-TEXT.
2- On compte les motifs
3- Dans cette partie on extrait les contextes réduits au motif. Pour cela nous allons utiliser le programme minigrep. (voir l'entrée minigrep pour plus de précisions)
4- On créer les index hiérarchique de chaque DUMP. (pour plus d’infos concernant la création des index consultez les entrées précédentes.)
5- Calcul de bigrammes ( pour plus d’infos concernant la création des bigrammes, trigrammes, fourgrammes...etc, consultez les entrées précédentes
Dans un premier temps, on pensait que le script pourrait s'arrêter ici. Quand on le lançait dans le terminal, il fonctionnait bien et toutes les informations étaient aspirées. Cependant, on s’est vite aperçu qu’il y avait certaines URL qui n'étaient pas encodé en UTF-8 et par conséquent des mauvais rendus sur notre tableau et sur nos fichiers DUMP.
Pour remédier à cela, un autre traitement a été intégré :
Si l’encodage identifié par l’option curl n’est pas UTF-8 on va le convertir en utilisant l’option bash iconv.
Cette option est très utile, pour l’utiliser sur un fichier vous tapez :
iconv -f [fichier1] -t [fichier2] (f=from t= to) iconv -l pour afficher la liste d’encodages disponibles.
Ensuite, on fait les 4 traitements évoqués précédemment.
C’est fini ? pas encore. Il se peut que, même en ayant utilisé l’option curl et modifié avec iconv, il y ait encore de sites avec des encodages non reconnus. Une autre option s’avère donc efficace pour y remédier : Perl
Pour que ce traitement, intégré au script, fonctionne, il est nécessaire de télécharger l’option detect encoding et la placer dans le répertoire PROGRAMMES.
Avec cette partie de script on pourra identifier le encodage de l’URL et faire le traitement correspondant avec iconv.
Quelques précisions seront apportées ultérieurement par rapport au script utilisé pour traiter les URL en japonais.
Commentaires
Enregistrer un commentaire