Accéder au contenu principal

Session 4 partie b: Let's Make Out now

 Après avoir vu la récupération des URLs pour l'espagnol et le français, on s'attaque maintenant à la constitution du corpus côté Anglophone et turcophone.

A noter que la version anglophone de French kiss restera bien évidemment French kiss, et que la version turc sera : "Fransız öpücüğü".

Démonstration :

Comme pour la langue espagnole et française, on commence par extraire les URLs sur le terminale de ubuntu.

Récolte des URLs Anglais :

La commande utilisée pour y procéder :

counter=0; while [ $counter -le 300 ]; do lynx -dump "https://www.google.com/search?q=%22french+kiss%22&lr=lang_en&cr=countryUK%7CcountryGB&hl=en&as_qdr=all&tbs=lr:lang_1en,ctr:countryUK%7CcountryGB&sxsrf=ALeKk035znO7MnlS20oHUA1OFucKsI-3uA:1607455178745&ei=ytHPX_b6LMWIae7TqbAG&start=$counter&sa=N&ved=2ahUKEwj2h6-Xjb_tAhVFRBoKHe5pCmYQ8tMDegQIDhA7" >> uk_urls.txt; counter=$(($counter + 20));done

//!\\ On fait bien attention de changer le "start=10" en "start=$counter". 

Remarque: On se concentre uniquement sur la récolte d'URLs du côté des anglophones d'outre Manche (je parle bien évidemment de l'anglais Britannique). C'est déjà assez éloigné comme ça, haha. De plus, on tiendra aussi en compte le fait que la version "vulgarisée" de French kiss est "to make out" du côté de nos voisins Etats-Uniens. Personne ne dirait d'après des natifs anglais américains "I'm going to French kiss you" mais plus "Let's make (it) out!".

Petite session nettoyage à présent :


C'est bien entendu la commande egrep qui nous désert :

egrep "^  [0-9]+\." uk_urls.txt | cut -d"=" -f2 | cut -d"&" -f1 | egrep "^http[s]?" | egrep -v google | egrep -v jpg | egrep -v jpeg | egrep -v youtube |egrep -v wav | egrep -v width | egrep -v dictionary > try_uk.txt

mv try_uk.txt english_urls.txt

On obtient ainsi les données suivantes :


Tout cela n'a pas l'air si mauvais... On verra pour la création du tableau par la suite.

En attendant, on va s'attaquer à la récolte des URLs pour la notre corpus turc.

Récolte des URLs pour le corpus en turc

C'est partie, on recommence la récolte avec la commande $counter :


On passe maintenant au nettoyage et triage des URLs, toujours avec egrep :

egrep "^  [0-9]+\." tr_urls.txt | cut -d"=" -f2 | cut -d"&" -f1 | egrep "^http[s]?" | egrep -v google | egrep -v sözlük | egrep -v jpg | egrep -v jpeg | egrep -v wav | egrep -v width | egrep -v youtube | egrep -v facebook | egrep -v photos > turkish_urls.txt 

Résultat :


Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Session 4: un french, un beso, french kissing...

Un beso con lengua, Frencher! Dans cette partie, il sera montré quelques résultats par pair de langue Nous allons commencer par présenter nos recherches en espagnol, et en français. Petite remarque avant de continuer plus loin : en espagnol, le terme "French Kiss" se traduit en espagnol par "Beso con lengua". Il sera donc ici détaillé la façon dont on a procédé pour "Beso con lengua": La première commande est pour trouver les URLs en espagnol du mot "beso con lengua" ou son autre version aussi trouvé : "beso francés". Pour le cas de "beso con lengua" Commande :  counter=0; while [ $counter -le 300 ]; do lynx -dump "https://www.google.com/search?q=suburbs&client=ubuntu&channel=fs&biw=1494&bih=657&sxsrf=ALeKk011piWSj9r1StcMMmaC2Fwkb8FqNg:1603092362766&ei=ij-NX7-dLquJjLsPzLqSsAw&start=$counter&sa=N&ved=2ahUKEwi_isy2kMDsAhWrBGMBHUydBMY4FBDy0wN6BAgWEDM">> mes_liens_bruts.txt; coun
Enregistrer un commentaire
Lire la suite

Souci d'encodage MacOs - Lynx

Soucis encodage MacOs - Lynx  Nous faisons cette entrée pour laisser évidence d’un souci d'encodage qu’on a rencontré concernant la  commande lynx sur MacOs. En effet, nous avons remarqué dans certaines URLs aspirées qu' il y avait des rendus bizarres. Notamment pour les caractères diacrités et la c cédille (ç). Ci-dessous quelques  captures d'écran pour illustrer cette situation.      Au début, nous croyions à un souci d’encodage des URL. Nous avons donc bien ajouté dans notre script les deux boucles pour convertir les encodages reconnus avec la commande curl et detect encoding sans pour autant avoir une amélioration dans les rendus de nos pages aspirées.  Normalement, en lançant ce script, si le site n’est pas encodé en UTF-8 une erreur devrait s'afficher dans  le tableau qu’il génère au niveau de la colonne 1, mais aucune erreur ne s’affiche, au contraire il indique  que le site est bien encodé en  UTF-8.  Une vérification manuelle du charset a été effectuée sur cert
Enregistrer un commentaire
Lire la suite

Concaténation et nettoyage du corpus.

Concaténation et nettoyage du corpus.    Cette partie de concaténation et nettoyage de corpus est clé car elle va alléger notre corpus pour pouvoir l’analyser sur Itrameur.    Pour ceux qui travaillent sur Windows, un programme pour concaténer est disponible sur icampus.  Il suffit de télécharger  le Fichier + le programme concat et de les placer dans le même dossier.  Double click  pour le lancer et cela concatène les fichiers existants dans ce répertoire.     Si ce n’est pas Windows, comment faire? Sachant qu’il faut introduire une valise au début et à la fin  de chaque fichier DUMP txt et CONTEXTES txt, nous avons appris en cours cette commande.  for file in `ls utf8_1* | tr ' ' '\n' | less`; do echo "<partie=$file>" >> CORPUS_FR.txt ; cat $file >> CORPUS_FR.txt ; echo "</partie>" >> CORPUS_FR.txt ; done En utilisant cette commande la concentration se fait facilement. Pensez à vous placer dans le  répertoire DUMP avan
Enregistrer un commentaire
Lire la suite