Guide de survie à Linux - South Greensouthgreen.fr/.../files/Guide-de-survie-Linux-15-11-FR.pdf · Linux gratuit et libre on peut avoir le code source, la “rece]e de fabricaon”

Atelier "Bioinformatique et analyse de données NGS" IRD Ouagadougou, Burkina Faso

14/10/2016

Christine Tranchant-Dubreuil Équipe RICE, UMR DIADE

Alexis Dereeper

UMR IPME

Guide de survie à Linux

Theobjec)f!Lancezvosanalysesbioinforma)quessousLinux

Applica)ons

ConnaîtrelesprincipalescommandessousLinux-  Manipulerdesfichiers(sort,cut,wc,tr)-  Trieretfiltrerlesdonnées(grep/sed/awk)-  LancerdeslogicielsbioinformaCquesenlignedecommande

Programme

Guidedesurvieàlinux,A.Dereeper,C.Tranchant-Dubreuil|Ouagadougou–14-18Novembre2016|p.2

▪ Systèmed’exploita)onréputépour:sasécuritésesmisesàjourfréquentessonprixetsesprogrammesgratuits

Qu’estceLinux?

▪ Crééen1991parLinusTorvalds

▪ Basésurl’OSpropriétaireUnix(1969)

▪ Linuxgratuitetlibreonpeutavoirlecodesource,la“rece]edefabricaCon”onpeutcopier,modifier,redistribuer


▪ Systèmerobusteetmul)-plateforme▪ Systèmemul)-u)lisateursPlusieursuClisateurspeuventtravaillerenmêmetemps▪ Systèmemul)-tâches(processus/programmes)ChaqueuClisateurpeutlancerplusieursprogrammesenmêmetemps

Qu’estceLinux?


Distribu)on:Noyau/Coeur+logiciels/programmes

SHELL

KERNEL

SOFTWARES

Distribu)onsousLinux?


▪ 2façonsd’uCliserlinux:

enmodegraphique(équivalentwindows)

Commentu)liserLinux?


▪ 2façonsd’uCliserlinux:

enmodegraphique(équivalentwindows)enmodeconsole(équivalentDOS)

Commentu)liserLinux?


▪ Installerlinuxetwindowssursonordinateuretchoisiraudémarragedesonordinateur

CommentaccéderàLinux?


▪  Installer linux et windows sur son ordinateur et choisir audémarragedesonordinateur▪ Sursonordinateur,àparCrdewindowsoumacosviaunemachinevirtuelleoudocker



▪ Installerlinuxetwindowssursonordinateuretchoisiraudémarragedesonordinateur▪  Sur son ordinateur, à parCr dewindows oumac os via unemachinevirtuelleoudocker▪ Enseconnectantsurunserveurlinuxdistantdewindowsoumac(vialeprotocolessh)

IntroducContoLinuxandCommands,B.Granouillac,C.Tranchant-Dubreuil|11-12Septembre2013|p.10


▪ Nombreuxprogrammesrapides&puissants▪  Facile de lier des commandes/programmes entre eux(workflow)▪ NombreuxouClsbioinformaCquedisponibles

▪ Pasbesoinderessourcesmatériellesimportantes

▪ 90%desserveursfoncConnentsousLinux

Pourquoiu)liserLinux?



Pasd’interfacesgraphiques

Convivialitédelalignedecommande?

▪ Nombreuxprogrammesrapides&puissants,▪  Facile de lier des commandes/programmes entre eux(workflow)▪ NombreuxouClsbioinformaCquedisponibles





NécessitédelapraCqueetdel’expérience⬄ Inves)ssement non négligeable pourdebonsrésultatsrapidement

▪ Nombreuxprogrammesrapides&puissants,▪  Facile de lier des commandes/programmes entre eux(workflow)▪ NombreuxouClsbioinformaCquedisponibles




Seconnectersousunemachinelinuxdistante

-  Installerpu]y-  SeconnecterenSSH

Taperssh server_name -l YOUR_LOGIN

TP


Prisedecontactavecleprompt

Prompt

Toujoursprésentsurleterminal,justeavantdetaperlacommande

][


Prisedecontactavecleprompt

NomuClisateur

Nomserveur

Prompt

Répertoirecourant

Toujoursprésentsurleterminal,justeavantdetaperlacommande

][


1èrecommande pwd

CommandeAffichelenomdurépertoirecourant

pwdPresentWorkDirectory

affichenomdu répertoirecourant (et sonchemincomplet)


2ndcommande ls

CommandeListedesfichiersdurépertoirecourant(pardéfaut)

lslist

listelesfichiersetrépertoiresprésentsdansunrépertoire


2ndcommandeavecopCon: ls -l

Commandeavecl’opConletlenomd’unrépertoireenargument

listedétailléedesfichiers

ls-llistlong

listelesfichiersavecdesinforma>onspourchaquefichier/répertoire


Commentobtenirdel’aidesurunecommande?

manls pourobtenirlemanueld’aidesurunecommandels--help

Quelquescommandespourcommencer


Commentobtenirdel’aidesurunecommande?

manls pourobtenirlemanueld’aidesurunecommandels--help

Commandes

pwd Affichelecheminabsoluls Listetouslesfichiers/répertoiresls–l affichetouteslesinformaConssurlesfichiers



Exécutersespremièrescommandes

Sousunterminal:-  Quel est le répertoire courant/de travail affiché par le

prompt?-  Vérifier avec la commande pwd le nom de répertoire de

travail

TP


/

bin etc lib usr home

Arborescencesouslinux

Répertoireracine(slash)

▪ Arborescence=systèmedefichiers

▪ Répertoireracineappelé“/”


/bin commandesprincipales/usr,/opt Applica)onsetlibrairies/usr/bin Autrescommandes /home répertoiredesu)lisateurs(1paru)lisateur/login)

Principauxrépertoires

/

bin etc lib usr home

répertoireRoot(slash)

Arborescencesouslinux


Chemind’unfichier

▪ Chemin(path):chemind’accèsàunfichier/répertoire


Chemind’unfichier


-  Chemin absolu : chemin complet du fichier en partant durépertoireracine/

-  commencetoujourspar/Toujourscorrectpeutimporteoùonl’ontravaille


Chemind’unfichier


-  Chemin absolu : chemin complet du fichier en partant durépertoireracine/

-  commencetoujourspar/Toujourscorrectpeutimporteoùonl’ontravaille

-  Chemin rela)f : chemin du fichier défini par rapport où on estdansl’arborescence

-  Necommencejamaispar/Changeselononl’ontravaille


Cheminabsolud’unfichier-  chemincompletdufichierenpartantdurépertoireracine/

ócommencetoujourspar/Toujourscorrectpeutimporteoùonl’ontravaille

bin etc lib sbin usr

script

blast.pl

sequence.fasta

/

home

data

fasta

tranchantgranouill


Cheminabsolud’unfichier-  chemincompletdufichierenpartantdurépertoireracine/

ócommencetoujourspar/Toujourscorrectpeutimporteoùonl’ontravaille


script

blast.pl

sequence.fasta

/

home

data

fasta

tranchantgranouill

Chemincomplet:

/home/granouill/data/fasta/sequence.fasta



script

blast.pl

sequence.fasta

/

home

data

fasta

tranchantgranouill

/home/granouill/data/script/blast.pl

Chemincomplet:

-  chemincompletdufichierenpartantdurépertoireracine/ócommencetoujourspar/

Toujourscorrectpeutimporteoùonl’ontravaille

Cheminabsolud’unfichier



script

blast.pl

sequence.fasta

/

home

data

fasta

tranchantgranouill

chemindufichierdéfiniparrapportoùonestdans l’arborescence óNecommencejamaispar/

Changeselononl’ontravaille

sequence.fasta

Cheminrela)fàpar)rdurépertoirefasta:

Cheminrela)fd’unfichier




fasta/sequence.fasta

Cheminrela)fàpar)rdurépertoiredata:



script

blast.pl

sequence.fasta

/

home

data

fasta

tranchantgranouill




../data/fasta/sequence.fasta

Cheminrela)fàpar)rdurépertoirescript:



script

blast.pl

sequence.fasta

/

home

fasta

tranchantgranouill


data

3èmecommande cd

cdChangeDirectory

pour se déplacer dans l’arborescence

cd nom_repertoire(chemin absolu ou relatif)!


!cd nom_repertoire(chemin absolu ou relatif)!

/

home

granouill

blast.pl

sequence.fasta

fasta

datascriptcd/home/granouill/data/fastacd/home/granouill/script/

Cheminabsolu:

3èmecommande cd


!cd nom_repertoire(chemin absolu ou relatif)!

Répertoire courant

Répertoire final Chemin relatif

granouill fasta cddata/fasta

fasta data cd..

fasta granouill cd../..

? granouill cd

Remonted’1répertoire

Remontede2répertoires

Retouraurépertoiredel’u)lisateurcouranthome

/

home

granouill

blast.pl

sequence.fasta

fasta

datascriptcd/home/granouill/data/fastacd/home/granouill/script/

Cheminrela)f:

Cheminabsolu:

3èmecommande cd


Commandes

pwd Affichelecheminabsoluls Listetouslesfichiers/répertoirescdrep_name sedéplacedansrep_name


mkdirrep_name CréaCond’unrépertoirermnom_fichier Suppressiondufichierenargument

cpsourcetarget Copiefichiersourceverscible


Recommanda)onspournommerlesfichiers

▪ Linuxestsensibleàlacase▪ UCliseruniquementdesle]res,chiffresetcaractères_.–

▪ PASd’espaces,accentsetcaractèresspéciauxLescaractèresspéciauxontdessignificaConsparCculières&~#”'{([|`\^@)]}$*%!/;,?

▪ Lesuffixedesnomsdefichiers(.txt)estopConneletpeutcontenirdeschiffresoudesle]res


Sedéplacerdansl’arborescencelinux

Aller dans le répertoire ~/Script/ et vérifier que vous avezbienchangéderépertoire(commandepwd)

Listerlecontenudurépertoire Allerdans~/Data/Fasta/enuClisant../ Revenirdans~/Data/. Sans sedéplacer, regarder le contenududossier~/Data/Autres/ Lister le contenu du répertoire /Data/Sample_Data enuClisantl’opCon-R.QueconCentcerépertoire? Revenirdanslerépertoireprincipal

TP~,cd,pwd,ls,.(«point»)et..(«pointpoint»)


Créerlerépertoirerawdans~/Data/projetAB.!Déplacerlesfichiers.fastaet.qualdurépertoire~/Data/projetAB/danslerépertoireraw.Listerlecontenudurépertoireraw.

TPCommandesmkdir,cp,rm,cd



Commandeavecl’opConletlenomd’unrépertoireenargument

listedétailléedesfichiers

ls-llistlong




ls-llistlong


OnpeutuCliserlacommandelssurunjeudefichiersdontonne connait pas les noms en uClisant les caractères spéciaux(Metacharacters)


Quelquescaractèresspéciaux* N’importequellechaînedecaractère[ensemble] Touslescaractèresdansl’ensemble[!ensemble] Touslescaractèrespasdansl’ensemble

ls *fastq

KYVF-01.R1.fastqKYVF-01.R2.fastq

Exemple:

Significa)ondescaractèresspéciaux



ZO16.fastqZO16.bam

KYVF.samKYVF.bam



ZO16.fastq

Quelquescaractèresspéciaux* N’importequellechaînedecaractère[ensemble] Touslescaractèresdansl’ensemble[!ensemble] Touslescaractèrespasdansl’ensemble KYVF-01.R1.fastqKYVF-01.R2.fastq

Exemple:




ZO16.fastqZO16.bam

KYVF.samKYVF.bam

ls KYVF*fastq



Quelquescaractèresspéciaux* N’importequellechaînedecaractère[ensemble] Touslescaractèresdansl’ensemble[!ensemble] Touslescaractèrespasdansl’ensemble

ls *.[sb]am


Exemple:




ZO16.fastqZO16.bam

KYVF.samKYVF.bam

ZO16.bamKYVF.samKYVF.bam


Listerlecontenudurépertoire~/Data/Sample_Data/t-coffee.Yatilquedesfichiersfasta?ListeruniquementlesfichierscommençantparsampleListerlesfichiersfastaCréerlerépertoire~/Data/Fasta/T-coffee-bisCopierlesfichierscommençantparsampledetypefastaprésentsdanslerépertoire~/Data/SampleData/t-coffeedanslerépertoirequevousvenezdecréer

TPCommandescp,mkdir,ls



DétruirelefichierScript/string-array.plDétruirelerépertoire~/Data/Fasta/T-coffee-bisQuefaut-ilfairepourdétruireunrépertoire?DétruiretoutcequeconCent~/Data/Fasta/T-coffee-bis/Détruirelerépertoire~/data/Fasta/T-coffee-bis

TPCommandesrm,cd


Commande: less

catnom_fichier Affichelecontenud’unfichier


Commande: less

lessnom_fichier

Affichelecontenud’unfichier<space>/q


less Data/Fasta/EST-68566-Coffeacanephora.fasta

Lireetfiltrerlecontenud’unfichier

head! Affiche les n premières lignes d’un fichier (n=10 par défaut)

head –n 20 script.pl

tail! affiche les n dernières lignes d’un fichier (n=10 par défaut)

tail –n 5 script.pl

wc! Compter le nombre de lignes, mots ou caractères d’un fichier

wc script.pl wc –l script.pl


exo7:Blastdeséquences


Suiteàunséquençaged’ADNc,nousavonsréaliséunassemblagedesséquencesobtenues.Nous souhaitons savoir si ces séquences correspondent à desséquencesdegènesdéjàiden)fiéessurnotremodèlelecaféier.



100 transcrits issusdel’assemblage Banque de séquences d’ESTs

(caféier)téléchargéesdeNCBI

blastn

exo7:Indexa)ondelabanqueblast

Nousavonstéléchargéunebanquedeséquenced’ESTsàparCrdeNCBI;elleeststockéedanslerépertoire~/BankcsouslenomdefichierAll-EST-coffea.fasta.

makeblastdbpourindexerunebanquedeséquencesnouvelle

!makeblastdb -inbanque_de_sequence-dbtypenuclouprot-parse_seqids

!

Typedeséquence

Nomdelabanque

Indispensablepouru)liserleprogrammeblastdbcmd


exo7:Indexa)ondelabanqueblast

Nousavonstéléchargéunebanquedeséquenced’ESTsàparCrdeNCBI;elleeststockéedanslerépertoire~/BanksouslenomdefichierAll-EST-coffea.fasta.

makeblastdbpourindexerunebanquedeséquencesnouvelle


-Indexerlabanquedeséquencesd’ESTsavecleprogrammemakeblastdb-Listerlecontenudurépertoirepourobserversilesnouveauxfichiersindexontbienétécréés

TP

exo7:BlastdeséquencesBlastn

!blastn –query fichier-fasta -db banque –outfmt [0-11] -out fichier_sortie!

Banquedeséquences

Fichierfastaaveclesséquencesàblaster

6=formatdesor)etabulaire

Nous allons réaliser un blast du fichier ~/Data/100_transcrits/100transcrits.fa contre la banque de séquence d’ESTsnouvellementindexée.

Fichierderésultat


exo7:BlastdeséquencesBlastn

Nous allons réaliser un blast du fichier ~/Data/100_transcrits/100transcrits.fa contre la banque de séquence d’ESTsnouvellementindexée.


Lancer le blast du fichier 100transcrits.fa et sauvegarder lesr é s u l t a t s a u f o r m a t t a b u l é d a n s l e fi c h i e r100_transcrits.fasta.blastn

TP

Exo8:Résultatdublast


Bon,leblastestfait!R e g a r d o n s c e srésultatsdeplusprès!

Exo8:Affichagedecontenudefichier

Le fichier 100_transcrits.fasta.blastn a été généré par un blast de 100transcrits contreunebanquedeséquenced’EST.Lefichierrésultataunformattabuléde12colonnes:

Commandesls,head,tail,wc

1.queryid2.subjectid3.percentidenCty4.alignmentlength

5.numberofmismatche-6.numberofgapopenings7.querystart8.queryend

9.subjectstart10.subjectend11.expectvalue12.bitscore


Exo8:Affichagedecontenudefichier

Afficherles10èreslignesdufichierderésultatblastAfficherles15èreslignesdufichierderésultatblastAfficherles15dernièreslignesdufichierderésultatblastCompterlenombredeligne(résultat)

Commandesls,head,tail,wc

TP


Rechercherunmo)fdansunfichier?


-  Unecommandetrèsu)le…

-  Grep

grep:Rechercheunmo)fdansunfichier

Syntaxe : grep [options] motif [file1 …]



Ex:grep“AP1”*fasta

grep:Rechercheunmo)fdansunfichier

Syntaxe : grep [options] motif [file1 …]

Op)on Descrip)on-c AffichelenombredelignesdanslesquelleslemoCfaété

trouvé.IleslignesnesontpasaffichésensorCe.

-l AfficheseulementlenomdesfichiersdanslesquelslemoCfaététrouvé.LeslignesnesontpasaffichésensorCe.

-i Rechercheinsensibleàlacase(pasdedisCncConentreminisculesetmajuscules)

-v AffichagetoutesleslignesnecontenantpaslemoCf



grep:Quelquesexemplesd’u)lisa)ondegrep

Exemple Descrip)ongrep“AP1”*fasta RecherchetouslesmoCfs“AP1”danslesfichiers

ayantuneextension.fasta

grep–c“>”*fasta Comptelenombredeséquencesdes.fasta

ls-l|grep“^a” Affichetouslesfichierscommençantpar'a'

grep“^[a-d]”adress_book.txt

Affichetoutesleslignescommençantpara,b,c,d



AllerdansledossierRaw

TrouverdansquelfichierfastaestlaséquenceGLX2YC304JYZ1P

Visualiserl’undesfichiersfasta

Compterlenombredeséquencesparfichier

Ex.10

TP



sort! sort fichier sort –k2g,2g fichier sort –k2gr,2gr fichier sort –k2g,2g –k1r,1r fichier sort -t: -k3g,3g fichier

Trie un fichier



sort! sort fichier sort –k2g,2g fichier sort –k2gr,2gr fichier sort –k2g,2g –k1r,1r fichier sort -t: -k3g,3g fichier

Trie un fichier

cut! cut –d séparateur –f champs [fichiers] cut –d “:” -f1,5 /etc/passwd

S é l e c t i o n d e colonnes/champs d’un fichier


Trierleslignessurle2ndchamp(subjectid)croissantpuisdécroissantTrierleslignesdufichierderésultatblastsurlae-value(croissant)etlongueurdel’alignement(décroissant)Extraireuniquementles4premierschampsdufichierExtrairel’idenCfiantdesséquences(queryetsubject),lalongueurdel’alignement,l’e-value.Extrairel’idenCfiantdesESTsayantunmatchavecles2èresséquences

Commandessort,cut

Exo8:Visualiserlecontenud’unfichier

TP

Lefichier100_transcrits.fasta.blastnaétégénéréparunblastde100transcritscontreunebanquedeséquenced’EST.Lefichierrésultataunformattabuléde12colonnes.


<Tab> ComplèteautomaCquementunnoms'ilestunique<Tab><Tab> Affichelalistedesdifférentespossibilitéssilechoix

n'estpasunique<><> permetdepasserenrevuelescommandesuClisées

<Ctrl>+r Rechercherunecommandeprécédemmenttapée<Ctrl>+c Tueleprocessusencoursdanslaconsole

Astuces

QUELQUESRACCOURCISCLAVIERBIENPRATIQUES


Estilpossibledesauvegarderlasor)ed’une

commande dans un fichier au lieu de

l’affichersurl’écran?


Lorsd’exécu)ond‘unecommande:3fluxsontouvertsparleShell

ProcessSTDIN

Entrée standard =datas/fichiers et/ouprocessenentréed’unprocess

STDOUT

SorCestandard=dataset/ou affichage ensorCed’unprocess

Error standard = liste deserrors rencontrés lors del’éxécuCond‘unprocess


Theshell:No)onsd’entréeetsor)estandard


ProcessSTDIN


STDOUT



onpeutredirigerlasor)estandarddansunfichierdestockageavecle

caractère>



Redirection Action Command > file Redirige la sortie vers un nouveau

fichier qui sera créé

Command >> file Redirige la sortie : -  à la fin d’un fichier si le fichier existe

déjà -  sinon crée un nouveau fichier

$cut -d: -f1 /etc/passwd > user_name.list


Theshell:EntréeetSor)eStandard-exemple

Redirection Action

Extrairel’idenCfiantdesESTsayantunmatchavecles2èresséquencesStockerlerésultatdelacommandeprécédentedanslefichier2_ESTs_accession.list

Commandescut,>


Exo8

TP

Le fichier 100_transcrits.fasta.blastn a été généré par un blastde 100 transcrits contre une banque de séquence d’EST. Lefichierrésultataunformattabuléde12colonnes.


blastdbcmdpourextrairedesséquencesd’unfichierfasta!

blastdbcmd –db banque_sequence –entry_batch file_accession –out fichier_sortie!!

Fichiercontenantlesaccessionsdesséquences

Nomdelabanquecontenantlesséquencesàextraire Fichierfasta

Extrairelesséquencesfastades2ESTsdontlesaccessionssontdanslefichier2_ESTs_accession.list

TP



ProcessSTDIN


STDOUT



on peut rediriger la sor)estandardenentréed’uneautrecommande (workflow) avec lecaractère|(pipe)



•  TubeouPipepermetd’enchainerl’exécuConde2programmes•  RedirecConsansuClisaCondefichierintermédiaire•  Possibilitéd’enchainerlesprogrammes/commandes:

cmd1|cmd2|cmd3Lescommandessontliéesavecle“pipe”symbol:|(AltGr+6)

Theshell:Tube/Pipederedirec)on


$cut -d: -f1 /etc/passwd Root troot iroot ctroot // $cut -d: -f1 /etc/passwd | sort $cut -d: -f1 /etc/passwd | sort | head abate adm adroot ais #albar alvaro-wis anthony apache

Theshell:Redirec)ontube


Combien de contigs de C. x ont une homologie avec les ESTs de C. canephora?

Ex.9:U)liserlepipe

TP

Commandescut,sort-u

UClisercommandesortavecl’opCon–u


Lesplusintéressantes,puissantesmaiscomplexesaussi:

-  grep-  sed

-  awk

Dernièrescommandeslinux



-  grep

-  sed-  awk



sed:rechercheretmodfieruneligne

SelecCondelignesdansunfichiervérifiantuneexpressionrégulièreETapplicantunemodificaConouuntraitement

Rechercherunmo)f&modifierunfichier?

!Sed “s/motif recherché/nouveau motif/” file!

mo)frecherchésubs)tu)on nouveaumo)f fichieràparser


Sed:Quelquesexemples

Example Descrip)on

sed"s/linux/LINUX/"file Change la 1ère occurrence de “linux” par“LINUX”

sed"s/linux/LINUX/3“file Change la3ème occurrencede “linux”par“LINUX”

sed"s/linux/LINUX/g“file Change toutes occurences de “linux” par“LINUX”



Example Descrip)onseds/>/>VS1-/gseq.fasta>new_seq.fasta

SubsCtuConde>par>VS1-danstouteslesSéquences

seds/\|/-/gconCgs_m_f_specif.fasta

SubsCtuConde|par–

Sed:Autresexemplesavecexpressionrégulière



Avantdegénérerunfichieruniquecontenantl’ensembledesséquences,onsouhaite«taguer»lesséquencesparbanquedelafaçonsuivante:FileVS.MID1.clean.fastabefore>GLX2YC304JWSXMlength=420xy=3947_0232region=4run=R_2010_0…CCACCCCTCTTACAGTCTTCACCAAATGTCC…FileVS.MID1.clean.fastaaNer>VS1-GLX2YC304JWSXMlength=420xy=3947_0232region=4run=R_2010_0…CCACCCCTCTTACAGTCTTCACCAAATGTCC….Rq:unefoislacommandesedtestéesurunfichier,stockerlerésultatdansunnouveaufichiernomméRN-VS.MID1.clean.sff.fasta…- GénérerlefichierRN-VS.ALLMID.clean.sff.fastacontenantl’ensembledesséquences(MID1+MID2)- Compterlenombredeséquencesdanschaquefichierfastadurépertoire.

Commandessed,cat,grep

exo11:Renommerlesséquences

TP



-  grep-  sed

-  awk



awk:Langagepourmanipulerunfichierligneparligne

•  Nomdesauteurs:“Aho,Weinberger,andKernighan”

Rechercheretmodifierducontenu?


•  Nomdesauteurs:“Aho,Weinberger,andKernighan”•  UnlangagedeprogrammaConquipermetfacilementdemanipulerdesfichiers

tabulés(blast,sam,vcf)etd’extraireuneparCedesdonnées.•UnlangageuClisépourrechercherdesmoCfsetpoureffectuerdesopéraCons,desacConsassociées.




•  UnlangagedeprogrammaConquipermetfacilementdemanipulerdesfichiers

tabulés(blast,sam,vcf)etd’extraireuneparCedesdonnées.•UnlangageuClisépourrechercherdesmoCfsetpoureffectuerdesopéraCons,desacConsassociées.



Principalescaractéris)quesd’awk

•  Pourawk,lefichierenentréeesttabulé•  CommetoutlangagedeprogrammaCon,awkadesvariablesetpeutappliquerdes

condiCons•  awkpeutfairedesopéraConssurlesnombresetleschaînesdecaractères•  Awkpeutgénéreretafficherdesdonnées/rapportssuiteàdesmanipulaCons


Syntax : awk [-F] 'program' file

Op)on Descrip)on

-F Donnelanaturedesséparateursdechamps





Variable Descrip)on

$0 ligneenCère

NR Numérodelalignelue

NF Nombredechampsdanslaligne

VariablesprédéfiniesuCliséesparawk


Syntax : awk [-F] 'program' file

Op)on Descrip)on

-F Donnelanaturedesséparateursdechamps


Helene 56 edu [email protected]

jean 32 ri [email protected]

julie 22 adm [email protected]

michel 24 inf [email protected]

richard 25 inf [email protected]



awkvoitlefichierenentréecommedesenregistrementsetdeschamps

File:contact.txt






richard 25 inf [email protected] !!!






!awk '{print $0}’ contact.txt!

Affichechaqueligne




Awk:expressionrégulière

1 Helene 56

2 jean 32

3 julie 22

4 michel 24

5 richard 25 !!






$awk '{print NR,$1,$2}’ contact.txt!!

Affichelenumérodelalignelue

Puisle1erchampspuisle3èmechampsdu

fichiertabulé





Helene 56

Jean 32

Julie 22

Michel 24

Richard É(

5 lignes lues en tout !!






$awk ’{print $1,$2};’ !END { print NR « lignes lues en tout »; } contact.txt!

!

Instruc)onexécutéeunefoislefichierludansson

intégralité





Helene edu

jean ri

julie adm

michel inf

richard inf

Somme des ages égale à 159 !!






$awk ’{print $1,$3; somme+=$2}’ !END { print « Somme des ages égale à », somme; } contact.txt!!

Onajoutel’âge($2)àlavariablesommeàchaque

lignelue

Puisonaffichelasommecalculéeàlafindelalecture

dufichier





Age moyen = 31,8 !!






$awk ’{somme+=$2}’ !END { print « Age moyen = », somme/NR; } contact.txt!

!

Onajoutel’âge($2)àlavariablesommeàchaque

lignelue

Puisonaffichelamoyenneunefoislefichierlu




L age d Helene est superieur a 24 et egal a 56

L age d jean est superieur a 24 et egal a 32

L age d richard est superieur a 24 et egal a 25

avecunelisted’instrucConsetdecondi)onsaussi

CondiCon{Instr-1;Instr-2;...;Instr-n}

awk ’ $2>24 && $2<50{ print « Age de », $1, « compris entre 24 et 50, egal a », $2; }’ contact.txt

Avec2condi)ons




jean 32 ri [email protected] julie 22 adm [email protected]

!!

michel 24 inf [email protected] richard 25 inf [email protected]

awk ’$3 == “inf" {print $0}' ’ contact.txt

$awk ’/j/ {print $0}' ’ contact.txt





!!

Helene 46 Jean 12 Julie 12 Michel 14 Richard 15 !!

!!

awk ’ {print $1,$2-10} ’ contact.txt

awk ’ $2 > 30 && $3 == “ri" {print $0} ’ contact.txt

Cescommandespeuventêtreu)liséesavecenentréelasor)estandardouunfichiertabulé(comme.gff,fichierblastm8,.vcf)




Mercipourvotrea�en)on!!!

Pourlinux:LapenséemagiquenefoncConnepas

IlfautpraCquer!!!!


Compresserdesfichiers-créerunearchive.tar: tar –cvf tarfile directory gzip file_name

Décompresserunearchive:

gunzip file.gzip tar –xvf file.tar

Afficherlecontenud’unearchive:

zmore data.txt.gz Rechercheruneexpression/moCfdansunearchive:

zgrep ‘NM_000020’ data.gz


Compresserdesfichiers

rename–renommerdesfichiers

Exemple Descrip)on

rename‘s/.txt/.fasta/’* renametheextensionofallfiles

rename‘y/a-z/A-Z/’* renamefilesinuppercase


Renommerdesfichiers

Commandels–l

$ ls –l filename!drwxrwrwx 3 user user 4096 2012-02-11 20:21 file_name!!

Type

Permissions Proprio Groupe Taille HeureetdatedeladernièremodificaCon

- InterprétaCon/Légendesdespermissions- :fichiernormald:répertoirel:liensymbolique


A�ributsdesfichiers/Permissions

ls–lcommand

drwxrwrwx 3 user user 4096 2012-02-11 20:21 file_name!!


3typesofpermissions:

Permission File Directory

Read r Ouverture et Lecture Lister et copier les fichiers

Write w Modiier et supprimer Manipuler le contenu : copier, créer, modifier, écraser

Execution x Executer le fichier Accès seulement au fichier pour l’exécuter

Permissions

othergroupuser

3classes

commandepourlages)ondespermissions:chmod

chmod <perm> file_name!


Chaquepermission=1valeue

R 4 W 2

X 1

none 0

Exemple chmod 740 script.sh # Owner=rwx Group=r–- Other=--- chmod 755 script.sh # Owner=rwx Group=r-x Other=r-x

ex5:visualiseretchangerdespermissions

chmod,ls

Donnerlenomdupropriétaire,dugroupeetlesdroitsdesfichierscontenusdanslerépertoire“~/Data/454-projet1/raw”!!ChangerlesdroitsdufichierScripts/blast.plpourqu’ilsoit:enlecture/écriturepourlegroupe,lecture/écriture/exécuConpourlepropriétaireetlectureaupublic

TP

Ex.6:Manipulerdesfichiers

Créerunfichiermonfichier.txtcontenantuneoudeuxphrasesdans~/documents/.Visualiserlecontenudemonfichier.txtsansl'éditer.Quelleestlatailledemonfichier.txt?Éditezmonfichier.txt.Queconstatez-vous?Afficherlefichier~/Data/454-projet1/Raw/VS.MID1.clean.sff.fastapageparpage

TP

Commandesnano,cat,more,ls

Commande pour créer un fichier >file Editordetexte(modeTerminal):nanonano filename Ctr X : quit & save Ctr k / ctrl u : copy paste Ctrl w search Ctrl Y V : page by page

Theshell:otherspecialcharacters

Morespecialcharacters:*?(){}[];‘’!

Characters Meaning

~ Home directory

# Comment

$ Variable

& Background process

> Redirection of output

< Redirection of input

/ Separator of folders in paths

Documents

Guide de survie à Linux - South Greensouthgreen.fr/.../files/Guide-de-survie-Linux-15-11-FR.pdf · Linux gratuit et libre on peut avoir le code source, la “rece]e de fabricaon”