Architectures parallles

Mohsine Eleuldj Dpartement Gnie Informatique, EMI eleuldj@emi.ac.ma

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Contenu

Introduction au traitement parallle Principe de traitement vectoriel et pipeline Systmes multiprocesseurs Analyse et mesures de performance

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Chapitre I Introduction au traitement parallle

Applications squentielles et parallles Evolution des systmes dordinateurs Dfinition et niveaux Paralllisme dans un systme monoprocesseur Structures des ordinateurs parallles Classification de Flynn

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Applications squentielles et parallles

Traditionnellement : logiciels conus pour calcul squentiel (un processeur) Calcul parallle : utilisation de ressources multiples simultanment (processeurs, mmoire,) Applications classiques : Prvision mtorologique Ractions chimique et nuclaire (temps rel) Activits gologique et sismique Recherche biologique Simulation des circuits intgrs Applications commerciales : Bases de donnes et Data Mining Moteur de recherche du Web Exploration minire (ptrole, ) Ralit virtuelle (simulation de vol, entertainment industry, ) Environnement de travail collaboratif
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Evolution des systmes dordinateurs (1/4)

Gnrations d'ordinateurs sont dtermines par : Technologie de fabrication des composants Mode de traitement Langage de programmation Evolution des systmes d'exploitation traitement par lot Multiprogrammation temps partag Multitraitement
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Evolution des systmes dordinateurs (2/4)

1938-1953 : relais lectromcaniques comme organes de commutation tubes vide arithmtique bit bit (additionner 1 bit) des nombres en virgule fixe langage machine binaire ENIAC, EDVAC (bell laboratoires) 1952-1963 : transistors et diodes circuits imprims (800 transistors) mmoire tore assembleur, FORmula TRANslation 1956, Algol (Algorithmic Langage) 1960, Cobol. (Common business oriented) 1959 traitement par lot TRADIC, IBM 1620 en 1960
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Evolution des systmes dordinateurs (3/4)

1962-1975 : SSI et MSI circuits imprims multicouches compilateurs intelligents multiprogrammation (excution simultane des programmes et des E/S) IBM 360/91, Illiac IV, TI-ASC, Cyber-175, STAR-100 temps partag mmoire virtuelle 1972-Aujourd'hui : LSI pour la logique et la mmoire langages pour la manipulation des scalaires et des vecteurs (Fortran tendu) compilateurs avec vectorisation machine vectorielle CRAY-1 (1976), Cyber-205 (1982) systmes multiprocesseurs IBM370/168 MP et IBM3081 (1980), Cray XMP(1983), MPP massively parrallel processor (1982 compos de 16K microprocesseurs.

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Evolution des systmes dordinateurs (4/4)

Futur : VLSI, ULSI, WSI projets S-1 (16 processeurs) CRAY-2 (4 processeurs) plus de 1000 megaflops. NEC 5 Gigaflops et cote 5 millions de dollars.

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Dfinition et niveaux
Dfinition : Exploitation d'vnements concurents dans le processus de traitement Concurence : paralllisme, simultanit et pipeline paralllisme : vnements se produisant pendant le mme intervalle de temps sumultanit : venements se produisant dans le mme instant pipeline : vnement se produisant pendant des intervalles de temps cheuvauchs Niveaux du traitement parallle travail ou programme (multiprogrammation, temps partag, multitraitements) tche ou procdure (dcomposition du programme) inter-instruction (analyse de la dpendance des donnes) ---> vectorisation intra-instruction (au niveau de la micro-programmation) ou du cablage De plus en plus des mthodes matriels remplacent les logiciels : cot travail en temps rel (vitesse) tolrance au pannes

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Paralllisme dans un monoprocesseur

Multiplicit des units fonctionnelles (10 UAL dans le CDC-6600) Paralllisme et pipeline dans le CPU Chevauchement des oprations du CPU et d'E/S (canaux, DMA E/S prog.) Systme de hirarchie de mmoire (mmoire virtuelle) Equilibrage des tches bornes par le calcul et celles borne par les E/S. Multiprogrammation (chevauchement entre le CPU et les E/S), et le temps partag (efficace en interactif ---> temps rel).

Tous ces mcanismes sont propres aux SE Dans les systmes multiprocesseurs les structures vont tre modifies.

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Structures des ordinateurs parallles

Ordinateur pipeline paralllisme temporel Tableau d'ordinateurs paralllisme spatial Systme multiprocesseurs asynchrone

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Ordinateur pipeline
Exemple du pipeline : Excution d'une instruction. CI : Chercher l'instruction de la mmoire DI : Dcoder l'instruction CO : Chercher les oprandes EO : Excuter l'opration
Instruction

CI

DI

CO

EO

Problme : conflit daccs la mmoire branchement et interruption Avantage : excution de la mme instruction plusieurs fois (traitement vectoriel) Ordinateurs pipeline : IBM3838, CRAY-1, CYBER-205.
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Tableau dordinateurs (mmoire distribue)

E/S UC PC MC ET1 P M ET2 P M ET3 P M ETn P M UC : Unit de Contrle PC : processeur de contrle MC : mmoire de contrle ET : Elment de traitement P : processeur M : mmoire locale.

Rseau dinterconnexion

Exemples : Illiac IV et MPP

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Systme multiprocesseurs (mmoire partage)

Canaux dE/S MM1 MM2 Rseau dinterconnexion MM : module mmoire P : processeur ML : mmoire locale

MMn P1 ML1 Pp MLp

Rseau dinterconnexion

Exemples : S-1, IBM370/168MP, Cray X-MP et Cray-2.

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Classification de Flynn

En 1966 : base sur la multiplicit du flot d'instructions et le flot de donnes SISD : Single Instruction Single Data Stream SIMD : Single Instruction Multiple Data Stream MISD : Multiple Instruction Single Data Stream MIMD : Multiple Instruction Multiple Data Stream.

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Classification de Flynn : SISD

FI FI UC P FD M

UC : unit de contrle P : unit de processeur M : module mmoire FI : flot d'instruction FD : flot de donnes

Le systeme peut tre pipeline et/ou avoir plus d'une unit fonctionnelle (VAX11/780 une seule unit, IBM370/168 plusieurs units).
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Classification de Flynn : SIMD

FD1 P1 FD2 FI UC P2 M2 M1

. . .
FDn Pn FI

. . .
Mm

Systmes qui ont une structure de tableaux d'ordinateurs (Illiac IV et MPP)

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Classification de Flynn : MISD

FI1 UC1 FI2 UC2 P2 P1 FD

. . .
FIn UCn

. . .
Pn

M1

M2

... ...
FI2

Mm

FD

FIn

FI1

Architecture ayant moins dintention et considre comme impraticable par certains architectes
Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008

Classification de Flynn : MIMD

FI1 FI2 UC1 UC2 FI1 FI2 P1 P2 FD1 FD2 M1 DSn M2

. . .
FIn UCn FIn

. . .
Pn FDn

. . .
Mm

. . .

Exemples : IBM 360/16 MP, Cray-2, IBM 3081/3084 et S-1

Architectures parallles, M. Eleuldj, Dpartement Gnie Informatique, EMI, octobre 2008