Le traitement parallèle est un type de traitement informatique dans lequel de grandes tâches de calcul sont divisées en sous-tâches plus petites, qui sont ensuite traités simultanément ou en parallèle, plutôt que séquentiellement. Cette technologie est largement utilisée dans l'informatique moderne, notamment pour des problèmes avancés tels que ceux traités dans les sciences naturelles. Des exemples de la technologie de traitement parallèle au sein d'un seul appareil comprennent multitraitement symétrique et le traitement multi cœur. Plusieurs ordinateurs peuvent également être liés ensemble pour travailler en parallèle par des méthodes telles que l'informatique, aux grappes d'ordinateurs distribués et les ordinateurs massivement parallèles.
Un multiprocesseur symétrique est un ordinateur avec une mémoire principale commune unique et par exemple de système de commande qui est relié à plusieurs processeurs, identiques. Les processeurs ont les mêmes capacités et sont liées à une mémoire commune, si les tâches peuvent être facilement affectés ou réaffectés de manière à équilibrer la charge de travail entre eux.
Dans multicoeurs de traitement, chaque processeur contient au moins deux unités centrales de traitement (CPU), appelés noyaux, qui sont responsables pour la lecture et l'exécution des instructions. Essentiellement, un processeur multi cœur est en fait plusieurs processeurs dans un composant intégré unique. Ceci permet une communication plus rapide et plus efficace entre les noyaux de traitement, par rapport aux ordinateurs multiprocesseurs, dans lequel chaque unité centrale de traitement est un composant séparé.
Les ordinateurs multiprocesseurs sont largement utilisés dans les applications scientifiques et d'affaires. Il est moins fréquent dans les systèmes informatiques personnels, qui sont habituellement conceptions monoprocesseur, mais multiprocesseurs sont devenus plus fréquents dans le marché de la consommation. Logiciels doit être spécifiquement conçu pour les ordinateurs multiprocesseurs pour tirer pleinement parti des avantages qu'elle peut apporter, et ce type de logiciel a souvent des problèmes de performances sur un ordinateur mono-processeur en conséquence. De même, les programmes écrits avec un seul processeur à l'esprit gagnent généralement que des avantages limités de multitraitement parce qu'ils ne sont pas conçus pour tirer parti de celui-ci.
La technologie de traitement parallèle distribué utilise plusieurs ordinateurs, par ailleurs indépendantes qui travaillent sur différentes parties d'un problème en parallèle, reliés entre eux via Internet ou un réseau interne afin qu'ils puissent communiquer les uns avec les autres. Ce type de technologie de traitement parallèle peut être utilisé avec les ordinateurs qui sont physiquement éloignés les uns des autres, mais ce n'est pas nécessairement toujours le cas. Ensemble, les ordinateurs reliés forment ce qu'on appelle une grille de calcul.
Les grilles de calcul peuvent être très importantes, intégrant potentiellement des milliers d'ordinateurs qui pourraient se propager dans le monde entier. Ces ordinateurs peuvent également travailler sur les problèmes non liés à la fois, avec des tâches en cours d'élaboration par le réseau réparti entre les ordinateurs en fonction de combien la capacité de traitement de rechange chacun a à ce moment. Grille de calcul diffère de la plupart des autres calcul parallèle moderne car une seule grille comporte souvent un large éventail d'ordinateurs de diverses capacités, plutôt que d'un groupe d'unités identiques.
Les grappes d'ordinateurs sont une forme de technologie de traitement parallèle dans lequel plusieurs ordinateurs reliés, généralement avec des capacités identiques, travaillent étroitement ensemble comme une seule unité. Contrairement à multitraitement symétrique, qui utilise plusieurs processeurs qui partagent une mémoire commune et un système d'exploitation, chaque unité individuelle dans un cluster est un ordinateur complet autonome. Ce sont généralement au même emplacement géographique et sont connectés sur un réseau local. Certains ordinateurs sont construits spécifiquement pour une utilisation dans des grappes d'ordinateurs, mais les grappes peuvent également être formés en reliant les ordinateurs qui ont été initialement conçus pour fonctionner de manière autonome.
Les calculateurs massivement parallèles ont quelques similitudes avec les ordinateurs de la grappe, parce qu'ils sont aussi composées de plusieurs ordinateurs reliés entre eux, mais ils sont beaucoup plus grandes et contiennent généralement des centaines ou des milliers de nœuds. Ils ont aussi leurs propres composants spécialisés qui relient les ordinateurs individuels qui le composent ensemble, alors que les grappes d'ordinateurs sont reliés entre eux par du matériel standard, hors-the-shelf souvent désigné comme composants de base. Les ordinateurs massivement parallèles les plus avancés peuvent être véritablement colossales, contenant des dizaines de milliers d'ordinateurs individuels de remplissage des milliers de pieds carrés d'espace, tous travaillent ensemble. La plupart des supercalculateurs avancé au monde, utilisé pour les calculs complexes dans des domaines tels que l'astrophysique et la modélisation du climat mondial, sont de ce type.