并行计算是指同时使用多个计算资源来解决问题的过程。传统上,串行计算是指在单个计算机(具有单个中央处理单元)上执行软件写入操作。 CPU 使用一系列指令来解决问题,一次只执行一条指令。并行计算是相对于串行计算而言的。并行计算分为时间并行和空间并行。时间上的并行指的是流水线技术,空间上的并行指的是使用多个处理器同时进行计算。目前的并行计算主要指的是后者,即将计算任务分成多个部分,提交给多个计算节点处理。但这样划分的任务关联性强,容错性差,导致并行计算失败。价格比较高,这种计算模型目前多用于科学计算。