并行计算与分布式计算的区别

并行计算和分布式计算都使用并行性来实现更高的性能，将大任务变成小任务。简单来说，如果处理单元共享内存，则称为并行计算，反之则称为分布式计算。也有人认为，分布式计算是并行计算的一个特例。

但分布式任务包是相互独立的，前一个任务包的结果没有返回，或者处理结果不正确，对下一个任务包的处理没有什么影响。因此，分布式需要的实时时间很少，而且允许计算错误（因为每个计算任务都交给几个参与者来计算，将结果上传到服务器后，必须对结果进行比较，然后验证结果是否有大的差异。

分布式要处理的问题一般是基于“寻找”模式的。所谓的“寻找”，就相当于穷举法！为了尝试到每一个可能存在的结果，一般从0～N（ 某一数值）被一个一个的测试，直到我们找到所要求的结果。事实上，为了易于一次性探测到正确的结果，我们假设结果是以某个特殊形式开始的。在这种类型的搜索里，我们也许幸运的一开始就找到答案；也许不够走运以至于到最后才找到答案，这都很公平。

这么说，并行程序并行处理的任务包之间有很大的联系，而且并行计算的每一个任务块都是必要的，没有浪费的分割的，就是每个任务包都要处理，而且计算结果相互影响，就要求每个的计算结果要绝对正确，而且在时间上要尽量做到同步，而分布式的很多任务块可以根本就不处理，有大量的无用数据块，所以说分布式计算的速度尽管很快，但是真正的“效率”是低之再低 的，可能一直在寻找，但是永远都找不到，也可能一开始就找到了；而并行处理不同，它的任务包个数相对有限，在一个有限的时间应该是可能完成的。

分布式的编写一般用的是C++（也有用JAVA的，但是都不是主流），基本不用MPI接口。并行计算用MPI或者OpenMP。