数据的未来:并行计算

发布: 2009-05-02 16:33

随着企业规模的扩大,企业运营时间的积累,每个企业都产生了大量的数据。
为了能让这些数据为企业服务,需要对这些数据做分析。由于数据量非常大,每天有上G的数据,甚至上百G的数据。如果单靠传统的计算方法,理论上虽然能计算出来结果,但耗时是非常长的,这时就需要更强大的计算方法,并行计算。

日前的并行计算方式比较多,如多线程序计算,OpenMP,利用MPI进行的集群计算,MapReduce计算模型等。支持理论也比较复杂,这里只列举一些可用的资料,资源,开发包,以供参照。

openmpi: http://www.open-mpi.org
mpich2: http://www.mcs.anl.gov/research/projects/mpich2/index.php
R语言: http://cran.r-project.org/
MapReduce模型(java 实现): http://hadoop.apache.org/
MapReduce模型基础理论:http://labs.google.com/papers/mapreduce.html



原文: http://qtchina.tk/?q=node/293

Powered by zexport