大數(shù)據(jù)指的是創(chuàng)建的數(shù)據(jù)和供分析的數(shù)據(jù)的數(shù)量與速率迅速增加。

大數(shù)據(jù)使分析師和數(shù)據(jù)專家有機會獲得更好的見解，進行更明智的決策，但是它同時也會帶來許多的挑戰(zhàn)：可用的內存可能無法足以處理大數(shù)據(jù)集，可能需要花太久的時間進行處理或可能流動太快而無法存儲。標準算法通常不能以合理的時間或內存來處理大數(shù)據(jù)集等等。

目前沒有任何一種單一方法可以處理大數(shù)據(jù)。為此，MATLAB 提供了許多工具來解決這些挑戰(zhàn)。

在 MATLAB 中處理大數(shù)據(jù)

1. 64 位計算。

64 位版本的 MATLAB 可迅速增加內存中可保留的數(shù)據(jù)量——通常可達到任意 32 位程序的 2000 倍。32 位程序限制您只能使用 2 GB 的內存，而 64 位 MATLAB 的內存可以達到操作系統(tǒng)的物理內存限制。對于 Windows 8，臺式機內存為 500 GB，Windows Server 內存為 4 TB。

2. 內存映射的變量。

借助 MATLAB 中的memmapfile函數(shù)，您可以將文件或文件的一部分映射到內存中的 MATLAB 變量。這樣，您就可以高效訪問磁盤上由于太大而無法保留在內存中或需要花太長時間而無法加載的大數(shù)據(jù)集。

3. 磁盤變量。

matfile函數(shù)使您可以直接從磁盤上的 MAT 文件訪問 MATLAB 變量（使用 MATLAB 索引命令），無需將全部變量加載到內存。這使您可以在大數(shù)據(jù)集上進行塊處理，這些大數(shù)據(jù)集因為太大而無法保存在內存中。

4. 內在的多核數(shù)學。

MATLAB 中的許多內置數(shù)學函數(shù)，如fft、inv和eig都是多線程的。通過并行運行，這些函數(shù)充分利用計算機的多核，提供高性能的大數(shù)據(jù)集計算。

5. GPU 計算。

如果您正在使用 GPU，Parallel Computing Toolbox中的GPU 優(yōu)化的數(shù)學函數(shù)可以為大數(shù)據(jù)集提供更高的性能。

6. 并行計算。

Parallel Computing Toolbox提供并行 for 循環(huán) , 該循環(huán)在多核計算機上并行運行您的 MATLAB 代碼和算法。如果您使用MATLAB Distributed Computing Server，則可以在機器群集上并行執(zhí)行，這些機器可擴展到數(shù)千臺計算機。

7. 云計算。

對于數(shù)百或數(shù)千臺計算機的按需并行處理，您可以在 Amazon Elastic Computing Cloud（亞馬遜彈性計算云）(EC2) 上使用MATLAB Distributed Computing Server并行運行 MATLAB 計算。借助云計算，您無需購買或維護您自己的群集或數(shù)據(jù)中心就可以處理大數(shù)據(jù)。

8. 分布式陣列。

使用Parallel Computing Toolbox和MATLAB DistributedComputing Server，您可以處理分布在計算機群集內存中的矩陣和多維數(shù)組。使用此方法，您可以針對因太大而無法由單臺計算機內存處理的大數(shù)據(jù)集，進行存儲和執(zhí)行計算。

9。 流式算法。

使用系統(tǒng)對象，您可以對因太大或太快而無法保留在內存中的數(shù)據(jù)傳入流執(zhí)行流式處理。此外，您還可以使用MATLAB Coder通過 MATLAB 算法生成嵌入式 C/C++ 代碼，并針對高性能實時系統(tǒng)運行產(chǎn)生的代碼。

10. 圖像塊處理。

使用Image Processing Toolbox中的blockproc函數(shù)，您可以處理特別大的圖像，方法是每次以模塊的形式高效處理它們。與Parallel Computing Toolbox一起使用時，在多核和 GPU 上并行運行計算。

11. 機器學習。

機器學習有助于通過大數(shù)據(jù)集提取見解和開發(fā)預測性模型。廣泛的機器學習算法，包括Statistics and Machine Learning Toolbox和Neural Network Toolbox中提供的促進式 (boosted) 和袋裝 (bagged) 決策樹、K 均值和分層聚類、k-最近鄰搜索、高斯混合、期望最大化算法、隱馬爾可夫模型和神經(jīng)網(wǎng)絡。