近年來，t 分布隨機鄰域嵌入(tSNE) 算法已成為高維數(shù)據(jù)探索性數(shù)據(jù)分析中最常用和最具洞察力的技術(shù)之一。tSNE 用于解釋TensorFlow Embedding Projector和TensorBoard等工具中的深度神經(jīng)網(wǎng)絡(luò)輸出，它的強大特性之一是，只需對參數(shù)進行最少量的調(diào)整即可顯示不同規(guī)模的高維數(shù)據(jù)點聚類。盡管有這些優(yōu)點，但受限于計算復(fù)雜性，tSNE 算法只能應(yīng)用于相對較小的數(shù)據(jù)集。為解決這一問題，已相繼開發(fā)出幾個 tSNE 演化版本（主要關(guān)注數(shù)據(jù)點之間相似性計算的可擴展性），但迄今為止，這些版本還不足以在可視化 tSNE 大數(shù)據(jù)集嵌入的演化時提供真正的交互式體驗。在 “Linear tSNE Optimization for the Web” （https://nicola17.github.io/tfjs-tsne-demo）一文中，我們提出了一種高度依賴現(xiàn)代圖形硬件的全新 tSNE 方法?？紤]到新方法的線性復(fù)雜性，我們的方法生成嵌入的速度比同類技術(shù)更快，甚至可以通過WebGL利用 GPU 功能在客戶端的網(wǎng)絡(luò)瀏覽器中執(zhí)行。在這兩種因素的共同作用下，大型高維數(shù)據(jù)集的實時交互式可視化得以實現(xiàn)。

用我們的技術(shù)實時演化完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入。數(shù)據(jù)集包含 60000 個手寫數(shù)字的圖像

tSNE 的目標是對相似數(shù)據(jù)點的小 “鄰域” 進行聚類，同時降低數(shù)據(jù)的整體維數(shù)，使其更易于可視化。換句話說，tSNE目標函數(shù)測量相似數(shù)據(jù)的這些鄰域在二維或三維空間中的保存程度，并相應(yīng)地將它們組成聚類。在此前的研究中，tSNE 目標函數(shù)的最小化作為N 體模擬問題來執(zhí)行，其中，點被隨機放置在嵌入空間中，并且在每個點上施加兩種不同類型的力。吸引力使點更靠近高維空間中最相似的點，而排斥力則使它們遠離嵌入中的所有鄰近點。吸引力只作用于一小部分點（即相似的鄰近點），而排斥力對所有點對都起作用。因此，tSNE 需要大量的計算和多次的目標函數(shù)迭代，使得數(shù)據(jù)集大小局限為僅數(shù)百個數(shù)據(jù)點。為改進蠻力解決方案，采用了Barnes-Hut算法近似計算排斥力和目標函數(shù)的梯度。這使得計算能力擴展到數(shù)萬個數(shù)據(jù)點，但是計算 C++ 實現(xiàn)中的MNIST嵌入需要超過 15 分鐘。在論文中，我們針對上述擴展問題提出了一種解決方案，使用在 WebGL 中生成的紋理來近似計算目標函數(shù)的梯度。這一技術(shù)在每次最小化迭代中使用三通道紋理繪制 “排斥場”，其中 3 個分量被視為顏色并在 RGB 通道中繪制。為每個點獲取排斥場，以表示該點產(chǎn)生的水平和垂直排斥力，以及用于歸一化的第三分量。直觀地說，歸一化期用于確保移位的幅度與高維空間中的相似性度量值相匹配。此外，紋理的分辨率會根據(jù)情況自動改變，以便保持繪制的像素數(shù)量恒定。

三個函數(shù)的渲染，用于近似計算單點產(chǎn)生的排斥效應(yīng)。在上圖中，排斥力表示藍色區(qū)域中的點被向左/向下推動，而紅色區(qū)域中的點被向右/向上推動，而白色區(qū)域中的點不動

然后，將每個點的作用添加到 GPU 上，從而產(chǎn)生與下面 GIF 中呈現(xiàn)的近似排斥場的圖像相似的紋理。相對于更常用的點間相互作用計算方法，這種新型排斥場方法對 GPU 更加友好。這是因為在 GPU 中可以同時且非?？焖俚赜嬎愣鄠€點的排斥力。另外，我們在 GPU 中實現(xiàn)了點間吸引力的計算。

此動畫顯示了 tSNE 嵌入（左上）和用于使用歸一化期（右上）、水平移位（左下）和垂直移位（右下）來近似計算梯度的標量場的演化

我們還將臨時實現(xiàn)中的嵌入更新修改為一系列在TensorFlow.js（一種 JavaScript 庫，用于在網(wǎng)絡(luò)瀏覽器中執(zhí)行張量計算）中計算的標準張量操作。我們的方法已在 TensorFlow.js 系列中以開放源代碼庫形式發(fā)布，通過該方法，我們可以完全基于 GPU 來計算 tSNE 嵌入的演化，同時計算復(fù)雜性大大降低。通過這種實現(xiàn)，以前需要 15 分鐘計算的內(nèi)容（在 MNIST 數(shù)據(jù)集上），現(xiàn)在可以在網(wǎng)絡(luò)瀏覽器中實現(xiàn)實時可視化。此外，更大數(shù)據(jù)集的實時可視化也隨之成為可能，此功能在分析深度神經(jīng)輸出時特別有用。我們研究的主要局限在于，這種技術(shù)目前只適用于 2D 嵌入。然而，2D 可視化通常比 3D 可視化更受歡迎，因為它們需要更多的交互來有效理解聚類結(jié)果。