如果你需要在 Python 中處理一個(gè)大的 JSON 文件，會(huì)很容易出現(xiàn)耗盡內(nèi)存的情況。即使原始數(shù)據(jù)大小小于內(nèi)存容量，Python 也會(huì)進(jìn)一步增加內(nèi)存使用量。這意味著程序會(huì)在與磁盤(pán)交互時(shí)處理緩慢，或在內(nèi)存不足時(shí)崩潰。

一種常見(jiàn)的解決方案是流解析，也就是惰性解析、迭代解析或分塊處理。讓我們看看如何將此技術(shù)應(yīng)用于 JSON 處理。

問(wèn)題：Python中加載JSON內(nèi)存效率低

我們使用這個(gè)大小為24MB的JSON文件來(lái)舉例，它在加載時(shí)會(huì)對(duì)內(nèi)存產(chǎn)生明顯的影響。這個(gè)JSON對(duì)象是在GitHub中，用戶(hù)對(duì)存儲(chǔ)庫(kù)執(zhí)行操作時(shí)的事件列表：

[{"id":"2489651045","type":"CreateEvent","actor":
{"id":665991,"login":"petroav","gravatar_id":"","url":"https://api.github.com/users/petroav","avatar_url":"https://avatars.githubusercontent.com/u/665991?"},"repo":
{"id":28688495,"name":"petroav/6.828","url":"https://api.github.com/repos/petroav/6.828"},"payload":
{"ref":"master","ref_type":"branch","master_branch":"master","description":"SolutiontohomeworkandassignmentsfromMIT's6.828(OperatingSystemsEngineering).Doneinmysparetime.","pusher_type":"user"},"public":true,"created_at":"2015-01-01T1500Z"},
...
]

我們的目標(biāo)是找出給定用戶(hù)在與哪些存儲(chǔ)庫(kù)進(jìn)行交互。下面是一個(gè)簡(jiǎn)單的 Python 程序：

importjson

withopen("large-file.json","r")asf:
data=json.load(f)

user_to_repos={}
forrecordindata:
user=record["actor"]["login"]
repo=record["repo"]["name"]
ifusernotinuser_to_repos:
user_to_repos[user]=set()
user_to_repos[user].add(repo)

輸出結(jié)果是一個(gè)用戶(hù)名映射到存儲(chǔ)庫(kù)名稱(chēng)的字典。我們使用 Fil 內(nèi)存分析器運(yùn)行它時(shí)，可以發(fā)現(xiàn)內(nèi)存使用的峰值達(dá)到了124MB，還可以發(fā)現(xiàn)兩個(gè)主要的內(nèi)存分配來(lái)源：

1. 讀取文件

2. 將生成的字節(jié)解碼為 Unicode 字符串

但我們加載的原始文件是24MB。一旦我們將它加載到內(nèi)存中并將其解碼為文本 (Unicode)Python 字符串，它需要的空間遠(yuǎn)遠(yuǎn)超過(guò) 24MB。這是為什么？

擴(kuò)展知識(shí)：Python字符串的內(nèi)存表示

Python字符串在表示時(shí)會(huì)被更少使用內(nèi)存的方法優(yōu)化。每個(gè)字符串都有固定的開(kāi)銷(xiāo)，如果字符串可以表示為 ASCII，則每個(gè)字符只使用一個(gè)字節(jié)的內(nèi)存。如果字符串使用更多擴(kuò)展字符，則每個(gè)字符可能使用4個(gè)字節(jié)。我們可以使用 sys.getsizeof() 查看一個(gè)對(duì)象需要多少內(nèi)存：

>>>importsys
>>>s="a"*1000
>>>len(s)
1000
>>>sys.getsizeof(s)
1049

>>>s2=""+"a"*999
>>>len(s2)
1000
>>>sys.getsizeof(s2)
2074

>>>s3=""+"a"*999
>>>len(s3)
1000
>>>sys.getsizeof(s3)
4076

在上面的例子中3個(gè)字符串都是 1000 個(gè)字符長(zhǎng)，但它們使用的內(nèi)存量取決于它們包含的字符。

在本例中我們的大JSON 文件里包含不適合ASCII編碼的字符，正是因?yàn)樗亲鳛橐粋€(gè)巨大的字符串加載的，所以整個(gè)巨大的字符串會(huì)使用效率較低的內(nèi)存表示。

流處理解決方案

很明顯，將整個(gè)JSON文件直接加載到內(nèi)存中是一種內(nèi)存浪費(fèi)。

對(duì)一個(gè)結(jié)構(gòu)為對(duì)象列表的 JSON 文件，理論上我們可以一次解析一個(gè)塊，而不是一次全部解析，以此來(lái)減少內(nèi)存的使用量。目前有許多 Python 庫(kù)支持這種 JSON 解析方式，下面我們使用 ijson 庫(kù)來(lái)舉例。

importijson

user_to_repos={}

withopen("large-file.json","r")asf:
forrecordinijson.items(f,"item"):
user=record["actor"]["login"]
repo=record["repo"]["name"]
ifusernotinuser_to_repos:
user_to_repos[user]=set()
user_to_repos[user].add(repo)

如果使用json標(biāo)準(zhǔn)庫(kù)，數(shù)據(jù)一旦被加載文件就會(huì)被關(guān)閉。而使用ijson，文件必須保持打開(kāi)狀態(tài)，因?yàn)楫?dāng)我們遍歷記錄時(shí)，JSON 解析器正在按需讀取文件。有關(guān)更多詳細(xì)信息，請(qǐng)參閱 ijson 文檔。

在內(nèi)存分析器運(yùn)行它時(shí)，可以發(fā)現(xiàn)內(nèi)存使用的峰值降到了3.6MB，問(wèn)題解決了！而且在此例子中，使用 ijson 的流式處理也會(huì)提升運(yùn)行時(shí)的性能，當(dāng)然這個(gè)性能取決于數(shù)據(jù)集或算法。

其他解決方法

• Pandas：Pandas 具有讀取 JSON 的能力，理論上它可以以更節(jié)省內(nèi)存的方式讀取。
• SQLite：SQLite 數(shù)據(jù)庫(kù)可以解析 JSON，將 JSON 存儲(chǔ)在列中，以及查詢(xún) JSON數(shù)據(jù)。因此，可以將 JSON 加載到磁盤(pán)支持的數(shù)據(jù)庫(kù)文件中，并對(duì)它運(yùn)行查詢(xún)來(lái)提取相關(guān)的數(shù)據(jù)子集。

最后，如果可以控制輸出格式，則可以通過(guò)切換到更高效的表示來(lái)減少 JSON 處理的內(nèi)存使用量。例如，從單個(gè)巨大的 JSON 對(duì)象列表切換到每行一條 JSON 記錄，這意味著每條解碼的 JSON 記錄將只使用少量?jī)?nèi)存。

知識(shí)延伸

前段時(shí)間，Python開(kāi)發(fā)者公號(hào)推薦了一款很?實(shí)用的 JSON 工具?，可以更輕松直觀地查看 JSON。