91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一些提升或加速日常數(shù)據(jù)分析工作的技巧

數(shù)據(jù)分析與開發(fā) ? 來源:機器之心 ? 2020-08-27 15:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文列舉了一些提升或加速日常數(shù)據(jù)分析工作的技巧,包括:

1. Pandas Profiling 2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數(shù)據(jù) 3. IPython 魔術命令 4. Jupyter 中的格式編排 5. Jupyter 快捷鍵 6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出 7. 為 Jupyter Notebook 即時創(chuàng)建幻燈片

1. Pandas Profiling

該工具效果明顯。下圖展示了調用 df.profile_report() 這一簡單方法的結果:

使用該工具只需安裝和導入 Pandas Profiling 包。

本文不再詳述這一工具,如欲了解更多,請閱讀:https://towardsdatascience.com/exploring-your-data-with-just-1-line-of-python-4b35ce21a82d

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數(shù)據(jù)

「經驗豐富的」數(shù)據(jù)科學家或數(shù)據(jù)分析師大多對 matplotlib 和 pandas 很熟悉。也就是說,你只需調用 .plot() 方法,即可快速繪制簡單的 pd.DataFrame 或 pd.Series:

有點無聊?

這已經很好了,不過是否可以繪制一個交互式、可縮放、可擴展的全景圖呢?是時候讓 Cufflinks* *出馬了!(Cufflinks 基于 Plotly 做了進一步的包裝。)

在環(huán)境中安裝 Cufflinks,只需在終端中運行! pip install cufflinks --upgrade 即可。查看下圖:

效果好多了!

注意,上圖唯一改變的是 Cufflinks cf.go_offline() 的導入和設置,它將 .plot() 方法變?yōu)?.iplot()。

其他方法如 .scatter_matrix() 也可以提供非常棒的可視化結果:

需要做大量數(shù)據(jù)可視化工作的朋友,可以閱讀 Cufflinks 和 Plotly 的文檔,發(fā)現(xiàn)更多方法。

Cufflinks 文檔:https://plot.ly/ipython-notebooks/cufflinks/

Plotly 文檔:https://plot.ly/

3. IPython 魔術命令

IPython 的「魔術」是 IPython 基于 Python 標準語法的一系列提升。魔術命令包括兩種方法:行魔術命令(line magics):以 % 為前綴,在單個輸入行上運行;單元格魔術命令(cell magics):以 %% 為前綴,在多個輸入行上運行。下面列舉了 IPython 魔術命令提供的一些有用功能:

%lsmagic:找出全部命令

如果你只記得一個魔術命令,那必須得是這一個。執(zhí)行 %lsmagic 命令將提供所有可用魔術命令的列表:

%debug:交互式 debug

這可能是我最常使用的魔術命令了。

大部分數(shù)據(jù)科學家都遇到過這種情況:執(zhí)行的代碼塊一直 break,你絕望地寫了 20 個 print() 語句,想輸出每個變量的內容。然后,當你最終修復問題后,你還得返回并再次刪除所有 print() 語句。

不過以后再也不用這樣了。遇到問題后只需執(zhí)行 %debug 命令,即可執(zhí)行想要運行的任意代碼部分:

上圖中發(fā)生了什么?

我們有一個函數(shù),它以列表為輸入,并對所有的偶數(shù)取平方值。

我們運行函數(shù),但是出了些問題。但是我們并不知道怎么回事!

對該函數(shù)使用%debug 命令。

讓調試器告訴我們 x 和 type(x) 的值。

問題顯而易見:我們把 6 作為字符串輸入到函數(shù)中了!

這對于更復雜的函數(shù)非常有用。

%store:在 notebook 之間傳遞變量

這個命令也很酷。假設你花了一些時間清洗 notebook 中的數(shù)據(jù),現(xiàn)在你想在另一個 notebook 中測試一些功能,那么你是在同一個 notebook 中實現(xiàn)該功能,還是保存數(shù)據(jù)并在另一個 notebook 中加載數(shù)據(jù)呢?使用%store 命令后,這些操作都不需要!該命令將存儲變量,你可以在其他任意 notebook 中檢索該變量:

%store [variable] 存儲變量。

%store -r [variable] 讀取/檢索存儲變量。

%who:列出所有全局變量。

你是否遇到過,為變量賦值后卻忘記變量名的情況?或者不小心刪掉了負責為變量賦值的單元格?使用%who 命令,你可以得到所有全局變量的列表:

%%time:計時魔法命令

使用該命令可以獲取所有計時信息。只需對任意可執(zhí)行代碼應用%%time 命令,你就可以得到如下輸出:

%%writefile:向文件寫入單元格內容

在 notebook 中寫復雜函數(shù)或類,且想將其保存到專屬文件中時,該魔法命令非常有用。只需為函數(shù)或類的單元格添加 %%writefile 前綴和想要保存到的文件名即可:

如上所示,我們可以將創(chuàng)建的函數(shù)保存到 utils.py 文件中,然后就可以隨意導入了。在其他 notebook 中也可以這樣,只要與 utils.py 文件屬于同一個目錄即可。

4. Jupyter 中的格式編排

這個工具很酷!Jupyter 考慮到 markdown 中存在 HTML / CSS 格式。以下是我最經常使用的功能:

藍色、時尚:

Thisisfancy!
紅色、輕微慌張:

This is baaaaad!
綠色、平靜:

This is gooood!
下圖展示了它們的運行過程:

當你想以 Notebook 格式呈現(xiàn)一些發(fā)現(xiàn)時,這非常有用!

5. Jupyter 快捷鍵

想了解和學習鍵盤快捷鍵,你可以使用命令面板:Ctrl + Shift + P,獲取 notebook 所有功能的列表。下面選取了幾個最基礎的命令:

Esc:進入命令模式。在命令模式內,你可以使用方向鍵在 notebook 內進行導航。

在命令模式內:

A 和 B:在當前單元格上方(Above)或下方(Below)插入新的單元格。

M:當前單元格轉入 Markdown 狀態(tài)。

Y:當前單元格轉入 code 狀態(tài)。

D,D:刪除當前單元格。

Enter:當前單元格回到編輯模式。

在編輯模式內:

Shift + Tab:為你在當前單元格中鍵入的對象提供文檔字符串(文檔),持續(xù)使用該快捷鍵,可循環(huán)使用文檔模式。

Ctrl + Shift + -:在光標所在處分割當前單元格。

Esc + F:查找并替換代碼(不包括輸出)。

Esc + O:切換單元格輸出。

選擇多個單元格:

Shift + Down 和 Shift + Up:選中下方或上方的單元格。

Shift + M:合并選中單元格。

注意,選中多個單元格后,你可以批量執(zhí)行刪除/復制/剪切/粘貼/運行操作。

6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出

想展示 pandas DataFrame 的 .head() 和 .tail(),但由于創(chuàng)建運行 .tail() 方法的額外代碼單元過于麻煩而不得不中途放棄,你是否有過這樣的經歷?現(xiàn)在不用怕了,你可以使用以下代碼行展示你想展示的輸出:

from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 下圖展現(xiàn)了多個輸出的結果:

7. 為 Jupyter Notebook 即時創(chuàng)建幻燈片

使用 RISE,你可以僅通過一次按鍵將 Jupyter Notebook 即時轉變?yōu)榛脽羝?。而?notebook 仍然處于活躍狀態(tài),你可以在展示幻燈片的同時執(zhí)行實時編碼! 要想使用該工具,你只需通過 conda 或 pip 安裝 RISE 即可。

conda install -c conda-forge rise 或者

pip install RISE

現(xiàn)在,你可以點擊新按鈕,為 notebook 創(chuàng)建不錯的幻燈片了:

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 可視化
    +關注

    關注

    1

    文章

    1353

    瀏覽量

    22807
  • 數(shù)據(jù)分析

    關注

    2

    文章

    1516

    瀏覽量

    36238
  • python
    +關注

    關注

    57

    文章

    4877

    瀏覽量

    90071

原文標題:掌握這 7 個 Python 技巧,數(shù)據(jù)分析不怕!

文章出處:【微信號:DBDevs,微信公眾號:數(shù)據(jù)分析與開發(fā)】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    2026年度課程《壽命試驗、高加速壽命試驗及可靠性數(shù)據(jù)統(tǒng)計分析實操》公開課,助您提升專業(yè)能力!

    的重要手段,壽命數(shù)據(jù)分析技術是質量可靠性人員、檢驗人員和設計師必備的技能,是開展可靠性工作必須的手段,為滿足線技術人員對數(shù)據(jù)處理分析技術和
    的頭像 發(fā)表于 02-08 09:02 ?790次閱讀
    2026年度課程《壽命試驗、高<b class='flag-5'>加速</b>壽命試驗及可靠性<b class='flag-5'>數(shù)據(jù)統(tǒng)計分析</b>實操》公開課,助您<b class='flag-5'>提升</b>專業(yè)能力!

    API數(shù)據(jù)分析:淘寶流量來源分析,渠道優(yōu)化!

    優(yōu)化渠道策略。我們將使用Python作為工具,結合數(shù)據(jù)分析和統(tǒng)計方法,確保過程真實可靠。 1. 理解淘寶流量來源 淘寶流量主要來自多個渠道,包括: 直接訪問 :用戶直接輸入淘寶網址從收藏夾訪問。 搜索引擎 :如百度淘寶內搜索
    的頭像 發(fā)表于 01-23 13:42 ?197次閱讀
    API<b class='flag-5'>數(shù)據(jù)分析</b>:淘寶流量來源<b class='flag-5'>分析</b>,渠道優(yōu)化!

    利用拼多多用戶API進行粉絲數(shù)據(jù)分析,有效提升用戶粘性

    這些API進行粉絲數(shù)據(jù)分析,并基于分析結果制定增強用戶粘性的策略。 、 拼多多用戶API概覽 拼多多開放平臺提供了豐富的API接口,涵蓋商品、交易、用戶、物流等多個維度。對于粉絲數(shù)據(jù)分析
    的頭像 發(fā)表于 12-30 10:38 ?231次閱讀
    利用拼多多用戶API進行粉絲<b class='flag-5'>數(shù)據(jù)分析</b>,有效<b class='flag-5'>提升</b>用戶粘性

    淘寶數(shù)據(jù)分析API:用戶行為洞察,精準營銷決策!

    。本文將探討如何利用這些API實現(xiàn)用戶行為的深度洞察,并轉化為實際的營銷價值。 、用戶行為數(shù)據(jù)的價值:從流量到洞察 用戶進入店鋪瀏覽商品的每個動作,都蘊含著豐富的信息。傳統(tǒng)的
    的頭像 發(fā)表于 12-25 14:12 ?277次閱讀
    淘寶<b class='flag-5'>數(shù)據(jù)分析</b>API:用戶行為洞察,精準營銷決策!

    經營數(shù)據(jù)分析可以通過哪些方式

    在數(shù)聚股份看來,提起經營數(shù)據(jù)分析,大家往往會聯(lián)想到一些密密麻麻的數(shù)字表格,或是高級的數(shù)據(jù)建模手法,再或是華麗的數(shù)據(jù)報表。其實,“ 分析 ”本
    的頭像 發(fā)表于 12-05 16:31 ?640次閱讀

    廣立微DE-G零斷檔重構智能數(shù)據(jù)分析

    近日,數(shù)據(jù)分析領域被則消息推上風口浪尖:家老牌軟件巨頭將撤出中國。在此背景下,其旗下以靈活著稱的數(shù)據(jù)分析軟件,在中國市場的未來將面臨極大的不確定性。
    的頭像 發(fā)表于 11-07 10:39 ?671次閱讀

    如何通過日常數(shù)據(jù)判斷電源紋波是否超標?

    可觀測的異常表現(xiàn)。結合日常可獲取的數(shù)據(jù)(如設備運行狀態(tài)、簡單監(jiān)測值、故障日志),可通過以下 4 個維度間接判斷,覆蓋工業(yè)、消費電子等常見場景: 、通過 “設備運行狀態(tài)的異常表現(xiàn)” 判斷(最直觀的
    的頭像 發(fā)表于 09-23 11:06 ?1109次閱讀
    如何通過<b class='flag-5'>日常數(shù)據(jù)</b>判斷電源紋波是否超標?

    如何有效利用高光譜成像技術提升數(shù)據(jù)分析效率

    隨著人工智能和大數(shù)據(jù)技術的快速發(fā)展,高光譜成像技術作為種融合光譜信息與空間影像的新興技術,正日益成為提升數(shù)據(jù)分析效率的重要工具。在農業(yè)監(jiān)測、環(huán)境保護、礦產勘探等多個行業(yè)中,高光譜成像
    的頭像 發(fā)表于 09-11 16:13 ?836次閱讀
    如何有效利用高光譜成像技術<b class='flag-5'>提升</b><b class='flag-5'>數(shù)據(jù)分析</b>效率

    普迪飛 Exensio?數(shù)據(jù)分析平臺 | 鑄就良率提升與量產加速之路

    ManufacturingAnalytics(M-A)是Exensio數(shù)據(jù)分析平臺中的四個核心模塊之。M-A模塊旨在幫助集成器件制造商(IDM)、代工廠(Foundry)和無晶圓廠半導體公司
    的頭像 發(fā)表于 08-19 13:53 ?1062次閱讀
    普迪飛 Exensio?<b class='flag-5'>數(shù)據(jù)分析</b>平臺 | 鑄就良率<b class='flag-5'>提升</b>與量產<b class='flag-5'>加速</b>之路

    普迪飛 Exensio?數(shù)據(jù)分析平臺 | Test Operations解鎖半導體測試新紀元

    TestOperations是Exensio數(shù)據(jù)分析平臺的四個主要模塊之。T-Ops模塊旨在幫助集成器件制造商(IDM)、無晶圓廠半導體公司(Fabless)和外包半導體(產品)封測廠(OSAT
    的頭像 發(fā)表于 08-19 13:53 ?1259次閱讀
    普迪飛 Exensio?<b class='flag-5'>數(shù)據(jù)分析</b>平臺 | Test Operations解鎖半導體測試新紀元

    如何通過數(shù)據(jù)分析識別設備故障模式?

    通過數(shù)據(jù)分析識別設備故障模式,本質是從聲振溫等多維數(shù)據(jù)中提取故障特征,建立 “數(shù)據(jù)特征 - 故障類型” 的映射關系,核心可通過特征提取、模式匹配、趨勢分析三步實現(xiàn),精準定位故障根源與發(fā)
    的頭像 發(fā)表于 08-19 11:14 ?873次閱讀
    如何通過<b class='flag-5'>數(shù)據(jù)分析</b>識別設備故障模式?

    構建自定義電商數(shù)據(jù)分析API

    ? 在電商業(yè)務中,數(shù)據(jù)是驅動決策的核心。隨著數(shù)據(jù)量的增長,企業(yè)需要實時、靈活的分析工具來監(jiān)控銷售、用戶行為和庫存等指標。個自定義電商數(shù)據(jù)分析
    的頭像 發(fā)表于 07-17 14:44 ?608次閱讀
    構建自定義電商<b class='flag-5'>數(shù)據(jù)分析</b>API

    AI數(shù)據(jù)分析儀設計原理圖:RapidIO信號接入 平板AI數(shù)據(jù)分析

    AI數(shù)據(jù)分析儀, 平板數(shù)據(jù)分析儀, 數(shù)據(jù)分析儀, AI邊緣計算, 高帶寬數(shù)據(jù)輸入
    的頭像 發(fā)表于 07-17 09:20 ?754次閱讀
    AI<b class='flag-5'>數(shù)據(jù)分析</b>儀設計原理圖:RapidIO信號接入 平板AI<b class='flag-5'>數(shù)據(jù)分析</b>儀

    如何使用協(xié)議分析儀進行數(shù)據(jù)分析與可視化

    使用協(xié)議分析儀進行數(shù)據(jù)分析與可視化,需結合數(shù)據(jù)捕獲、協(xié)議解碼、統(tǒng)計分析及可視化工具,將原始數(shù)據(jù)轉化為可解讀的圖表和報告。以下是詳細步驟及關鍵
    發(fā)表于 07-16 14:16

    定華雷達儀表學堂:雷達物位計為什么要設置介電常數(shù)?

    首先不是所有的雷達物位計都要求介電常數(shù)參數(shù)的。一些非接觸式和單桿的導波雷達往往只有靈敏度選項。 需要介電常數(shù)的多為聲稱可以檢測界面及雙桿的雷達液位計,一些以檢測低介電
    的頭像 發(fā)表于 04-16 15:21 ?738次閱讀