描述

靈感

COVID19 在家中隔離了我們?cè)S多人，包括我們年邁的父母和祖父母。無(wú)法定期檢查會(huì)增加他們面臨的風(fēng)險(xiǎn)，例如跌倒、煤氣泄漏、洪水、火災(zāi)等。

它能做什么

Ambianic.ai 是一個(gè)端到端的開(kāi)源環(huán)境智能項(xiàng)目，它通過(guò)在三個(gè)關(guān)鍵層中實(shí)施隱私保護(hù)算法來(lái)消除與監(jiān)控系統(tǒng)相關(guān)的污名：

• 對(duì)等遠(yuǎn)程訪問(wèn)
• 本地設(shè)備 AI 推理和訓(xùn)練
• 本地?cái)?shù)據(jù)存儲(chǔ)

Ambianic.ai 觀察目標(biāo)環(huán)境并提醒用戶(hù)感興趣的事件。我們的數(shù)據(jù)僅供房主及其家人使用。用戶(hù)數(shù)據(jù)永遠(yuǎn)不會(huì)發(fā)送到任何第三方云服務(wù)器。

這是一篇博客文章，介紹了我們啟動(dòng)這個(gè)項(xiàng)目的原因：https ://blog.ambianic.ai/2020/02/05/pnp.html

這是一篇發(fā)表在 WebRTCHacks 上的技術(shù)深入研究文章。它闡明了絕對(duì)有可能建立一個(gè)保護(hù)隱私的監(jiān)控系統(tǒng)，盡管流行的云供應(yīng)商讓我們相信所有用戶(hù)數(shù)據(jù)都安全地屬于他們的云服務(wù)器：https ://webrtchacks.com/private-home-surveillance-with-the -webrtc-數(shù)據(jù)通道/

我是如何建造的

Ambianic.ai 有 3 個(gè)主要組件：

• Ambianic.ai Edge：一個(gè) Python 應(yīng)用程序，設(shè)計(jì)用于在 Raspberry Pi 或 NUC 等 IoT Edge 設(shè)備上運(yùn)行。它連接到攝像機(jī)和其他傳感器以收集輸入。然后，它使用 AI 模型運(yùn)行推理管道，檢測(cè)感興趣的事件，例如對(duì)象、人員和其他觸發(fā)器。
• Ambianic.ai UI：使用 Vue.js 和其他前端框架用 Javascript 編寫(xiě)的漸進(jìn)式 Web 應(yīng)用程序，為最終用戶(hù)提供直觀的事件時(shí)間線(xiàn)。
• Ambianic.ai PnP：即插即用框架，允許 Ambianic UI 和 Ambianic Edge 無(wú)縫發(fā)現(xiàn)彼此并使用 WebRTC API 通過(guò)安全的對(duì)等協(xié)議進(jìn)行通信。

我遇到的挑戰(zhàn)

挑戰(zhàn)包括選擇高性能、高精度和低延遲的 AI 模型來(lái)檢測(cè)資源受限邊緣設(shè)備上感興趣的事件。

另一個(gè)挑戰(zhàn)是考慮用戶(hù)本地?cái)?shù)據(jù)來(lái)微調(diào) AI 模型。預(yù)訓(xùn)練模型可以表現(xiàn)得相當(dāng)好，但可以通過(guò)對(duì)獨(dú)特的新本地?cái)?shù)據(jù)進(jìn)行隱私保護(hù)的聯(lián)邦學(xué)習(xí)來(lái)改進(jìn)它們。

我引以為豪的成就

Ambianic.ai 已經(jīng)公開(kāi)測(cè)試了數(shù)周，幫助許多用戶(hù)的日常生活。一些用戶(hù)報(bào)告成功地關(guān)注他們的老年家庭成員：https ://twitter.com/mchapman671/status/1230931722650423299

我學(xué)到的是

盡管該項(xiàng)目設(shè)定了雄心勃勃的目標(biāo)，但似乎有足夠的支持開(kāi)源框架和社區(qū)動(dòng)力來(lái)推動(dòng)持續(xù)的成功。

通過(guò)隱私保護(hù)監(jiān)視遠(yuǎn)程居家養(yǎng)老的下一步是什么

我們需要在以下主要領(lǐng)域開(kāi)展工作：

• 在家庭護(hù)理社區(qū)招募志愿者來(lái)測(cè)試系統(tǒng)并提供反饋
• 選擇更多模型來(lái)解決開(kāi)放用例，例如跌倒檢測(cè)、氣體泄漏等
• 致力于實(shí)施聯(lián)邦學(xué)習(xí)基礎(chǔ)設(shè)施以微調(diào)初始預(yù)訓(xùn)練模型。