索尼半導(dǎo)體解決方案公司（下稱(chēng)“索尼”）推出的智能視覺(jué)傳感器是世界首個(gè)具有 AI 處理功能的圖像傳感器。智能視覺(jué)傳感器在傳感器自身進(jìn)行高速 AI 處理（邊緣 AI 處理），僅輸出元數(shù)據(jù)（語(yǔ)義信息），有望拓展正廣泛應(yīng)用于零售或工業(yè)等環(huán)境中智能攝像頭的使用場(chǎng)景。此外，索尼于 2020 年 5 月開(kāi)始與微軟合作，創(chuàng)建使用AI賦能的智能攝像頭的解決方案。這些智能攝像頭搭載智能視覺(jué)傳感器并具有視頻分析功能。雙方合作的一項(xiàng)內(nèi)容是聯(lián)合創(chuàng)新實(shí)驗(yàn)室（Co-Innovation Labs），由索尼和微軟聯(lián)合發(fā)起，旨在支持合作伙伴和客戶進(jìn)行解決方案的開(kāi)發(fā)、原型設(shè)計(jì)和測(cè)試。今天我們將以采訪的形式介紹Nomad Go這一案例。Nomad Go這家位于華盛頓州柯克蘭的公司創(chuàng)造了計(jì)算機(jī)視覺(jué)技術(shù)，以幫助物理空間（建筑）減少碳足跡、變得更健康節(jié)能。該公司在索尼和微軟的支持下，基于聯(lián)合創(chuàng)新實(shí)驗(yàn)室高效地開(kāi)發(fā)了自己的解決方案。

大家不妨想象一下：早上 7 點(diǎn)起床，日程安排顯示當(dāng)天中午只有一個(gè)約會(huì)。于是你立即來(lái)到車(chē)前，啟動(dòng)引擎，讓車(chē)發(fā)動(dòng)起來(lái)直至出發(fā)。幾個(gè)小時(shí)后，你出門(mén)赴約并返回家?，F(xiàn)在到了下午1點(diǎn)，但是你還想讓車(chē)子在天黑之前繼續(xù)保持發(fā)動(dòng)狀態(tài)。畢竟，你很可能還需要再次外出。這一系列行為是不是和城鎮(zhèn)里各個(gè)辦公樓、購(gòu)物中心和公寓大樓的碳排放行為一致呢？

David Greschler：“當(dāng)今各個(gè)商業(yè)建筑就是這樣運(yùn)轉(zhuǎn)的，這令人震驚而且極其浪費(fèi)！實(shí)際上溫室氣體排放的第一大排放源并不是工業(yè)，也不是交通運(yùn)輸業(yè)，而是建筑物” 。

基于聯(lián)合國(guó)環(huán)境規(guī)劃署的數(shù)據(jù)，商業(yè)建筑占地球二氧化碳 (CO2) 排放量的 39%?？茖W(xué)家說(shuō)，這種在大氣中存在了數(shù)百年的固熱氣體，正在加劇氣候變化并引發(fā)極端天氣。

為什么商業(yè)建筑會(huì)出現(xiàn)這樣的問(wèn)題？ 他們的供暖、通風(fēng)和空調(diào)（或簡(jiǎn)稱(chēng)“HVAC”）系統(tǒng)通常由預(yù)設(shè)計(jì)時(shí)器控制，每天運(yùn)行12小時(shí)（或更長(zhǎng)時(shí)間），無(wú)論是否有人在場(chǎng)。這些建筑常常消耗能量，以使空的房間、大堂和公共空間變得舒適，只為滿足那些可能存在的使用者。

Nomad Go 創(chuàng)造了一種產(chǎn)品，可以遏制這種浪費(fèi)：計(jì)算機(jī)視覺(jué)可以檢測(cè)商業(yè)空間中是否有人，以及如果有人，那么有多少人、停留多長(zhǎng)時(shí)間。來(lái)自該解決方案的數(shù)據(jù)可以根據(jù)是否有使用者而非設(shè)定的時(shí)間計(jì)劃，精確地為房間加熱、冷卻和通風(fēng)，從而顯著減少能源使用和相應(yīng)的溫室氣體排放。

該解決方案使用計(jì)算機(jī)視覺(jué)和人工智能 (AI)，可以快速了解每個(gè)房間的細(xì)微差別并做出反應(yīng)，例如房間一般每天接收多少陽(yáng)光或清潔人員在夜間到達(dá)的頻率等。這些調(diào)整可進(jìn)一步優(yōu)化房間內(nèi)的能源消耗情況。

日前索尼和微軟創(chuàng)建了四個(gè)聯(lián)合創(chuàng)新實(shí)驗(yàn)室，作為 2020 年合作伙伴關(guān)系的一部分。Nomad Go 的工程師受邀使用其中一個(gè)實(shí)驗(yàn)室，利用索尼推出的智能視覺(jué)傳感器 IMX500和微軟 Azure AI，創(chuàng)建一個(gè)解決方案。

這些實(shí)驗(yàn)室為客戶提供工具、專(zhuān)業(yè)知識(shí)和其他資源，用以開(kāi)發(fā)智能攝像頭技術(shù)。隨著創(chuàng)新解決方案陸續(xù)在實(shí)驗(yàn)室中誕生，索尼和微軟會(huì)幫助他們的合作伙伴和客戶去驗(yàn)證解決方案、縮短上市時(shí)間并幫助克服技術(shù)方面的挑戰(zhàn)。

David Greschler：“與微軟和索尼合作的興奮之處在于，能將我們的技術(shù)規(guī)模化并降低進(jìn)入市場(chǎng)的壁壘，對(duì)我們來(lái)說(shuō)，可以省去很多麻煩。此外，今年夏天伴隨著無(wú)盡的熱浪和嚴(yán)重的干旱，似乎我們已經(jīng)到了氣候變化的一個(gè)臨界點(diǎn)，這款產(chǎn)品的推出已迫在眉睫” 。

隨著一些學(xué)術(shù)研究人員在相對(duì)較新的人工智能領(lǐng)域進(jìn)行探索，計(jì)算機(jī)視覺(jué)于20世紀(jì)60年代出現(xiàn)，設(shè)想通過(guò)賦能計(jì)算機(jī)，從數(shù)字圖像和視頻中收集資訊來(lái)構(gòu)建模擬人類(lèi)視覺(jué)的技術(shù)。

近年來(lái)這項(xiàng)技術(shù)不斷完善，用戶開(kāi)始將他們的照片和視頻數(shù)據(jù)上傳到云端進(jìn)行AI分析。

但是這種設(shè)置有一個(gè)問(wèn)題：傳統(tǒng)意義上，它需要將大量數(shù)據(jù)發(fā)送到云端，這可能會(huì)花費(fèi)大量資金并造成網(wǎng)絡(luò)擁堵。

Nomad Go 選擇了一條不同的路徑：邊緣計(jì)算是由設(shè)備本身完成的，距離數(shù)據(jù)源只有幾英尺遠(yuǎn)。在這一情況下，這些設(shè)備是智能傳感器。

在聯(lián)合創(chuàng)新實(shí)驗(yàn)室，Nomad Go的工程師使用首款具備AI 處理功能的圖像傳感器、索尼智能視覺(jué)傳感器 IMX500 構(gòu)建了他們的解決方案。

Mark Hanson：“實(shí)際我們的解決方案成本更低、占用空間少、不引人注目且功耗更低。它不會(huì)持續(xù)將視頻流發(fā)送到云端進(jìn)行分析，在芯片上完成了很多此類(lèi)工作，而且因?yàn)椴话l(fā)送圖像流，所以它不需要大量網(wǎng)絡(luò)基礎(chǔ)設(shè)施或帶寬來(lái)傳遞結(jié)果。更重要的是，搭載我們芯片的攝像頭解決了隱私問(wèn)題，因?yàn)樗鼈冚敵龅氖窃獢?shù)據(jù)，即用于描述所有收集到的數(shù)據(jù)信息的基本數(shù)據(jù)，例如人數(shù)，而不是他們的身份” 。

IMX500 可以不從傳感器本身發(fā)送圖像或視頻。這不但對(duì)一些生產(chǎn)設(shè)施非常有效，也適用于零售等其他應(yīng)用場(chǎng)景。

Nomad Go 工程師在實(shí)驗(yàn)室為他們的產(chǎn)品配置 Azure 自定義視覺(jué)服務(wù)（Azure Custom Vision），這是一種幫助客戶應(yīng)用計(jì)算機(jī)視覺(jué)的AI 服務(wù)和端到端平臺(tái)。自定義視覺(jué)與索尼的工具鏈相結(jié)合，具有從培訓(xùn)數(shù)據(jù)集到實(shí)際設(shè)備部署完整的集成化工作流程，可令邊緣計(jì)算賦能的 AI 模型的開(kāi)發(fā)過(guò)程更高效。

Jun Yamasaki：“我們成功幫助 Nomad Go 團(tuán)隊(duì)完成培訓(xùn)、包裝和將自定義視覺(jué)模型部署到設(shè)備的初始階段，并指導(dǎo)該團(tuán)隊(duì)進(jìn)行關(guān)鍵架構(gòu)決策，確保他們解決方案的穩(wěn)定性和準(zhǔn)確性能夠擴(kuò)展到生產(chǎn)中” 。

Nomad Go 現(xiàn)已將解決方案部署在一些公司的建筑大樓內(nèi)，包括高層住宅的公共區(qū)域、辦公大樓的會(huì)議室和一些公司總部等。

實(shí)施這些措施后，企業(yè)報(bào)告其能源成本有所降低、溫室氣體排放減少、空氣質(zhì)量得已改善以及HVAC設(shè)備的磨損和維護(hù)減少。

美國(guó)建筑和能源服務(wù)公司McKinstry 是其中一家公司。該公司表示，它在西雅圖總部（包括其主會(huì)議室）的能源使用量和二氧化碳排放量都減少了38% 以上。此前，會(huì)議室依賴(lài)于每個(gè)工作日早上 6 點(diǎn)自動(dòng)打開(kāi)并在下午 5 點(diǎn)自動(dòng)關(guān)閉的 HVAC 系統(tǒng)。

僅在一棟 12 層高、460,000 平方英尺的建筑部署Nomad Go系統(tǒng)，對(duì)環(huán)境會(huì)有多少幫助？據(jù)Nomad Go 的數(shù)學(xué)計(jì)算（基于美國(guó)環(huán)境保護(hù)署提供的碳足跡計(jì)算器），這每年至少能減少1000 噸二氧化碳排放，相當(dāng)于超230 輛乘用車(chē)一年的排放量。

僅在美國(guó)，就有近 800 萬(wàn)座建筑物，其中包括 560 萬(wàn)座商業(yè)建筑和 170 萬(wàn)座公寓大樓。

David Greschler：“我們改變了思考建筑的范式，已經(jīng)從以建筑為中心轉(zhuǎn)變?yōu)橐匀藶橹行摹！?/p>

Nomad Go 受邀參加聯(lián)合創(chuàng)新實(shí)驗(yàn)室的一部分原因是，它的技術(shù)對(duì)地球友好，而索尼和微軟都致力于為可持續(xù)社會(huì)的發(fā)展做出貢獻(xiàn)。

目前有四個(gè)聯(lián)合創(chuàng)新實(shí)驗(yàn)室。一個(gè)位于日本東京，在索尼的辦公大樓內(nèi)。另外兩個(gè)實(shí)驗(yàn)室分別位于華盛頓雷德蒙德和德國(guó)慕尼黑，都在微軟園區(qū)內(nèi)。第四個(gè)位于上海張江人工智能島。Nomad Go 使用了雷德蒙德實(shí)驗(yàn)室，由于疫情原因，采用遠(yuǎn)程形式。

各個(gè)實(shí)驗(yàn)室都配備了微軟的技術(shù)工程師。 索尼為參與實(shí)驗(yàn)室活動(dòng)提供技術(shù)資源。

Jun Yamasaki：“目前聯(lián)合創(chuàng)新實(shí)驗(yàn)室已服務(wù)了四個(gè)合作伙伴。還有一些客戶準(zhǔn)備參加。有興趣的公司可以在線申請(qǐng)，參與者可以更快地進(jìn)行構(gòu)建、以更低的成本開(kāi)發(fā)、在更短時(shí)間上市，在這些方面獲益。我們相信將這些工具與合作伙伴所帶來(lái)的（資源）相結(jié)合，有望塑造邊緣微型人工智能應(yīng)用場(chǎng)景的未來(lái)，我們已迫不及待想要了解未來(lái)我們的實(shí)驗(yàn)室合作伙伴還會(huì)帶來(lái)哪些項(xiàng)目”。

?

只有全球建設(shè)預(yù)測(cè)準(zhǔn)確的情況下，對(duì) Nomad Go 解決方案的需求才會(huì)加速。

微軟聯(lián)合創(chuàng)始人比爾·蓋茨在他最近出版的《如何避免氣候?yàn)?zāi)難（How to Avoid a Climate Disaster）》一書(shū)中寫(xiě)道，到 2060 年，地球上不斷增長(zhǎng)的人口將導(dǎo)致世界范圍內(nèi)的建筑存量翻一番，相當(dāng)于“在四十年里每月建造一座紐約市”。

David Greschler：“在那種情況出現(xiàn)的很久之前，也許最快在今年秋天，數(shù)百萬(wàn)員工（疫情后）最終將回歸到一種混合式的工作空間中，這將為現(xiàn)有的HVAC系統(tǒng)制造一個(gè)亟待解決的難題?；旌鲜焦ぷ骺臻g的出現(xiàn)令對(duì)空間使用率的關(guān)注度提升，我們不知道誰(shuí)會(huì)在房間里，房間里是否有人。這樣的空間非常適合使用Nomad Go。而我們的團(tuán)隊(duì)已得出一些可以產(chǎn)生顯著效果的發(fā)現(xiàn)?！?/p>

?

信息來(lái)源：

※1 聯(lián)合國(guó)環(huán)境計(jì)劃“全球現(xiàn)狀報(bào)告2017”—基本2021年8月的查詢(xún)結(jié)果

※2 密歇根大學(xué)“商業(yè)建筑情況說(shuō)明書(shū)”—基于2021年8月的查詢(xún)結(jié)果

※3 Reonomy 機(jī)構(gòu)關(guān)于“美國(guó)公寓建筑”的報(bào)告—基于2021年8月的查詢(xún)結(jié)果

?

本文譯自索尼集團(tuán)企業(yè)博客，譯文僅供參考。