stgcn,生態(tài)工程內(nèi)涵?

  • 作者:韓信子@ShowMeAI
  • 聲明:版權所有,轉(zhuǎn)載請聯(lián)系平臺與作者并注明出處

在公眾號 ShowMeAI研究中心 回復「唐山」,獲取 項目代碼 & 用于訓練的視頻 & 運行結果視頻/動圖。項目涉及知識點見文末推薦閱讀。

6月10日凌晨,河北唐山一燒烤店,發(fā)生多名男子毆打他人的刑事案件。唐山事件及后續(xù)網(wǎng)絡實名舉報案件,引發(fā)了全網(wǎng)的關注與熱議,相關話題登上各大網(wǎng)站熱搜榜。據(jù)報道,唐山市開展為期半個月的夏季社會治安整治「雷霆風暴」專項行動,全面整治社會治安領域突出問題。

安全感來自于對一個個具體案件的處置。希望當?shù)厮痉C構持續(xù)發(fā)力,讓敢于以身試法者受到嚴懲,讓包括女性在內(nèi)的廣大群眾感受到公平正義,對社會安全度有著更強的信賴感。我們也借這個機會討論下,在推進社會安全的過程中,人工智能技術有哪些應用場景,可以做出怎樣的貢獻

社區(qū)安全與智能化管理

社區(qū)是城市的關鍵組成部分,社區(qū)治理是圍繞社區(qū)場景下的人、地、物、情、事的管理與服務。社區(qū)安全與智慧城市是大家一直在提的主題。讓我們回到技術層面,AI能否在其中發(fā)揮作用?形如「唐山事件」的危害行為,是否可以第一時間被AI識別到并進行響應呢?

可以。使用攝像頭記錄下來的信息,AI與計算機視覺自動化可以快速響應并發(fā)揮作用。

事實上,隨著城市化的快速推進及人口流動的快速增加,傳統(tǒng)社區(qū)治理在人員出入管控、安防巡邏、車輛停放管理等典型場景下都面臨著人力不足、效率低下、響應不及時等諸多難題。而人工智能技術代替人力,實現(xiàn)人、車、事的精準治理,大幅降低人力、物質(zhì)、時間等成本,以最低成本發(fā)揮最強大的管理效能,有效推動城市治理向更「數(shù)字化、自動化、智慧化」的方向演進。

我們下面借助于百度 paddlepaddle 針對智慧社區(qū)實時行人分析工具 PP-Human 做一個介紹,底層的深度學習算法,基于行人檢測與跟蹤技術,實現(xiàn)26種人體屬性分析以及摔倒等異常行為識別,可以在未來這樣的類似場景下發(fā)揮作用,提供多一份保障。

部分社區(qū)智能化應用效果

1)社區(qū)人員信息識別

傳統(tǒng)社區(qū)視頻監(jiān)控80%都依靠人工實現(xiàn),隨著攝像頭在社區(qū)中的大規(guī)模普及,日超千兆的視頻圖像數(shù)據(jù)、人員信息的日漸繁雜已遠超人工的負荷。

深度學習算法中的人體跟蹤和屬性識別功能可以實現(xiàn)社區(qū)視頻監(jiān)控的結構化理解,實時識別進出小區(qū)的人員的性別、年齡、衣著打扮等多種屬性并記錄其運動軌跡,應用AI 算法代替人力進行社區(qū)管理,具備更高的效率、及時性和更好的準確度,針對出入口管理、快速尋人、軌跡分析等都可以快速響應。

下圖為上海天覆科技的街道人員屬性識別應用案例:

2)行為及異常行為檢測

社區(qū)的安全防護是重中之重,我們希望AI可以高效保障社區(qū)居民人身安全。傳統(tǒng)的方法主要依靠人工視頻監(jiān)控,配以人力巡邏,有時會有異常情況響應不及時的問題,對人力消耗也非常大,比如這次的「唐山事件」。

如果應用 關鍵點+時空圖卷積網(wǎng)絡 ****的技術,可以很快地對傷者摔倒及打架暴力事件進行檢測,加快報警與救援,提升社區(qū)安防系統(tǒng)智能化。

如下為辦公區(qū)域摔倒檢測的示例:

手把手AI代碼:社區(qū)智能化組件應用于「唐山事件」

下面應用jupyter notebook對本次「唐山事件」的視頻進行AI識別檢測。

1)環(huán)境配置

我們借助于百度paddlepaddle針智慧社區(qū)的實時行人分析工具 PP-Human完成后續(xù)檢測功能,如下為 PP-Human 的技術全景圖。

本次應用依賴百度 PaddleDetection 工具庫,要求版本 >= release/2.4,我們在 jupyter notebook 中新建一個cell,并克隆 PaddleDetection 倉庫到本地。

 # 克隆PaddleDetection倉庫到本地
!git clone https://github.com/PaddlePaddle/PaddleDetection.git

下面我們切換到 PaddleDetection 目錄下(注意在 jupyter notebook 中通過%cd魔法命令完成路徑切換),并根據(jù) requirements.txt 中的要求去安裝依賴的工具庫,具體的操作代碼如下:

 # 安裝其他依賴
%cd PaddleDetection
!pip install -r requirements.txt

依賴安裝完成后我們編譯安裝 PaddleDetection,命令如下

# 編譯安裝paddledet
!python setup.py install

2)預訓練模型下載

我們在社區(qū)智能化場景下,不同的任務其實由不同的計算機視覺底層應用支撐,比如社區(qū)人員信息留存涉及「目標檢測」和「屬性識別」等視覺任務應用;摔倒及異常(暴力打架等)識別涉及「目標檢測」、「關鍵點檢測」、「行為識別」等視覺任務應用。

這些任務應用已經(jīng)有成型的預訓練模型可以直接下載和加載應用(當然我們也可以在自己的社區(qū)場景下采集更匹配的真實數(shù)據(jù),標注后對預訓練模型進行調(diào)優(yōu)),我們在這里直接下載可用的預訓練模型。

其中,模型能進行的屬性分析包含26種不同屬性,具體如下:

- 性別:男、女
- 年齡:小于18、18-60、大于60
- 朝向:朝前、朝后、側面
- 配飾:眼鏡、帽子、無
- 正面持物:是、否
- 包:雙肩包、單肩包、手提包
- 上衣風格:帶條紋、帶logo、帶格子、拼接風格
- 下裝風格:帶條紋、帶圖案
- 短袖上衣:是、否
- 長袖上衣:是、否
- 長外套:是、否
- 長褲:是、否
- 短褲:是、否
- 短裙&裙子:是、否
- 穿靴:是、否

行為識別主要支持摔倒檢測,也對打架、抽煙、玩手機、睡覺等行為進行了檢測。

下載預訓練模型的代碼如下(注意請在 jupyter notebook 的 cell 中運行):

 #下載目標檢測模型
!wget https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip
#下載屬性識別模型
!wget https://bj.bcebos.com/v1/paddledet/models/pipeline/strongbaseline_r50_30e_pa100k.zip
#下載關鍵點識別模型
!wget https://bj.bcebos.com/v1/paddledet/models/pipeline/dark_hrnet_w32_256x192.zip
#下載行為識別模型
!wget https://bj.bcebos.com/v1/paddledet/models/pipeline/STGCN.zip

接著我們把下載好的模型壓縮包文件解壓縮到 output_inference文件夾

 #解壓至./output_inference文件夾
!unzip -d output_inference mot_ppyoloe_l_36e_pipeline.zip
!unzip -d output_inference strongbaseline_r50_30e_pa100k.zip
!unzip -d output_inference dark_hrnet_w32_256x192.zip
!unzip -d output_inference STGCN.zip

3)配置文件說明

此次應用的paddle應用,相關配置位于deploy/pphuman/config/infer_cfg.yml文件中。

對應的任務類型和功能如下表所示:

輸入類型 功能 任務類型 配置項 圖片 屬性識別 目標檢測 屬性識別 DET ATTR 單鏡頭視頻 屬性識別 多目標跟蹤 屬性識別 MOT ATTR 單鏡頭視頻 行為識別 多目標跟蹤 關鍵點檢測 行為識別 MOT KPT ACTION

我們本次應用,主要包含下述功能:

  • 社區(qū)人員信息留存:單鏡頭視頻的屬性識別
  • 摔倒及異常動作檢測:單鏡頭視頻輸入的摔倒/動作識別

大家可以根據(jù)視頻長短調(diào)整部分參數(shù),比如動作識別中可以將 deploy/pphuman/config/infer_cfg.yml 文件中的 max_frames 和 display_frames 修改如下:

ACTION:
  model_dir: output_inference/STGCN
  batch_size: 1
  max_frames: 2500
  display_frames: 2500
  coord_size: [384, 512]

4)模型運行與預測

模型預測參數(shù)選擇分為兩部分:

  • 功能選擇:將對應參數(shù)設置為 True 屬性識別:enable_attr行為識別:enable_action
  • 模型路徑修改:設置對應任務 (DET, MOT, ATTR, KPT, ACTION) 的模型路徑 例如 圖片輸入的屬性識別:
--model_dir det=output_inference/mot_ppyoloe_l_36e_pipeline/ attr=output_inference/strongbaseline_r50_30e_pa100k/

社區(qū)人員信息識別

如下運行代碼,其中「唐山.mp4」為事件片段視頻,可以在公眾號 ShowMeAI研究中心 回復「唐山」獲取 網(wǎng)盤地址。

 #視頻行人屬性識別
!python deploy/pphuman/pipeline.py \
    --config deploy/pphuman/config/infer_cfg.yml \
    --model_dir mot=output_inference/mot_ppyoloe_l_36e_pipeline/ attr=output_inference/strongbaseline_r50_30e_pa100k/ \
    --video_file=../唐山.mp4 \
    --enable_attr=True \
    --device=gpu

截取的識別結果可視化如下所示:

摔倒與異常行為檢測

如下運行代碼,其中「tangshan.mp4」為事件片段視頻,可以在公眾號 ShowMeAI研究中心 回復「唐山」獲取 網(wǎng)盤地址。

#摔倒與異常行為檢測識別
!python deploy/pphuman/pipeline.py \
    --config deploy/pphuman/config/infer_cfg.yml \
    --model_dir mot=output_inference/mot_ppyoloe_l_36e_pipeline/ kpt=output_inference/dark_hrnet_w32_256x192/ action=output_inference/STGCN \
    --video_file=/home/aistudio/tangshan.mp4 \
    --enable_action=True \
    --device=cpu

推薦閱讀

關于社區(qū)安全檢測涉及的視覺模型算法知識,請關注ShowMeAI的后續(xù)文章,我們將展開講解。也推薦大家學習ShowMeAI精心創(chuàng)作的系列教程。

圖解機器學習算法:從入門到精通系列教程

鏈接:http://www.showmeai.tech/tutorials/34

機器學習實戰(zhàn):手把手教你玩轉(zhuǎn)機器學習系列

鏈接:http://www.showmeai.tech/tutorials/41

深度學習教程:吳恩達專項課程 · 全套筆記解讀

鏈接:http://www.showmeai.tech/tutorials/35

自然語言處理教程:斯坦福CS224n課程 · 課程帶學與全套筆記解讀

鏈接:http://www.showmeai.tech/tutorials/36

深度學習與計算機視覺教程:斯坦福CS231n · 全套筆記解讀

鏈接:http://www.showmeai.tech/tutorials/37

在公眾號 ShowMeAI研究中心 回復「唐山」,獲取 項目代碼 & 用于訓練的視頻 & 運行結果視頻/動圖。項目涉及知識點見文末推薦閱讀

好了,這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里,如果大家網(wǎng)絡推廣引流創(chuàng)業(yè)感興趣,可以添加微信:80709525  備注:發(fā)貨聯(lián)盟引流學習; 我拉你進直播課程學習群,每周135晚上都是有實戰(zhàn)干貨的推廣引流技術課程免費分享!


版權聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權/違法違規(guī)的內(nèi)容, 請發(fā)送郵件至 sumchina520@foxmail.com 舉報,一經(jīng)查實,本站將立刻刪除。

您可能還會喜歡:

發(fā)表評論

◎歡迎參與討論,請在這里發(fā)表您的看法、交流您的觀點。