RTSP拉流DEMO-02

人體檢測

開發者將本Application部署至Atlas 200 DK或者AI加速云服務器上實現對本地mp4文件或者RTSP視頻流進行解碼，對視頻幀中的行人和人臉進行檢測并對其屬性進行預測，生成結構化信息發送至Server端進行保存、展示的功能。

當前分支中的應用適配1.32.0.0及以上版本的DDK&RunTime。

前提條件

部署此Sample前，需要準備好以下環境：

• 已完成Mind Studio的安裝。
• 已完成Atlas 200 DK開發者板與Mind Studio的連接，交叉編譯器的安裝，SD卡的制作及基本信息的配置等。

部署

可以選擇如下快速部署或者常規方法部署，二選一即可：

1. 快速部署，請參考： https://gitee.com/Atlas200DK/faster-deploy 。

 說明：

• 該快速部署腳本可以快速部署多個案例，請選擇videoanalysisperson案例部署即可。
• 該快速部署腳本自動完成了代碼下載、模型轉換、環境變量配置等流程，如果需要了解詳細的部署過程請選擇常規部署方式。轉 ：2. 常規部署
1. 常規部署，請參考： https://gitee.com/Atlas200DK/sample-README/tree/master/sample-videoanalysisperson 。

 說明：

• 該部署方式，需要手動完成代碼下載、模型轉換、環境變量配置等過程。完成后，會對其中的過程更加了解。

編譯

1. 打開對應的工程。

以Mind Studio安裝用戶在命令行中進入安裝包解壓后的“MindStudio-ubuntu/bin”目錄，如：$HOME/MindStudio-ubuntu/bin。執行如下命令啟動Mind Studio

./MindStudio.sh

啟動成功后，打開sample-videoanalysisperson工程，如圖 打開videoanalysisperson工程所示。

圖 1 打開videoanalysisperson工程

1. 在src/param_configure.conf文件中配置相關工程信息。

圖 2 配置文件路徑

該配置文件默認配置內容如下：

remote_host=192.168.1.2

presenter_view_app_name=video

video_path_of_host=/home/HwHiAiUser/person.mp4

rtsp_video_stream=

• remote_host：配置為Atlas 200 DK開發者板的IP地址。
• presenter_view_app_name: 用戶自定義的在PresenterServer界面展示的View Name，此View Name需要在Presenter Server展示界面唯一，只能為大小寫字母、數字、“_”的組合，位數3~20。
• video_path_of_host：配置為HOST側的視頻文件的絕對路徑。
• rtsp_video_stream：配置為RTSP視頻流的URL。

視頻文件配置示例如下：

remote_host=192.168.1.2

presenter_view_app_name=video

video_path_of_host=/home/HwHiAiUser/person.mp4

rtsp_video_stream=

Rtsp視頻流配置示例如下：

remote_host=192.168.1.2

presenter_view_app_name=video

video_path_of_host=

rtsp_video_stream=rtsp://192.168.2.37:554/cam/realmonitor?channel=1&subtype=0

 說明：

• 參數remote_host和presenter_view_app_name必須全部填寫，否則無法通過build。
• 注意參數填寫時不需要使用“”符號。
• 參數video_path_of_host和rtsp_video_stream必須至少填寫一項。
• 當前RTSP視頻流只支持rtsp://ip:port/path格式，如果需要使用其它格式的url，需要把video_decode.cpp中的IsValidRtsp函數去除，或者直接返回true，跳過正則表達式匹配。
• 本樣例中提供的RTSP流地址不可以直接使用。如果需要使用RTSP，請在本地使用live555或其它方式制作RTSP視頻流，并且可以在VLC中播放。然后將本地制作好的RTSP視頻流的URL填入配置文件的相應參數中，即可運行。
• 當前已經按照配置示例配置默認值，請按照配置情況自行修改。
1. 執行deploy腳本， 進行配置參數調整及第三方庫下載編譯 打開Mind Studio工具的Terminal，此時默認在代碼主目錄下，執行如下命令在后臺指執行deploy腳本，進行環境部署。如圖 執行deploy腳本所示。

圖 3 執行deploy腳本

 說明：

• 首次deploy時，沒有部署第三方庫時會自動下載并編譯，耗時可能比較久，請耐心等待。后續再重新編譯時，不會重復下載編譯，部署如上圖所示。
• deploy時，需要選擇與開發板通信的主機側ip，一般為虛擬網卡配置的ip。如果此ip和開發板ip屬于同網段，則會自動選擇并部署。如果非同網段，則需要手動輸入與開發板通信的主機側ip才能完成deploy。
1. 開始編譯，打開Mind Studio工具，在工具欄中點擊Build > Build > Build-Configuration。如圖 編譯操作及生成文件所示，會在目錄下生成build和run文件夾。

圖 4 編譯操作及生成文件

 須知：
首次編譯工程時，Build > Build為灰色不可點擊狀態。需要點擊Build > Edit Build Configuration，配置編譯參數后再進行編譯。

1. 啟動Presenter Server。

打開Mind Studio工具的Terminal，在應用代碼存放路徑下，執行如下命令在后臺啟動人體檢測應用的Presenter Server主程序。如圖 啟動PresenterServer所示。

bash run_present_server.sh

圖 5 啟動PresenterServer

• 當提示“Please choose one to show the presenter in browser(default: 127.0.0.1):“時，請輸入在瀏覽器中訪問Presenter Server服務所使用的IP地址（一般為訪問Mind Studio的IP地址）。

如圖 工程部署示意圖所示，請在“Current environment valid ip list”中選擇通過瀏覽器訪問Presenter Server服務使用的IP地址。

圖 6 工程部署示意圖

• 當提示“Please input a absolute path to storage video analysis data:“時，請輸入Mind Studio中的絕對路徑用于存儲視頻解析數據，此路徑Mind Studio用戶需要有讀寫權限，若此路徑不存在，腳本會自動創建。

如圖7所示，表示presenter_server的服務啟動成功。

圖 7 Presenter Server進程啟動

使用上圖提示的URL登錄Presenter Server，IP地址為圖6中輸入的IP地址，端口號默為7011，如下圖所示，表示Presenter Server啟動成功。

圖 8 主頁顯示

Presenter Server、Mind Studio與Atlas 200 DK之間通信使用的IP地址示例如下圖所示：

圖 9 IP地址示例

• Atlas 200 DK開發者板使用的IP地址為192.168.1.2（USB方式連接）。
• Presenter Server與Atlas 200 DK通信的IP地址為UI Host服務器中與Atlas 200 DK在同一網段的IP地址，例如：192.168.1.223。
• 通過瀏覽器訪問Presenter Server的IP地址本示例為：10.10.0.1，由于Presenter Server與Mind Studio部署在同一服務器，此IP地址也為通過瀏覽器訪問Mind Studio的IP。
1. 人體檢測應用支持解析本地視頻和RTSP視頻流。
• 如果需要解析本地視頻，需要將視頻文件傳到Host側。

例如將視頻文件person.mp4上傳到Host側的“/home/HwHiAiUser/“目錄下。

 說明：
支持H264與H265格式的MP4文件，如果MP4文件需要剪輯，建議使用開源工具ffmpeg，使用其他工具剪輯的視頻文件ffmpeg工具可能不支持解析。

• 如果僅解析RTSP視頻流，本步驟可跳過。

運行

1. 運行人體檢測應用程序。

在Mind Studio工具的工具欄中找到Run按鈕，點擊Run > Run 'sample-videoanalysisperson'，如圖 程序已執行示意圖所示，可執行程序已經在開發板執行。

圖 10 程序已執行示意圖

1. 使用啟動Presenter Server服務時提示的URL登錄 Presenter Server 網站。

 說明：
人體檢測應用程序的Presenter Server最多支持2個 presenter_view_app_name 同時顯示。

頁面左側樹結構列出了視頻所屬app name以及通道名，中間列出了抽取的視頻幀大圖以及檢測出的目標小圖，點擊下方小圖后會在右側列出詳細的推理結果、評分。

本應用支持人體屬性檢測和人臉屬性檢測。

• 人體屬性包括：

Age：共分Age16-30，Age31-45，Age46-60，AgeAbove61四個年齡段; Backpack; CarryingOther; Casual lower; Casual upper; Formal lower; Hat; Jacket; Jeans; Leather Shoes; Logo; Short hair/Long hair; Male/Female; Messenger Bag; Muffler; No accessory; No carrying; Plaid; PlasticBags; Sandals; Shoes; Shorts; Short Sleeve; Skirt; Sneaker; Stripes; Sunglasses; Trousers; Tshirt; UpperOther; V-Neck。

其中在視頻分析界面的詳細推理結果展示區域，Age、Male/Female、Short hair/Long hair是必展示屬性，其他屬性當置信度>0.5時則展示，否則不展示。

• 人臉屬性檢測支持年齡和性別的的識別。

后續處理

• 停止人體檢測應用

視頻程序分析完之后會自動停止退出，如圖 videoperson應用程序停止所示

圖 11 videoperson應用程序停止

• 停止Presenter Server服務

Presenter Server服務啟動后會一直處于運行狀態，若想停止人體檢測應用對應的Presenter Server服務，可執行如下操作。

以Mind Studio安裝用戶在Mind Studio所在服務器中執行如下命令查看人體檢測應用對應的Presenter Server服務的進程。

ps -ef | grep presenter | grep video_analysis_person

ascend@ascend-HP-ProDesk-600-G4-PCI-MT:~/sample-videoanalysisperson$ ps -ef | grep presenter | grep video_analysis_car

ascend 3656 20313 0 15:10 pts/24?? 00:00:00 python3 presenterserver/presenter_server.py --app video_analysis_person

如上所示_3656_ 即為人體檢測應用對應的Presenter Server服務的進程ID。

若想停止此服務，執行如下命令：

kill -9 3656

• 重啟人體檢測應用時注意點

重新啟動人體檢測應用時請確保以下條件滿足任意一個，否則會報錯:

1. 請確保視頻解析數據存儲路徑中內容已經清空。

例如：視頻解析數據存儲路徑為：$HOME/videoperson_storage/video，其中：$HOME/videoperson_storage是啟動Presenter Server時配置的“Please input a absolute path to storage video analysis data”的值，video為param_configure.conf配置文件中參數presenter_view_app_name的值。

滿足此條件情況下，無需重啟Presenter Server，直接重新執行 Run > Run 'sample-videoanalysisperson' 運行應用程序即可。

1. 視頻解析數據存儲路徑中如果已有數據且不想刪除，可以修改param_configure.conf配置文件中presenter_view_app_name參數的值，然后在Mind Studio界面中重新執行Build > Rebuild，再執行 Run > Run 'sample-videoanalysisperson' 即可。

param_configure.conf配置文件中參數presenter_view_app_name的值如下所示。

滿足此條件情況下，無需重啟Presenter Server。

1. 若重新啟動Presenter Server，再運行車輛檢測應用，在啟動Presenter Server時請修改存儲視頻解析的數據的路徑（不與之前存儲路徑重復）。