實(shí)時(shí)人臉檢測(cè)系統(tǒng)：ESP32 與上位機(jī)通信

在這篇博客中，我將介紹如何使用 ESP32 攝像頭捕獲圖像，并通過(guò) UDP 協(xié)議將圖像傳輸?shù)缴衔粰C(jī)進(jìn)行實(shí)時(shí)人臉檢測(cè)。我們將使用 Python 編程語(yǔ)言和 OpenCV 庫(kù)來(lái)實(shí)現(xiàn)上位機(jī)端的人臉檢測(cè)功能。

硬件與軟件準(zhǔn)備

1. ESP32 開(kāi)發(fā)板：我們使用 ESP32 開(kāi)發(fā)板和攝像頭模塊來(lái)捕獲圖像。
2. 上位機(jī)：需要一臺(tái)裝有 Python 和 OpenCV 庫(kù)的計(jì)算機(jī)作為上位機(jī)。
3. WiFi 網(wǎng)絡(luò)：確保 ESP32 和上位機(jī)連接到同一 WiFi 網(wǎng)絡(luò)，以便它們之間能夠進(jìn)行通信。

ESP32 代碼解析

在 ESP32 的代碼中，我們首先初始化攝像頭，并設(shè)置一些參數(shù)，如分辨率、特效、白平衡等。然后，我們創(chuàng)建一個(gè) UDP socket，并持續(xù)地捕獲圖像并通過(guò) UDP 發(fā)送到指定的 IP 地址和端口。下面是代碼的關(guān)鍵部分：

# 連接wifi
wlan = network.WLAN(network.STA_IF)
wlan.active(True)
if not wlan.isconnected():print('連接到網(wǎng)絡(luò)...')wlan.connect('wifi賬號(hào)', 'wifi密碼')while not wlan.isconnected():pass
print('網(wǎng)絡(luò)配置:', wlan.ifconfig())# 攝像頭初始化
try:camera.init(0, format=camera.JPEG)
except Exception as e:camera.deinit()camera.init(0, format=camera.JPEG)# 創(chuàng)建 UDP socket
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 0)# 捕獲圖像并發(fā)送到指定地址
while True:buf = camera.capture()s.sendto(buf, ("192.168.3.5", 9090))time.sleep(0.1)

上位機(jī)代碼解析

在上位機(jī)的代碼中，我們創(chuàng)建一個(gè) UDP socket，并監(jiān)聽(tīng)指定端口。當(dāng)收到來(lái)自 ESP32 的圖像數(shù)據(jù)時(shí)，我們將其轉(zhuǎn)換為 OpenCV 圖像格式，并使用 Haar 特征級(jí)聯(lián)分類(lèi)器檢測(cè)圖像中的人臉。最后，我們?cè)趫D像中繪制矩形框來(lái)標(biāo)記檢測(cè)到的人臉。下面是代碼的關(guān)鍵部分：

# 加載用于人臉檢測(cè)的預(yù)訓(xùn)練 Haar 特征級(jí)聯(lián)分類(lèi)器
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')# 創(chuàng)建 UDP socket 并綁定端口
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 0)
s.bind(("0.0.0.0", 9090))# 接收并處理來(lái)自 ESP32 的圖像數(shù)據(jù)
while True:data, IP = s.recvfrom(100000)bytes_stream = io.BytesIO(data)image = Image.open(bytes_stream)img = np.asarray(image)img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)# 在圖像中檢測(cè)人臉faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))# 繪制矩形框標(biāo)記人臉for (x, y, w, h) in faces:cv2.rectangle(img, (x, y), (x + w, y + h), (0, 0, 255), 2)cv2.imshow("ESP32 捕獲的圖像", img)if cv2.waitKey(1) == ord("q"):breaks.close()
cv2.destroyAllWindows()

結(jié)論

一個(gè)簡(jiǎn)單的實(shí)時(shí)人臉檢測(cè)系統(tǒng)，利用 ESP32 捕獲圖像并通過(guò) WiFi 發(fā)送到上位機(jī)，然后在上位機(jī)中使用 OpenCV 對(duì)圖像進(jìn)行處理并實(shí)時(shí)顯示人臉檢測(cè)結(jié)果。項(xiàng)目地址 實(shí)時(shí)人臉檢測(cè)系統(tǒng)：ESP32 與上位機(jī)通信