esp32s3做了個AI拍照識別漢字

ID:57512 · 發表于 2026-3-1 04:57

本帖最后由太空將軍于 2026-3-1 05:01 編輯

現在是夜里3點半，奶粉錢無著落，也頭暈無聊，遂分享一下最近做的這個漢字識別嘗試，硬件簡單，微雪的esp32s3的2寸觸摸屏，搭上arudino nano,攝像頭ov2640插上就是，播音用的JQ8900TF,邏輯端都在nano上用arduinoIDE編寫，nano控制語音模塊，也接收esp發來的字符串判斷處于什么界面，nano也發送學習內容到esp端顯示，esp32端是LVGL顯示，年齡選擇，學習模式或復習模式，96*96抓拍用OCR模型運行，識別到的漢字高于85%置信度的，就傳給arduino，arduino檢測到識別準確就喊小朋友加油或繼續，檢測到學習完畢或復習完畢就恭喜一下小朋友。實物圖欣賞===粘貼圖片失敗==附件了===

=================================分割================
其實我更想嘮叨點非技術的，技術是個無底洞，我也是東戳戳西看看，沒找到方向。這是我從25年底到26年的第三個單，第一個單得到80塊：沒有硬件，給stm32寫一個ADC采集并波形顯示，再串口發送到電腦即可，大概調了三五天。第二單得到150塊，也是沒硬件，是讀取MPU6050的步數和XYZ加速度顯示到3寸TFT上，這兩單大概改了十幾版，半夜發過去，第二天對方能運行就行了。第三單識字系統折騰夠嗆，我想著識字用百度的paddleOCR吧，試了一下電腦端Onnx識別率85%以上，就開始量化，結果連著幾天量化INT8都失敗，因為層級誤差和圖級誤差爆炸，想著先INT16先跑起來再說，不管它模型有多大了(4M太大了)，然后部署還遇到esp32dl官方似乎有bug，改了官方代碼后總算跑起來了呢又OCR識別需要幾十秒，轉而用edge平臺來訓練，于是用不同字體生成18000張訓練圖，edge平臺上模型選用MobileNetV2 96x96 0.35，訓練了50個字，INT8模型識別率達到99.1%，把下載的C++庫部署到esp32s3后，花了些時間調節圖像預處理，置信度閾值85%時勉強可以準確識別到30多個字，模型394ms運行時間，拍攝到識別幾乎無感，我知道識別率不高這是因為訓練圖集和我抓拍到的差距太大引起的，不過既然不是產品開發，就不用花精力較真了，也視頻驗收過了。希望明天幾百塊可以到賬。寫到這，我發現我又聊技術了。于是我點了一支煙，想了想這些年的折騰，半桶水提著走來走去，妻女的目光依然動人，而我還是一無是處，沒有深耕某個產品，沒有進入某個供需鏈，2026或許應該改變一下，選一條路深耕下去。怎么選我也一直在看，看新奇的產品，看哪些利潤供需穩定些，但是目前還一無所獲。但是，夜晚妻女熟睡的身影，又似乎給了我一切。
如果有大佬看到這，期待指條明路，謝謝！