zemora

做了一个无人车的环视系统

  •  
  •   zemora · Oct 24, 2019 · 3292 views
    This topic created in 2418 days ago, the information mentioned may be changed or developed.

    最近在单位的无人小车上面开发了一个环视系统的 demo 程序,硬件配置就是传统的四个环视鱼眼相机,实现了如下功能:

    1. 将四路鱼眼相机的图像拼接为 360 度全景图,并从中检测车道线 /车位线。
    2. 用神经网络检测四周的障碍物,判断人、车、柱子。

    其中全景图的效果视频可以见

    https://weibo.com/tv/v/Id1J4lXnX?fid=1034:4431048889584339

    代码是用纯 python (配合 opencv) 写的,可以流畅运行在 Xavier AGX 上 (每个相机固定为 640x480 分辨率),目前正在转 C++,希望用 Qt 做一个漂亮的界面。

    其实目前环视系统开发最大的门槛就在标定和拼接上,一旦能拼出毫无缝隙的全景图,后面做车道 /车位检测就容易多了。

    这个小车可以作为巡逻车使用,只需要把神经网络换成识别车牌或者人脸的非法车辆 /非法访客,也可以变成零售车,只需要加上识别手势的功能。

    不过目前搭载的一个 AGX 做不了太多的事情。

    后面我会写一个教程来介绍具体步骤并放出 Python 代码,这个无法作为产品使用,仅作为学习参考。

    7 replies    2019-10-25 16:07:40 +08:00
    IC0ZB
        1
    IC0ZB  
       Oct 25, 2019 via iPhone
    厉害呀
    dangyuluo
        2
    dangyuluo  
       Oct 25, 2019
    不错啊,希望楼主分享下 python 代码😁谢谢
    clino
        3
    clino  
       Oct 25, 2019 via Android
    感觉挺厉害
    designer
        4
    designer  
       Oct 25, 2019 via iPhone
    厉害,让他自己学习个十年看下能不能成精(意识觉醒)
    zemora
        5
    zemora  
    OP
       Oct 25, 2019
    @dangyuluo 后面会的,现在一些视觉算法还在测试阶段,一旦成熟了就公布 python 代码
    zzugyl
        6
    zzugyl  
       Oct 25, 2019
    微博视频是拼接的?厉害啊,比我用的全景相机拼接的还完美。
    zemora
        7
    zemora  
    OP
       Oct 25, 2019
    @zzugyl 四个相机的图像拼起来的,自信看能看出来前方的相机曝光稍微暗一些
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4029 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 05:12 · PVG 13:12 · LAX 22:12 · JFK 01:12
    ♥ Do have faith in what you're doing.