https://www.rs-online.com/designspark/intel-realsense-d455-jetson-nanopython-1-cn
首先安装相关软件,先注册服务器的公用密钥,每组D455公用密钥相同。
sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
Ubuntu 18 LTS:
sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
安装相关资源:
$ sudo apt-get install librealsense2-dkms $ sudo apt-get install librealsense2-utils
开启RealSense-Viewer确认是否能抓到D455:
realsense-viewer
注意接下来介绍的画面是Windows的窗口,功能都一样只差在没有预设人脸及年龄辨识!先将所有的模块都打开来看,分别是深度模块 (Stereo Module)、RGB摄影机 (RGB Camera)、动作感测模块 (Motion Module),右上角有3D、 2D两种模式可以选择,这边我转换成2D的模式,最后可以看到总共有4个画面出来,左上是深度摄影机的信息、左下是RGB、右上右下分别是陀螺仪及加速度计。
Viewer的Windows版本已经有内建人脸辨识以及年龄侦测,蛮准也蛮好玩的,经实测侧脸年龄都比较高,顺便让大家看看同事们认真工作的样子:
在2D模式下,右边的刻度是深度,越大则越远,单位是 meters (m);而鼠标指到的位置会在左下角显示深度信息。
接着切换到3D模式,我稍微测了一下最短距离,大概是0.3XM左右,其实比表定的0.4M还小一些;最远距离的话就如规格所示,大约4M。
功能的部分,上方这些基本款的话,只有Shadow、Measure、Export可以玩
其中Shading有三种模式可以更换,可以找到自己喜欢、适合的风格,第二、三的风格差别在于有光线纹路 (?)
Measure的部分则是测量距离,蛮有趣的,准度的话我实际测试如下,可以参考一下,准确度确实蛮高的。
测量结果为 16.8 |
测量结果为 17 |
可以在左侧开关开启RGB的传感器,让深度加上色彩
除此之外,还可以调整模式,可以注意手部的部分会很明显感受到差异。
custom |
high acc |
接着利用Jetson Nano 测试一下python的程序,首先要先安装 pyrealsense2,但是在Nano中没办法直接在PyPI中安装 (因为核心是Arrch) 所以要去找源码来建构才行,第一步先将librealsense的github下载下来:
$ git clone https://github.com/IntelRealSense/librealsense.git
确认Ubuntu 的apt-get版本式最新的:
$ sudo apt-get update && sudo apt-get upgrade
安装相依套件:
sudo apt-get install python3 python3-dev
透过CMake建置,并将其针对Python3的环境进行编译:
$ mkdir build $ cd build $ cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python3.6 $ make -j5 $ sudo make install
更新您的PYTHONPATH环境变量:
export PYTHONPATH=$PYTHONPATH:/usr/local/lib
接着可以导入函式库,基本上没报错就没问题了:
$ python3 >> import pyrealsense2 as rs
如果你导入函式库没问题但是执行程序遇到问题 no attribute 'pipeline’ 只需将wrappers/python/pyrealsense2/__init__.py 放到pyrealsense2的安装路径底下即可:
$ python3 >> import pyrealsense2 as rs >> rs.__path__ [‘/usr/lib/python3/dist-packages/pyrealsense2’]
取得到 pyrealsense2 的位置之后再将 __init__.py 复制过去
$ sudo cp __init__.py /usr/lib/python3/dist-packages/pyrealsense2
这样就完成 pyrealsense2 的套件安装了,我们尝试几个范例程序看看:
1、python-tutorial-1-depth.py
这是最基础的程序,可以从这里了解怎么开启影像串流,除此之外Intel还很特别的设计了ASCII艺术形式在终端机种显示图像,算法还蛮简单的可以去了解看看。
2、opencv_pointcloud_viewer.py
透过OpenCV来显示有两个范例,差异不大!这边提供点云的范例给大家,近两年也越来越多人在点云方面去做深度学习的应用跟训练。
3、depth_auto_calibration_example.py
这是自动去背的案例,相当的有趣。