openMVG源码学习（一）main_SfMInit_ImageListing

这个学习笔记将使用openmvg作为第三方库，官方文档当中所推荐的恢复运动结构的方法，当中代码的含义以及我在学习当中所发现的经验。也欢迎大家来讨论！

包含的代码与平台

ubuntu18.04
openMVG的安装就不在此赘述了主要参照官方文档就好

main_SfMInit_ImageListing.cpp
main_ComputeFeatures.cpp
main_ComputeMatches.cpp
main_IncrementalSfM.cpp
main_GlobalSfM.cpp

main_SfMInit_ImageListing.cpp

那么我们正式开始！
首先新建一个工程，把源码粘贴过来。
我们需要自己配置工程环境：

cmakelist.txt

首先来看一下cmakelist.txt怎么写？

cmake_minimum_required(VERSION 3.0.0)
project(mvgtest1)
set(CMAKE_CXX_STANDARD 17)

add_executable(mvgtest1 img_list.cpp ComputeFeatures.cpp ComputeMatches.cpp Globalsfm.cpp)

#OpenMVG,OpenCV,Ceres

find_package(OpenCV REQUIRED)
find_package(OpenMVG REQUIRED)

find_package(Ceres REQUIRED PATHS "${CERES_PATH}/Thirdparty/ceres-solver")
include_directories(${CERES_INCLUDE_DIRS})
set(LIBS ${Ceres_LIBS_DIR}/libceres.a umfpack cxsparse glog gflags gomp
        ccolamd btf klu cholmod lapack blas camd amd pthread)
include_directories(${OPENMVG_INCLUDE_DIRS})

target_link_libraries(mvgtest1
        PRIVATE
        OpenMVG::openMVG_sfm
        OpenMVG::openMVG_matching
        OpenMVG::openMVG_camera
        OpenMVG::openMVG_exif
        OpenMVG::openMVG_features
        OpenMVG::openMVG_geodesy
        OpenMVG::openMVG_geometry
        OpenMVG::openMVG_graph
        OpenMVG::openMVG_image
        OpenMVG::openMVG_linearProgramming
        OpenMVG::openMVG_matching
        OpenMVG::openMVG_matching_image_collection
        OpenMVG::openMVG_multiview
        OpenMVG::openMVG_numeric
        OpenMVG::openMVG_robust_estimation
        OpenMVG::openMVG_sfm
        OpenMVG::openMVG_system
        ${OpenCV_LIBS}
        )
FIND_PACKAGE( OpenMP REQUIRED)
if(OPENMP_FOUND)
    message("OPENMP FOUND")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
    set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} ${OpenMP_EXE_LINKER_FLAGS}")
endif()

FIND_PACKAGE( OpenMP REQUIRED)
if(OPENMP_FOUND)
    message("OPENMP FOUND")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
endif()

不过多解释

代码运行前的准备

删除cmd相关的东西，反正这个在clion当中运行返回会出错，删除cmd的相关的东西也不会影响代码的完整性。删除之后main函数传参的参数，即int main()

之后，对代码的结构进行整理，让自己更加容易去看懂当中的逻辑安排。

数据准备

好了，罗嗦这么多，咱们进入代码的讲解，

首先，该cpp主要作用，是读取图片，获取路径，以及摄像机的内参参数，生成sfm_data.json文件为之后的特征匹配与重建的准备文件，之后的流程都要使用到该文件。

mian函数的开头，定义了程序的输入与输出的文件夹路径

std::string sImageDir = "../imgdata";

图片文件夹路径

std::string sOutputDir = "../output";		

输出文件文件夹

std::string sKmatrix = "fx;0;ppx;0;fy;ppy;0;0;1";	

相机内参矩阵，字符串读入，由checkIntrinsicStringValidity函数获取f，ppx，ppy数据

std::string sfileDatabase = "";	

从文件读取数据数据库文件，读入到vector< Datasheet >当中
其中Datasheet存储相机型号和传感器尺寸的数据库结构
有两个成员 std::string model_; 和double sensorSize_;

std::pair<bool, Vec3> prior_w_info(false, Vec3(1.0,1.0,1.0));

预先定义的旋转的优先级

int i_User_camera_model = PINHOLE_CAMERA_RADIAL3;

定义相机模型的类型

enum EINTRINSIC
{
  PINHOLE_CAMERA_START = 0,
  PINHOLE_CAMERA,         //无畸变
  PINHOLE_CAMERA_RADIAL1, // 径向畸变K1
  PINHOLE_CAMERA_RADIAL3, // 径向畸变K1,K2,K3
  PINHOLE_CAMERA_BROWN, //径向畸变K1，K2，K3，切向畸变T1，T2
  PINHOLE_CAMERA_FISHEYE, //具有4个畸变系数的简单鱼眼畸变模型
  PINHOLE_CAMERA_END,
  CAMERA_SPHERICAL = PINHOLE_CAMERA_END + 1
};

这是源码所给出的相机模型

bool b_Group_camera_model = true;

如果需要，可将具有相同特性的相机组合在一起（从而获得更快、更稳定的BA）。

 int i_GPS_XYZ_method = 0;

在函数checkGPS当中传入，1为utm即（函数lla_to_utm）：
将WGS84 lon、lat、alt数据转换为UTM数据（通用横轴墨卡托）。
0为wgs84（函数lla_to_ecef）
将WGS84 lon、lat、alt数据转换为ECEF数据（地心固定）。
还有函数ecef_to_lla
将WGS84椭球体的ECEF（XYZ）转换为lon、lat、alt值。

数据读取

那么有了这些数据：

影像文件
输出文件夹
相机内参矩阵
传感器型号与尺寸
坐标基准
畸变模型

我们便可以对sfm_data.json进行建立了，这里对文件的数据与内参矩阵的检查不做赘述。

在读取各种数据之后：

 double width = -1, height = -1, focal = -1, ppx = -1,  ppy = -1;

被定义用于表示每张图片的内参，通过checkIntrinsicStringValidity函数检查并读入

const auto e_User_camera_model = EINTRINSIC(i_User_camera_model);

被定义畸变模型

  std::vector<std::string> vec_image = stlplus::folder_files( sImageDir );
  std::sort(vec_image.begin(), vec_image.end());	  

被定义为各张图片路径的vector，并且用名称排序

std::vector<Datasheet> vec_database;

存储传感器类型与尺寸，使用parseDatabase读入

读入并生成sfm_data.json

首先来看一下SfM_Data类，其用于定义通用SfM数据容器，存储结构和相机属性
包含成员：

Views

 是一个Hash_Map<IndexT, std::shared_ptr<View>>，存储View类型
View视图通过一个字符串和视图、相机和姿势的唯一索引来定义图像
  // image path on disk
  std::string s_Img_path;
  // Id of the view
  IndexT id_view;
  // Index of intrinsics and the pose
  IndexT id_intrinsic, id_pose;
  // image size
  IndexT ui_width, ui_height;

Poses

using Poses = Hash_Map<IndexT, geometry::Pose3>;      //定义姿势集合（按View::id_Pose索引）
方向矩阵和旋转中心 Mat3 rotation_;   Vec3 center_;			Eigen类型

Intrinsics

using Intrinsics = Hash_Map<IndexT, std::shared_ptr<cameras::IntrinsicBase>>;
为相机的内参属性

Landmarks

定义由TrackId索引的地标集合，Landmark包含两个成员，
3d点及其所对应于图像上的坐标的哈系表，
因为一个世界中的坐标可以被多张相机所观测到。
Landmarks点位又分为三角测量获得的点（用于BA）和地面控制点（用于GCP）

std::string s_root_path;
图片的根目录路径

接下来看看这个程序是如何编排进行读取的
创建一个SfM_Data，读取根目录
以vec_image的迭代器进行循环C_Progress_display在控制台显示进度

以一个循环为例：

初始化内参

width = height = ppx = ppy = focal = -1.0;

将文件夹与文件名（basename.extension）合并

const std::string sImageFilename = stlplus::create_filespec( sImageDir, *iter_image );

获取文件名-即不带文件夹部分但带有扩展名的文件名

const std::string sImFilenamePart = stlplus::filename_part(sImageFilename);

检测是否为图像

if (openMVG::image::GetFormat(sImageFilename.c_str()) == openMVG::image::Unknown)
{
  error_report_stream
      << sImFilenamePart << ": Unkown image file format." << "\n";
  continue; // image cannot be opened
}
//string::npos是一个常数，用来表示不存在的位置
//判断是否为遮罩图像
if (sImFilenamePart.find("mask.png") != std::string::npos
   || sImFilenamePart.find("_mask.png") != std::string::npos)
{
  error_report_stream
      << sImFilenamePart << " is a mask image" << "\n";
  continue;
}
//以上这两种情况跳过此循环


ImageHeader imgHeader;
if (!openMVG::image::ReadImageHeader(sImageFilename.c_str(), &imgHeader))
  continue; // image cannot be read

width = imgHeader.width;
height = imgHeader.height;
ppx = width / 2.0;
ppy = height / 2.0;

考虑手动提供焦点的情况

if (sKmatrix.size() > 0) // 已知用户校准K矩阵
{
  if (!checkIntrinsicStringValidity(sKmatrix, focal, ppx, ppy))
    focal = -1.0;
}
else //用户提供的焦距值
  if (focal_pixels != -1 )
    focal = focal_pixels;

// 如果不是手动提供或错误提供
if (focal == -1)
{
  std::unique_ptr<Exif_IO> exifReader(new Exif_IO_EasyExif);
  //打开文件进行检查和分析返回bool
  exifReader->open( sImageFilename );
  //验证文件是否有元数据并且获取相机的型号不为空
  const bool bHaveValidExifMetadata =
    exifReader->doesHaveExifInfo()
    && !exifReader->getModel().empty();
//错误则报错，对则引用
  if (bHaveValidExifMetadata) // If image contains meta data
  {
    const std::string sCamModel = exifReader->getModel();
    // 处理焦距等于0的情况
    if (exifReader->getFocal() == 0.0f)
    {
      error_report_stream
        << stlplus::basename_part(sImageFilename) << ": Focal length is missing." << "\n";
      focal = -1.0;
    }
    else
    // 在列表文件中创建图像条目
    {
      Datasheet datasheet;
      if ( getInfo( sCamModel, vec_database, datasheet ))
      {
        // 在数据库中找到了相机模型，所以我们可以计算出它的近似焦距
        const double ccdw = datasheet.sensorSize_;
        focal = std::max ( width, height ) * exifReader->getFocal() / ccdw;
      }
      else
      {
        error_report_stream
          << stlplus::basename_part(sImageFilename)
          << "\" model \"" << sCamModel << "\" doesn't exist in the dataelse		base" << "\n"
          << "Please consider add your camera model and sensor width in the database." << "\n";
      }
    }
  }
}

获取相机模型，构建与视图相关的内在参数

std::shared_ptr<IntrinsicBase> intrinsic;
if (focal > 0 && ppx > 0 && ppy > 0 && width > 0 && height > 0)
{
  // 创建所需的相机类型，这个前文中有描述
  switch (e_User_camera_model)
  {
    case PINHOLE_CAMERA:
      intrinsic = std::make_shared<Pinhole_Intrinsic>
        (width, height, focal, ppx, ppy);
    break;
    case PINHOLE_CAMERA_RADIAL1:
      intrinsic = std::make_shared<Pinhole_Intrinsic_Radial_K1>
        (width, height, focal, ppx, ppy, 0.0); // setup no distortion as initial guess
    break;
    case PINHOLE_CAMERA_RADIAL3:
      intrinsic = std::make_shared<Pinhole_Intrinsic_Radial_K3>
        (width, height, focal, ppx, ppy, 0.0, 0.0, 0.0);  // setup no distortion as initial guess
    break;
    case PINHOLE_CAMERA_BROWN:
      intrinsic = std::make_shared<Pinhole_Intrinsic_Brown_T2>
        (width, height, focal, ppx, ppy, 0.0, 0.0, 0.0, 0.0, 0.0); // setup no distortion as initial guess
    break;
    case PINHOLE_CAMERA_FISHEYE:
      intrinsic = std::make_shared<Pinhole_Intrinsic_Fisheye>
        (width, height, focal, ppx, ppy, 0.0, 0.0, 0.0, 0.0); // setup no distortion as initial guess
    break;
    case CAMERA_SPHERICAL:
       intrinsic = std::make_shared<Intrinsic_Spherical>
         (width, height);
    break;
    default:
      std::cerr << "Error: unknown camera model: " << (int) e_User_camera_model << std::endl;
      return EXIT_FAILURE;
  }
}

构建与图像对应的视图，若有gps权重时（就需要定义为优先旋转）

const std::pair<bool, Vec3> gps_info = checkGPS(sImageFilename, i_GPS_XYZ_method);
if (gps_info.first)
{
//Views的子类，可以选择是否优先旋转，或者优先调整位置
  ViewPriors v(*iter_image, views.size(), views.size(), views.size(), width, height);

  // 添加与图像相关的内部文件（如果有）
  if (intrinsic == nullptr)
  {
//因为视图具有无效的内部数据
//（使用无效的内在字段值导出视图）
    v.id_intrinsic = UndefinedIndexT;
  }
  else
  {
    // Add the defined intrinsic to the sfm_container
    intrinsics[v.id_intrinsic] = intrinsic;
  }

  v.b_use_pose_center_ = true;
  v.pose_center_ = gps_info.second;

  //先前的权重
  if (prior_w_info.first == true)
  {
    v.center_weight_ = prior_w_info.second;
  }
  //将视图添加到sfm容器
  views[v.id_view] = std::make_shared<ViewPriors>(v);
}

没有gps信息时

else		
{
  View v(*iter_image, views.size(), views.size(), views.size(), width, height);

  // Add intrinsic related to the image (if any)
  if (intrinsic == nullptr)
  {
    //Since the view have invalid intrinsic data
    // (export the view, with an invalid intrinsic field value)
    v.id_intrinsic = UndefinedIndexT;
  }
  else
  {
    // Add the defined intrinsic to the sfm_container
    intrinsics[v.id_intrinsic] = intrinsic;
  }

  // Add the view to the sfm_container
  views[v.id_view] = std::make_shared<View>(v);
}

报错与保存

报错不讲
保存则将sfm_data的数据命名并保存到output文件当中

Save(  sfm_data, stlplus::create_filespec( sOutputDir, "sfm_data.json" ).c_str(),  ESfM_Data(VIEWS|INTRINSICS))

示例

这个示例很简单，读取一段图片，因为本流程不做gps约束因此不需要增加提前的pose