配置GCC编译器和开发环境

在 http://ftp.loongnix.cn/toolchain/gcc/release/loongarch/gcc8/ 中有 loongarch 交叉编译工具链，选择最新版本下载，解压缩

http://ftp.loongnix.cn/toolchain/gcc/release/loongarch/gcc8/loongson-gnu-toolchain-8.3-x86_64-loongarch64-linux-gnu-rc1.5.tar.xz

hello world

将工具链的bin目录加入PATH环境变量

export PATH=loongson-gnu-toolchain-8.3-x86_64-loongarch64-linux-gnu-rc1.5/bin:$PATH

编译hello world程序

loongarch64-linux-gnu-gcc hello.c -o hello

file命令查看hello二进制程序，看到是LoongArch架构

file hello

hello: ELF 64-bit LSB executable, LoongArch, version 1 (SYSV), dynamically linked, interpreter /lib64/ld.so.1, for GNU/Linux 4.15.0, not stripped

scp 上传到开发板

scp hello root@192.168.1.46:/root/

ssh 在开发板上执行程序

[root@LS-GD ~]# ./hello

hello 2k0300

至此，已经成功配置好了编译器和开发环境，我们可以使用这个方法编译任意简单的 C/C++ 工程

在龙芯上跑ruapu检测CPU指令集信息

ruapu 简介

https://github.com/nihui/ruapu

ruapu单个文件探测CPU指令集信息

ruapu通过执行特定扩展指令，捕获CPU非法指令异常，判断当前CPU是否支持某扩展指令集

这里尝试使用 loongarch 工具链的编译器直接编译 ruapu 测试工具

编译和运行 ruapu 测试

git clone https://github.com/nihui/ruapu

cd ruapu

loongarch64-linux-gnu-gcc main.c -O3 -o ruapu

scp ruapu root@192.168.1.46:/root/

使用 ssh 进入系统，执行 ruapu 打印探测到的扩展指令集，可以看到 2k0300 不支持任何LoongArch的SIMD多媒体扩展

[root@LS-GD ~]# ./ruapu

lsx = 0

lasx = 0

适配 opencv-mobile 无LSX编译

https://github.com/nihui/opencv-mobile

下载最新的源码包

https://github.com/nihui/opencv-mobile/releases/latest/download/opencv-mobile-4.10.0.zip

为 loongarch64 编写 cmake toolchain

set(CMAKE_SYSTEM_NAME Linux)

set(CMAKE_SYSTEM_PROCESSOR loongarch64)



if(DEFINED ENV{LOONGARCH64_ROOT_PATH})

    file(TO_CMAKE_PATH $ENV{LOONGARCH64_ROOT_PATH} LOONGARCH64_ROOT_PATH)

else()

    message(FATAL_ERROR "LOONGARCH64_ROOT_PATH env must be defined")

endif()



set(LOONGARCH64_ROOT_PATH ${LOONGARCH64_ROOT_PATH} CACHE STRING "root path to loongarch64 toolchain")



set(CMAKE_C_COMPILER "${LOONGARCH64_ROOT_PATH}/bin/loongarch64-linux-gnu-gcc")

set(CMAKE_CXX_COMPILER "${LOONGARCH64_ROOT_PATH}/bin/loongarch64-linux-gnu-g++")



set(CMAKE_FIND_ROOT_PATH "${LOONGARCH64_ROOT_PATH}/loongarch64-linux-gnu")



set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)

set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)

set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)

set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY)



set(CMAKE_C_FLAGS "-march=loongarch64")

set(CMAKE_CXX_FLAGS "-march=loongarch64")



# cache flags

set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}" CACHE STRING "c flags")

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}" CACHE STRING "c++ flags")

编译opencv-mobile

export LOONGARCH64_ROOT_PATH=/home/nihui/osd/loongson-gnu-toolchain-8.3-x86_64-loongarch64-linux-gnu-rc1.5



unzip -q opencv-mobile-4.10.0.zip

cd opencv-mobile-4.10.0



mkdir build

cd build



cmake -DCMAKE_TOOLCHAIN_FILE=../loongarch64-linux-gnu.toolchain.cmake -DCMAKE_INSTALL_PREFIX=`pwd`/install `cat ../options.txt` ..



make -j12

make install

编译过程中可以看到，opencv探测到了 loongarch64 lsx 指令支持，并且默认直接开启，这会导致在 2k0300 这种不支持 lsx 的平台上出错

因此，可以添加额外的参数，强制禁用 LSX LASX 优化

cmake -DCMAKE_TOOLCHAIN_FILE=../loongarch64-linux-gnu.toolchain.cmake -DCMAKE_INSTALL_PREFIX=`pwd`/install `cat ../options.txt` -DCPU_BASELINE='' -DCPU_DISPATCH='' ..



make -j12

make install

opencv-mobile 图片缩放测试

利用opencv-mobile实现图片读取，缩放，保存图片

新建一个cmake工程，引入刚才编译好的 opencv-mobile

project(opencv-mobile-test)



set(OpenCV_DIR "/home/nihui/osd/opencv-mobile-4.10.0/build/install/lib/cmake/opencv4")

find_package(OpenCV REQUIRED)



add_executable(opencv-mobile-test main.cpp)

target_link_libraries(opencv-mobile-test ${OpenCV_LIBS})

cpp实现：读取 in.jpg 图片，缩放到240x240，保存到 out.jpg

#include 

#include 

#include 



int main()

{

    cv::Mat bgr = cv::imread("in.jpg", 1);

    cv::resize(bgr, bgr, cv::Size(240, 240));

    cv::imwrite("out.jpg", bgr);

    return 0;

}

编译为 loongarch64 二进制，上传到开发板

cmake -DCMAKE_TOOLCHAIN_FILE=../loongarch64-linux-gnu.toolchain.cmake ..

make

scp opencv-mobile-test root@192.168.1.46:/root/

scp in.jpg root@192.168.1.46:/root/

此时在开发板上运行程序报错，找不到 libgomp.so.1

[root@LS-GD ~]# ./opencv-mobile-test

./opencv-mobile-test: error while loading shared libraries: libgomp.so.1: cannot open shared object file: No such file or directory

把 loongarch64 工具链里的 libgomp.so.1 上传到开发板上

scp $LOONGARCH64_ROOT_PATH/loongarch64-linux-gnu/sysroot/lib64/libgomp.so.1  root@192.168.1.46:/root/

设置好 LD_LIBRARY_PATH 环境变量再执行，可以正常跑完，并产生 out.jpg 图片

[root@LS-GD ~]# LD_LIBRARY_PATH=. ./opencv-mobile-test

最后把 out.jpg 下载到本地查看，确认图片确实被缩放到了 240x240 分辨率，图片内容正确

scp root@192.168.1.46:/root/out.jpg .

在开发板上查看文件大小，通过 file 命令也可以看到图片缩小了

opencv-mobile USB摄像头测试

opencv-mobile 通过调整编译参数，删减部分opencv源码，来最小化编译的 opencv 库

提供了 opencv 常用的功能，如读写图片，处理，矩阵操作等等，版本与上游同步，无第三方依赖

在绝大多数情况下，以 1/10 的体积无痛替换官方 opencv，尤其适合对体积有特殊要求的移动端和嵌入式环境

https://github.com/nihui/opencv-mobile

opencv-mobile 最新版本已支持在 Linux 上适配 MJPG 数据格式的摄像头

复用前面opencv图片缩放的工程，修改新的 main.cpp

测试程序的内容是使用 opencv-mobile 打开摄像头，设置 320x240 分辨率，然后每隔1秒取1帧图像，最后拼接为9格图片，保存到 out.jpg

#include 

#include 

#include 



#include    // sleep()



int main()

{

    cv::VideoCapture cap;

    cap.set(cv::CAP_PROP_FRAME_WIDTH, 320);

    cap.set(cv::CAP_PROP_FRAME_HEIGHT, 240);

    cap.open(0);



    const int w = cap.get(cv::CAP_PROP_FRAME_WIDTH);

    const int h = cap.get(cv::CAP_PROP_FRAME_HEIGHT);

    fprintf(stderr, "%d x %d\\n", w, h);



    cv::Mat bgr[9];

    for (int i = 0; i < 9; i++)

    {

        cap >> bgr[i];



        sleep(1);

    }



    cap.release();



    // combine into big image

    {

        cv::Mat out(h * 3, w * 3, CV_8UC3);

        bgr[0].copyTo(out(cv::Rect(0, 0, w, h)));

        bgr[1].copyTo(out(cv::Rect(w, 0, w, h)));

        bgr[2].copyTo(out(cv::Rect(w * 2, 0, w, h)));

        bgr[3].copyTo(out(cv::Rect(0, h, w, h)));

        bgr[4].copyTo(out(cv::Rect(w, h, w, h)));

        bgr[5].copyTo(out(cv::Rect(w * 2, h, w, h)));

        bgr[6].copyTo(out(cv::Rect(0, h * 2, w, h)));

        bgr[7].copyTo(out(cv::Rect(w, h * 2, w, h)));

        bgr[8].copyTo(out(cv::Rect(w * 2, h * 2, w, h)));



        cv::imwrite("out.jpg", out);

    }



    return 0;

}

编译方式参考上一节，此处省略

将USB摄像头插入 2K0300 蜂鸟开发板的下面的USB接口中，此处注意，插入靠上的USB接口会无法识别摄像头，而下面这个能正常识别到摄像头

测试使用的USB摄像头型号为 M5 AtomS3

执行 opencv-mobile-camera-test 测试程序

[root@LS-GD ~]# LD_LIBRARY_PATH=. ./opencv-mobile-camera-test

稍等片刻，程序退出，查看 out.jpg 确认 opencv-mobile 适配 USB 摄像头正常工作，这为后续实现视觉类应用打下了基础

opencv-mobile 蜂鸟开发板CI自动打包

opencv-mobile 项目采用 github action ci 自动编译打包，每次实现新功能或更新版本时，利用 git tag 执行 .github/workflows/release.yml 中的流程

这次把 2k0300 蜂鸟板也纳入到发布流程中

编辑 opencv-mobile 项目中的 .github/workflows/release.yml 在 devboard 章节添加 2k0300-fengniao

https://github.com/nihui/opencv-mobile/blob/master/.github/workflows/release.yml

2k0300 是单核CPU，设置 single-core: true 开启单核优化，并禁用 openmp 支持，减少多线程的额外消耗

设置 cmake-options: -DCPU_BASELINE='' -DCPU_DISPATCH='' 固定所使用的CPU指令集

编辑 README 添加 2k0300-fengniao 的图标和下载链接

github action编译过程
https://github.com/nihui/opencv-mobile/actions/runs/10752168560/job/29820188485

至此，2k0300蜂鸟开发板 opencv-mobile 预编译包可以直接使用，无需自己编译了

预编译包使用方法：

1. 下载 opencv-mobile 预编译包并解压


2. cmake中设置 OpenCV_DIR 路径为 opencv-mobile-4.10.0-2k0300-fengniao/lib/cmake/opencv4


3. 参考前述的帖子，开发基于 opencv 的应用程序

set(OpenCV_DIR "opencv-mobile-4.10.0-2k0300-fengniao/lib/cmake/opencv4")

find_package(OpenCV REQUIRED)

target_link_libraries(your_target ${OpenCV_LIBS})

这个方式编译的二进制包不再依赖openmp

因此也无需上传 libgomp.so 到开发板上

也无需设置 LD_LIBRARY_PATH 环境变量

更方便了！

opencv-mobile + ncnn scrfd 人脸检测

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架

https://github.com/Tencent/ncnn

得益于良好的可移植性，ncnn在2k0300上编译起来也十分方便，总体上和前述的 opencv-mobile 差不多

cmake 命令行中

1. OpenCV_DIR 设置为 opencv-mobile 2k0300-fengniao


2. CMAKE_TOOLCHAIN_FILE 设置为 loongarch linux toolchain.cmake


3. 设置 NCNN_OPENMP=OFF 和 NCNN_THREADS=OFF 为单核优化


4. 设置 NCNN_BUILD_EXAMPLES=ON 编译示例程序，如scrfd人脸检测

具体编译过程如下

git clone https://github.com/tencent/ncnn

cd ncnn

mkdir build

cd build

cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/loongarch64-linux-gnu.toolchain.cmake -DNCNN_OPENMP=OFF -DNCNN_THREADS=OFF -DNCNN_BUILD_EXAMPLES=ON -DOpenCV_DIR=/home/nihui/dev/opencv-mobile/opencv-mobile-4.10.0-2k0300-fengniao/lib/cmake/opencv4 ..

make -j32 benchncnn scrfd

编译完成后，会在 build/benchmark 产生 benchncnn 性能评测工具，会在 build/examples 产生 scrfd 人脸检测工具

从 https://github.com/nihui/ncnn-assets 中的 models 下载 scrfd 两个模型文件

将编译好的程序，准备检测的JPG图片，benchmark模型文件，scrfd模型文件通通上传到开发板上

scp ncnn/benchmark/*.param root@192.168.1.46:/root/

scp ncnn/build/benchmark/benchncnn root@192.168.1.46:/root/

scp ncnn/build/examples/scrfd root@192.168.1.46:/root/

scp models/scrfd* root@192.168.1.46:/root/

scp people2.jpg root@192.168.1.46:/root/

首先运行benchncnn测试下性能

可以看到，在 2k0300 蜂鸟板上做 FastestDet 系列的目标检测，可达到2FPS

运行scrfd进行人脸检测

检测完成后会在终端输出人脸置信度和框坐标，并将结果保存在image.png，下载到本地查看

scp root@192.168.1.46:/root/image.png .

可以看到，2k0300 蜂鸟板能正确调用 opencv-mobile 绘制人脸框和数字概率，ncnn模型推理结果也正确，准确检测到了人脸