使用bm-smi查看信息时发现没有程序运行但是设备内存被占用是怎么回事？

这是正常的。从BMNNSDK2.6.0开始bm-smi中显示的设备内存增加了VPU对设备内存的使用，这里的178MB是安装完驱动以后就分配了的空间，即使没有程序在运行，也会一直存在。