M5000 GPU直通到VM

你应该检查客人的其他事情：
####设备可见：
#lspci -vvv -d 10de：*
####驱动程序已加载：
#lsmod |
grep nvidia
####驱动程序中没有错误：
#dmesg |
egrep'nvidia | NVRM'
####驱动程序响应基本命令（尝试两次）：
#nvidia-smi



以下为原文

You should check other things in guest:
# ### device visible:
# lspci -vvv -d 10de:*
# ### driver loaded:
# lsmod | grep nvidia
# ### no errors in driver:
# dmesg | egrep 'nvidia|NVRM'
# ### driver responding to basic command (try two times):
# nvidia-smi

谢谢，，，
我将运行这些并稍后报告..
我确实创建了一个新的RHEL 7虚拟机并加载了PXE映像，..下面的相同信息..
xorg文件显示
[19.153]（II）模块glx：vendor =“NVIDIA Corporation”
[19.154]编译为4.0.2，模块版本= 1.0.0
[19.154]模块类：X.Org服务器扩展
[19.154]（II）NVIDIA GLX模块390.25 1月24日星期三19:23:51太平洋标准时间2018年
[19.154]（II）LoadModule：“nvidia”
[19.154]（II）加载/usr/lib64/xorg/modules/drivers/nvidia_drv.so
[19.154]（II）模块nvidia：vendor =“NVIDIA Corporation”
[19.154]编译为4.0.2，模块版本= 1.0.0
[19.154]模块类：X.Org视频驱动程序
[19.154]（II）NVIDIA dlloader X Driver 352.93 Wed Jan 24 18:57:05 PST 2018
[19.154]（II）适用于所有支持的NVIDIA GPU的NVIDIA Unified Driver
[19.154]（++）使用VT编号1
[19.157]（EE）未检测到任何设备。
[19.157]（EE）
致命的服务器错误：
如果我发出一个nvdia-msi，我可以看到驱动程序已加载并正在使用该卡。
2018年1月18日星期一15:56:53
+ -------------------------------------------------
----- +
|
NVIDIA-SMI 390.25驱动程序版本：390.25 |
| ------------------------------- + -----------------
----- + ---------------------- +
|
GPU名称持久性-M |
Bus-Id Disp.A |
挥发性的Uncorr。
ECC |
|
Fan Temp Perf Pwr：用法/上限|
内存使用|
GPU-Util Compute M. |
| =============================== + =================
===== + ====================== |
|
0 Quadro M5000关闭|
00000000：0B：00.0关闭|
N / A |
|
0％34C P0 46W / 150W |
0MiB / 8126MiB |
0％默认值|
+ ------------------------------- + -----------------
----- + ---------------------- + 
+ -------------------------------------------------
---------------------------- +
|
进程：GPU内存|
|
GPU PID类型进程名称用法|
| =================================================
============================ |
|
找不到正在运行的进程|
+ -------------------------------------------------
---------------------------- +



以下为原文

thanks,,,
i will run these and report later..

i did create a new RHEL 7 VM and loaded the PXE image,..same info below..

The xorg file shows

[    19.153] (II) Module glx: vendor="NVIDIA Corporation"
[    19.154]          compiled for 4.0.2, module version = 1.0.0
[    19.154]          Module class: X.Org Server Extension
[    19.154] (II) NVIDIA GLX Module  390.25  Wed Jan 24 19:23:51 PST 2018
[    19.154] (II) LoadModule: "nvidia"
[    19.154] (II) Loading /usr/lib64/xorg/modules/drivers/nvidia_drv.so
[    19.154] (II) Module nvidia: vendor="NVIDIA Corporation"
[    19.154]          compiled for 4.0.2, module version = 1.0.0
[    19.154]          Module class: X.Org Video Driver
[    19.154] (II) NVIDIA dlloader X Driver  352.93  Wed Jan 24 18:57:05 PST 2018
[    19.154] (II) NVIDIA Unified Driver for all Supported NVIDIA GPUs
[    19.154] (++) using VT number 1

[    19.157] (EE) No devices detected.
[    19.157] (EE)
Fatal server error:

If I issue a nvdia-msi, I can see the driver is loaded and working the card..

Mon Jun 18 15:56:53 2018      
+------------------------------------------------------+                       
| NVIDIA-SMI 390.25     Driver Version: 390.25         |                       
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Quadro M5000        Off  | 00000000:0B:00.0 Off |                  N/A |
|  0%   34C    P0    46W / 150W |      0MiB /  8126MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                              
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

试试这个（显式'BusID“PCI：11：00：0”'）：https：//gridforums.nvidia.com/default/topic/962/#3387



以下为原文

Try this (explicit 'BusID "PCI:11:00:0"'): https://gridforums.nvidia.com/default/topic/962/#3387

谢谢
你是说在Xorg.conf文件中为BusID放置“PCI：11：00：0”，如下所示？
11：00：0到底代表什么？
“设备”部分 
标识符“Device0” 
司机“nvidia” 
供应商名称“NVIDIA Corporation” 
BoardName“GRID M60-4Q” 
BusID“PCI：11：00：0”
EndSection



以下为原文

thanks

Are you saying place "PCI:11:00:0" for BusID in the Xorg.conf file, as in below?

What exactly does 11:00:0 represent?


Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GRID M60-4Q"
    BusID          "PCI:11:00:0"
EndSection

nvidia-smi“00000000：0B：00.0” - > xorg.conf“PCI：11：00：0”（参见“Xorg -scanpci”，“man xorg.conf”，文档......）。



以下为原文

nvidia-smi "00000000:0B:00.0" -> xorg.conf "PCI:11:00:0" (see "Xorg -scanpci", "man xorg.conf", documentation ...).

谢谢,,,我将在下周调查这个，当我发现一些东西时会做出回应



以下为原文

thanks,,,i will look into this next week and respond when i find out something

更新,,,
我修改了Xorg.conf，添加了BusID，如下所示
1.“设备”部分
2.标识符“Device0”
3.司机“nvidia”
4. VendorName“NVIDIA Corporation”
5. BusID“PCI：11：0：0”
6. EndSection
我重新启动了VM，但它仍然挂起，我得到一个不同的错误......
[20.913]（ - ）NVIDIA（GPU-0）
[20.913]（EE）NVIDIA（0）：无法将任何连接的显示设备分配到X屏幕0。
[20.913]（EE）NVIDIA（0）：如果你想要服务器，设置AllowEmptyInitialConfiguration
[20.913]（EE）NVIDIA（0）：无论如何要开始
[20.913]（EE）NVIDIA（0）：X屏幕0初始化失败
[20.913]（II）卸载模块：“nvidia”
[20.913]（II）UnloadSubModule：“wfb”
[20.913]（II）UnloadSubModule：“fb”
[20.913]（EE）找到的屏幕，但没有一个可用的配置。
[20.913]（EE）
致命的服务器错误：
[20.913]（EE）未找到屏幕（EE）
[20.913]（EE）
有关帮助，请参阅http://wiki.x.org上的X.Org Foundation支持。



以下为原文

Update,,,

I modified the Xorg.conf, adding BusID as in below

1.Section "Device"
2.    Identifier     "Device0"
3.    Driver         "nvidia"
4.    VendorName     "NVIDIA Corporation"
5.    BusID          "PCI:11:0:0"
6.EndSection

I restarted the VM, but it still hangs and I get a different error...

[20.913] (--) NVIDIA(GPU-0)
[20.913] (EE) NVIDIA(0): Failed to assign any connected display devices to X screen 0.
[20.913] (EE) NVIDIA(0): Set AllowEmptyInitialConfiguration if you want the server
[20.913] (EE) NVIDIA(0):  to start anyway
[20.913] (EE) NVIDIA(0): Failing initialization of X screen 0
[20.913] (II) UnloadModule: "nvidia"
[20.913] (II) UnloadSubModule: "wfb"
[20.913] (II) UnloadSubModule: "fb"
[20.913] (EE) Screen(s) found, but none have a usable configuration.
[20.913] (EE)
Fatal server error:
[20.913] (EE) no screens found(EE)
[20.913] (EE)
Please consult the The X.Org Foundation support  at http://wiki.x.org for help.

驱动程序未正确安装。
再次，你应该在Xorg失败后分析dmesg（如“dmesg | egrep'nvidia | NVRM'”）。



以下为原文


The driver is not correctly installed. And again you should analyze also dmesg after Xorg fail (like "dmesg | egrep 'nvidia|NVRM'").

我输入了日志文件，可能转换了错误的驱动程序和日期
下面是旧的Xorg。
[19.154]（II）NVIDIA GLX模块390.25 1月24日星期三19:23:51太平洋标准时间2018年
[19.154]（II）NVIDIA dlloader X Driver 390.25 Wed Jan 24 18:57:05 PST 2018
[19.154]（++）使用VT编号1 
[19.157]（EE）未检测到任何设备。 
[19.157]（EE） 
致命的服务器错误
我做了命令,,,
####设备可见：
#lspci -vvv -d 10de：*
----不配
####驱动程序已加载：
#lsmod |
grep nvidia
----返回一个nvidia文件列表（nvidia-drm，nvidia-modset，nvidis等）
####驱动程序中没有错误：
#dmesg |
egrep'nvidia | NVRM'
----回来时显示irq信息，分配GPU，Freed GPU（nvidia 0000：0b：00：0 irq 69用于MSI / MI-X，nvidia-modeset：Freed GPU：0（GPU-25aa9821- ...
............... ..）
####驱动程序响应基本命令（尝试两次）：
#nvidia-smi
----两次都会返回M5000的页面信息



以下为原文

i typed the log file and may have transposed the incorrect driver and date
Below is from the old Xorg.

[ 19.154] (II) NVIDIA GLX Module 390.25 Wed Jan 24 19:23:51 PST 2018

[ 19.154] (II) NVIDIA dlloader X Driver 390.25 Wed Jan 24 18:57:05 PST 2018

[ 19.154] (++) using VT number 1

[ 19.157] (EE) No devices detected.
[ 19.157] (EE)
Fatal server error

I did the commands,,,

# ### device visible:
# lspci -vvv -d 10de:*
---- no match
# ### driver loaded:
# lsmod | grep nvidia
---- comes back with a list of nvidia files (nvidia-drm, nvidia-modset,nvidis,,etc)
# ### no errors in driver:
# dmesg | egrep 'nvidia|NVRM'
---- comes back with a listing showing irq info, Allocated GPU, Freed GPU (nvidia 0000:0b:00:0 irq 69 for MSI/MI-X, nvidia-modeset: Freed GPU:0  (GPU-25aa9821-………………..)
# ### driver responding to basic command (try two times):
# nvidia-smi
---- comes back with a page shwong info for the M5000 both times

你可以试试这个：
停用selinux“setenforce 0”（参见https://docs.nvidia.com/grid/latest/grid-vgpu-release-notes-citrix-xenserver/index.html#bug-200167868-gdm-start-failure-on-
RHEL-7-2）。
在root帐户“Xorg：0＆amp;”下启动X.
用跟踪“strace -o / tmp / out Xorg：0＆amp;”开始X.
并分析来自/ tmp / out的错误。
请求支持http://www.nvidia.com/object/support.html（但支持正忙于运行天网，转向“奋进”或建立“旅行者号”）。
出售Quadro Mxxxx并购买Quadro> = K2000（通常效果更好）或尝试购买AMD卡。
这一切都来自我。



以下为原文

You can try this:

• Deactivate selinux "setenforce 0" (see https://docs.nvidia.com/grid/latest/grid-vgpu-release-notes-citrix-xenserver/index.html#bug-200167868-gdm-start-failure-on-rhel-7-2).
  
• Start X under root account "Xorg :0 &".
  
• Start X with tracing "strace -o /tmp/out Xorg :0 &" and analyze errors from /tmp/out.
  
• Ask support http://www.nvidia.com/object/support.html (but support is busy with running Skynet, moving to "Endeavor" or building "Voyager").
  
• Sell Quadro Mxxxx and buy Quadro >= K2000 (usually works better) or try to buy AMD cards.
  

That all from me for this topic.

我会尝试命令
不是看到和购买K2的选择，我们必须首先证明GPU将在ESXi 6.7上的VMware VM中运行，并且具有传递功能



以下为原文

i will try the commands

not an option to see and buy a K2,,we have to prove first the GPU will work in a VMware VM on ESXi 6.7 with pass-through