Warning

此文件的目的是为让中文读者更容易阅读和理解,而不是作为一个分支。 因此, 如果您对此文件有任何意见或更新,请先尝试更新原始英文文件。

Note

如果您发现本文档与原始文件有任何不同或者有翻译问题,请联系该文件的译者, 或者请求时奎亮的帮助:<alexs@kernel.org>。

Original:Userspace MAD access
翻译:司延腾 Yanteng Si <siyanteng@loongson.cn>
校译:王普宇 Puyu Wang <realpuyuwang@gmail.com> 时奎亮 Alex Shi <alexs@kernel.org>

用户空间MAD访问

设备文件

每个InfiniBand设备的每个端口都有一个“umad”设备和一个“issm”设备连接。 例如,一个双端口的HCA将有两个umad设备和两个issm设备,而一个交换机将 有每个类型的一个设备(对于交换机端口0)。

创建MAD代理

一个MAD代理可以通过填写一个结构体ib_user_mad_reg_req来创建,然后在 适当的设备文件的文件描述符上调用IB_USER_MAD_REGISTER_AGENT ioctl。 如果注册请求成功,结构体中会返回一个32位的ID。比如说:

struct ib_user_mad_reg_req req = { /* ... */ };
ret = ioctl(fd, IB_USER_MAD_REGISTER_AGENT, (char *) &req);
if (!ret)
        my_agent = req.id;
else
        perror("agent register");

代理可以通过IB_USER_MAD_UNREGISTER_AGENT ioctl取消注册。另外,所有 通过文件描述符注册的代理在描述符关闭时将被取消注册。

2014
现在提供了一个新的注册IOctl,允许在注册时提供额外的字段。这个注册 调用的用户隐含了对pkey_index的使用(见下文)。现在提供了一个新的 注册IOctl,允许在注册时提供额外的字段。这个注册调用的用户隐含了对 pkey_index的使用(见下文)。

接收MADs

使用read()接收MAD。现在接收端支持RMPP。传给read()的缓冲区必须至少是 一个struct ib_user_mad + 256字节。比如说:

如果传递的缓冲区不足以容纳收到的MAD(RMPP),errno被设置为ENOSPC,需 要的缓冲区长度被设置在mad.length中。

正常MAD(非RMPP)的读取示例:

struct ib_user_mad *mad;
mad = malloc(sizeof *mad + 256);
ret = read(fd, mad, sizeof *mad + 256);
if (ret != sizeof mad + 256) {
        perror("read");
        free(mad);
}

RMPP读取示例:

struct ib_user_mad *mad;
mad = malloc(sizeof *mad + 256);
ret = read(fd, mad, sizeof *mad + 256);
if (ret == -ENOSPC)) {
        length = mad.length;
        free(mad);
        mad = malloc(sizeof *mad + length);
        ret = read(fd, mad, sizeof *mad + length);
}
if (ret < 0) {
        perror("read");
        free(mad);
}

除了实际的MAD内容外,其他结构体ib_user_mad字段将被填入收到的MAD的信 息。例如,远程LID将在mad.lid中。

如果发送超时,将产生一个接收,mad.status设置为ETIMEDOUT。否则,当一个 MAD被成功接收后,mad.status将是0。

poll()/select()可以用来等待一个MAD可以被读取。

poll()/select()可以用来等待,直到可以读取一个MAD。

发送MADs

MADs是用write()发送的。发送的代理ID应该填入MAD的id字段,目的地LID应该 填入lid字段,以此类推。发送端确实支持RMPP,所以可以发送任意长度的MAD。 比如说:

struct ib_user_mad *mad;

mad = malloc(sizeof *mad + mad_length);

/* fill in mad->data */

mad->hdr.id  = my_agent;        /* req.id from agent registration */
mad->hdr.lid = my_dest;         /* in network byte order... */
/* etc. */

ret = write(fd, &mad, sizeof *mad + mad_length);
if (ret != sizeof *mad + mad_length)
        perror("write");

交换IDs

umad设备的用户可以在发送的MAD中使用交换ID字段的低32位(也就是网络字节顺序中 最小有效的一半字段)来匹配请求/响应对。上面的32位是保留给内核使用的,在发送 MAD之前会被改写。

P_Key索引处理

旧的ib_umad接口不允许为发送的MAD设置P_Key索引,也没有提供获取接收的MAD的 P_Key索引的方法。一个带有pkey_index成员的struct ib_user_mad_hdr的新布局已 经被定义;然而,为了保持与旧的应用程序的二进制兼容性,除非在文件描述符被用于 其他用途之前调用IB_USER_MAD_ENABLE_PKEY或IB_USER_MAD_REGISTER_AGENT2 ioctl 之一,否则不会使用这种新布局。

在2008年9月,IB_USER_MAD_ABI_VERSION将被增加到6,默认使用新的ib_user_mad_hdr 结构布局,并且IB_USER_MAD_ENABLE_PKEY ioctl将被删除。

设置IsSM功能位

要为一个端口设置IsSM功能位,只需打开相应的issm设备文件。如果IsSM位已经被设置,那 么打开调用将阻塞,直到该位被清除(或者如果O_NONBLOCK标志被传递给open(),则立即返 回,errno设置为EAGAIN)。当issm文件被关闭时,IsSM位将被清除。在issm文件上不能进 行任何读、写或其他操作。

/dev文件

为了用 udev自动创建相应的字符设备文件,一个类似:

  KERNEL=="umad*", NAME="infiniband/%k"
  KERNEL=="issm*", NAME="infiniband/%k"

的规则可以被使用。它将创建节点的名字::

  /dev/infiniband/umad0
  /dev/infiniband/issm0

为第一个端口,以此类推。与这些设备相关的infiniband设备和端口可以从以下文件中确定::

  /sys/class/infiniband_mad/umad0/ibdev
  /sys/class/infiniband_mad/umad0/port

和::

  /sys/class/infiniband_mad/issm0/ibdev
  /sys/class/infiniband_mad/issm0/port