Единственная документация по этому вопросу в стандартной поставке X - это man lbxproxy(1).
Если у вас есть доступ к исходным текстам X, то информация по LBX доступна в следующих каталогах:
xc/doc/specs/Xext/lbx.mif (Framemaker MIF)
xc/doc/hardcopy/Xext/lbx.PS.Z (Compressed Postscript)
xc/doc/hardcopy/Xext/lbxTOC.html (HTML)
Более подробное объяснение специфических алгоритмов LBX можно найти в:
xc/doc/specs/Xext/lbxalg.mif (Framemaker MIF)
xc/doc/specs/Xext/lbxalg.PS.Z (Compressed Postscript)
Если у вас нет исходных текстов X11, то этот файл можно найти на сайте X-консорциума.