ЛЕКСИКОГРАФИЧЕСКИЕ ДЕРЕВЬЯ

В данном случае и впрямь имеется «объект», который можно подвергать преобразованию подобия: назовем этот объект лексикографическим деревом. Прежде всего определим его и опишем, что в данном

38 о Масштабная инвариантность и степенные законы

477

контексте имеется в виду под преобразованием подобия. Затем докажем, что в случае масштабной инвариантности лексикографического дерева частотность слов следует приведенному выше двухпараметрическому закону. Далее мы обсудим справедливость объяснения и особо остановимся на интерпретации показателя £> как размерности.

Деревья. Лексикографическое дерево имеет N + 1 стволов, пронумерованных от 0 до N. Первый ствол соответствует «слову», состоящему из одной только «неправильной» буквы — «пробела»; каждый из остальных стволов соответствует одной из N «правильных» букв. Ствол «пробела» гол, а каждый из остальных стволов несет на себе N + 1 главных ветвей, которые соответствуют пробелу и N правильным буквам. В следующем поколении ветвь пробела остается голой, а остальные ветви разветвляются, как и прежде, на N + 1 меньших ветвей. То есть пустой конец каждой ветви пробела соответствует слову, состоящему из правильных букв, за которым следует пробел. Построение продолжается до бесконечности. На конце каждой пустой ветви вырезана вероятность употребления соответствующего слова. На конце же непустой ветви вырезана полная вероятность употребления слов, которые начинаются с последовательности букв, определяющей данную ветвь.

Масштабно-инвариантные деревья. Дерево можно назвать масштабно-инвариантным, если каждая взятая в отдельности ветвь представляет собой в некотором роде уменьшенную копию всего дерева. Усечение такого дерева означает, почти буквально, отсечение от него какой-либо ветви. Отсюда выводим наше первое заключение — ветвление масштабно-инвариантного дерева не должно иметь каких-либо пределов. В частности, неразумно — хотя на неподготовленный взгляд это совсем не очевидно — пытаться измерить богатство словарного запаса исчислением общего количества различных слов. (Почти каждый из нас «знает» настолько больше слов, чем употребляет в речи, что словарный запас среднего человека практически бесконечен.) Далее можно определить (соответствующее рассуждение мы опустим) вид, какой принимает вероятность Р пустой ветви к-то уровня, т. е. растущая над к «живыми» ветвями.