DRUM: End-To-End Differentiable Rule Mining On Knowledge Graphs

Key Notes:

1. Neural LP提出的定义规则学习的目标函数会导致部分规则学习的置信度不对，因而导致学到错误的规则。
2. Neural LP提出的目标函数其实是某$(|R|+1{)}^T$矩阵的一阶张量分解。作者给出证明，对于任意规则集合及其所对应的置信度，都存在一个$L$阶张量分解及一组置信度参数$\alpha$，使得目标函数最优时可以精准获得这些规则应用于关系$H$进行推理时的结果。
3. 通过双向RNN建模规则中关系的序列性质，可以建模一些关系与关系之间的correlation，例如同一实体不会同时存在fatherOf和matherOf两种关系。

Contributions: (refer to the original paper)

1. An end-to-end differentiable rule mining model that is able to learn rule structures and scores simultaneously;
2. We provide a connection between tensor completion and the estimation of confidence scores;
3. We theoretically show that our formulation is expressive enough at finding the rule structures and their related confidences;

Reading Insights:

1. 在写作时，无论是抓痛点，对先前工作进行改进，还是进行纯粹的创新，核心要突出的点是contribution，contribution到位了，才要去谈novelty
2. 规则中关系的序列性是需要建模的。目前的已有工作中，没有工作在GNN中嵌入建模序列性的模块，但这一部分反而是对于推理很关键的一环。使用add或者multiply的message function无法建模此序列性
3. 从高维看低维，需要模型具有更好的generalization；从低维看高维，需要模型具有更好的intuition.