关于通用图大模型的一点想法
读论文：OpenGraph: Towards Open Graph Foundation Models有感
基本介绍
最近读论文读到港大有团队在尝试做通用图大模型，名字为OpenGraph，论文链接：https://arxiv.org/pdf/2403.01121.pdf
他们的出发点是想要进一步提升图模型的泛化能力，通过对大量图的学习、做到零样本跨数据集在新图上进行有效预测等操作。从实验结果来看，OpenGraph相对于现有的传统模型在数据集迁移学习任务上表现出一定的优势。
一些想法
图这种关系结构可以说是现实世界关系的一种高度准确抽象，理论上可以用图来完整地表达这个世界。把世界看作一个图的话，这个图一定是高度连线的，节点、子图特征纷繁的庞然大物。正是图的这种特点导致了现在图模型泛化能力弱的现象。因为就拿论文中的例子举例，你很难说明购物推荐图和药物预测图有什么关联。因此，想要完全根据诸如购物推荐、人际关系等的图来推测药物预测图上的新内容，显得很不现实。
但是，图的根本特点还在于他拥有拓扑结构，拓扑结构在不同的图上会表现出相似。抹去特征，购物推荐图和药物预测图可能有相同的节点数量、连线数量、拓扑结构。这也意味着图的泛化学习其实在某种程度上是可以做的。
拓扑结构与特征又是相互关联的，数据的特征会导致这样或那样的特定拓扑图结构（比如论文与作者的关系图，是一个可以对分为作者、论文的图）特定的拓扑结构又可以反过来预示着一定的数据特征。
拓扑结构和数据这样的双生关系也预示着图里面确实存在着一些普遍的隐藏因果，购物推荐图和药物预测图在某种程度上是可以具有相似性的，人很难说出来，但计算机和数学可以通过数据去逼近捕获。而我们要做的，则是捕捉这样的隐藏关系，并将之运用在目标图上，从而帮助我们对目标图进行操作。可以看出，我倾向于将图作为一种辅助手段去认识、预测新事物，而不是完全根据图来预测不同的图，并且，图的泛化学习不能带来最好的结果，最好的预测意味着过拟合，证明目标图与训练集所用的图有极大的相似度，不能作为泛化能力的评判。
图的泛化学习具体要求怎么做呢：首先我们要通过一定的手段使训练用的图抽象化，优化图的拓扑结构，同时使图中数据一定程度上模糊掉，从而尽可能诞生一种直接反应“隐藏因果”的图。该图的目标应如下：1.将该图产生的模型直接作用于对训练集本身的预测，效果应该不错但不会最好。2.在与训练集的数据特征融合后进行训练集的预测，效果应该达到很好的水平。这体现了我们抽象化出的图反应了训练集许多图上的“隐藏因果”关系，而又没有受训练集独一无二特征的过度影响。这保证了我们确实找到了一种图上的因果共通性。接着我们拿这抽象的图产生的模型与目标图的特征数据进行融合，跑出的结果应该也是处于“很好”往上的水平。
这是图泛化学习的核心思路，根本在于我们要找到那个共通的东西并把它提取出来为我们所用。但这样的方法同样存在弊端，导致弊端的原因又回到先前提到的图的一大特征上来：图实在是太繁多了。弊端在于我们拿来训练的图只能是现实世界的部分图，那么我们拟合总结出的“隐藏因果”很可能表现出为训练集所共有，为目标图不太所共有的现象。我们当然可以加大训练集样本，但这也会导致我们的抽象图，“隐藏因果”越来越简单化，逐渐反应这世界最基本的因果关系，在上述1.中仅仅用抽象图训练出的模型直接作用于训练集本身的预测结果将会越来越差，泛化能力太强会导致效果的变低。最后我们确实做到了图的泛化，但是也没有了意义。而且很现实的就是我们没法在那么多的图上训练，算力不够。以上就意味着我们图泛化做出来的效果只能“期望”它在目标图上起较大作用，这是没法预判的。（所以现在的论文实验时会采用很多不同数据集，并且效果表现有较大差异）
所以，图泛化学习给我的感觉实际上是一种泛化与特点、数据与拓扑等之间的一种平衡，把握好平衡能产生越来越有用的结果就已经完成了它的任务。不能说期望图大模型解决一切问题（希望能被狠狠地打脸：））。
题外话：最近看哲学类的书，发现现阶段AI的发展方向与休谟的经验主义有很多有趣的巧合，AI通过一系列黑盒产生结果，黑盒里的庞大数据、庞大数据里的“因果”到底是什么呢。符号主义等思想在AI领域体现得也比较多，读点哲学书对科学研究挺有帮助的。
