前言

这里就是解决之前生成D维向量的问题，使用人工设置特征，后续会使用GNN也就是图神经网络自动学习特征而不再需要人工设置特征了，这块等同于是被替代掉的工作，但由于后续的自动特征提取还是起源于这里的，所以还是需要了解一下。

图基础

本体图是导入图之前就应该设计好的，本体图和具体图的关系类同类和实例的关系。如何设计本体图取决于将来的图的用途，比如图的用途是分析，那么本体图的设计应该包含所有图的属性，比如节点和边的属性，以及节点和边的类型，比如节点是用户还是物品，边是用户对物品感兴趣还是用户对用户感兴趣。

传统机器学习

默认二者独立同分布，只需要拟合决策边界分类或拟合回归的曲线即可。

现代神经网络

斯坦福CS的相关课程：

复杂的图结构

1. 任意尺寸输入
2. 没有固定的节点顺序和参考锚点
3. 动态变化，多模态特征

表示学习 - 图嵌入 - node embedding

把一个复杂的图节点表示为一个d维向量，能充分表示原始数据的语义。

前言

所有资源均免费，遇到付费推荐勿要付费

方向是 图神经网络 和 强化学习 的学习路径

基础知识

白月黑羽的网站：

https://www.byhy.net/

适合学习Python基础知识，有对应的B站讲解视频

他的自动化方面课程讲的也很好，爬虫中的selenium，以及Python的自动化测试，都算是他很好的课程了。(属于题外话了，这些东西在深度学习中用不到，没时间的别浪费时间看)

前言

Actor-Critic Methods 结合了价值学习和策略学习，同时训练了两个神经网络。

Actor 网络用于产生策略，Critic 网络用于评估策略。

目标

① 更新策略网络Π的参数，是为了增大状态价值V的值，要用价值网络q进行打分来训练。

用策略函数指导动作

使用策略函数随机抽样得到动作。

近似策略函数

由于实际的策略函数无法得到，需要用各种方式去近似策略函数，所以这里可以使用神经网络去近似实际的策略函数，记作policy network。

寻找最佳的Q值函数

实际并不知道最佳的Q值函数，需要使用神经网络 Q(s,a;w) 来近似最佳的Q值函数。

实际流程大致为当前状态转换为矩阵后，通过卷积层提取特征向量，再通过全连接层得到Q值向量，此时的Q值向量每一个元素代表某一个动作的得分。

State

状态，即状态空间，表示环境中的当前状态。

Action && Agent

动作，即动作空间，表示在当前状态下，执行的动作。

动作由谁做的就是Agent，即智能体。

Policy Π

策略，即策略空间，表示在当前状态下，智能体可以采取的动作。

前言

观望了全网的Docker启用IPV6的方法，要么是Docker版本更替法子不通了，要么是没说明一些前置条件的细节，导致方法也用不了，所以这里记录一下我走通的方法，一个兼容高低版本Docker和不同网络环境的方法

前言

老板下指示复现两篇文章，这是其中一篇

https://arxiv.org/pdf/2205.14105v1.pdf

文章的原理什么的已经大部分明白了但仍然有部分懂，故而做下记录，以备后续复现或深入了解

原始数据

ER40/BA40到ER500/BA500

https://ojs.aaai.org/index.php/AAAI/article/download/5723/5579

https://journals.aps.org/rmp/abstract/10.1103/RevModPhys.74.47

分别命名为ER和BA数据集