yanzu_blog

神经网络 神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数激活函数 它会将输入信号的总和转换为输出信号，它决定了以何种方式激活输入信号的总和朴素感知机和神经网络的主要区别就在于激活函数的不同计算过程如下: 阶跃函数：一旦输入超过阈值，就切换输出（sign符号函数，朴素感知机的激活函数）sigmoid函数 神经网络中一个常用的激活函数就是sigmoid函数，其表达式如下：$$h(x) = \frac {1}{1 + exp(-x)}$$ ReLU函数自变量 $ x > 0 $ 时，直接输出该值，$ x \le 0 $ 时，输出0它的表达式如下： 3层神经网络的实现 首先引入一个概念符号确认下面是权重符号的表示， 各层间信号传递的实现首先是第0层到第1层之间信号传递的实现 注意，偏置 $ b $ 的右下角的索引号只有一个，这是因为前一层的偏置神经元（神经元1）只有一个，右下角的索引是表示前一个神经元的，对应到权重的符号表示是 $ b^\left[(1)\right]_{None,1} $...

感知机 感知机（Perceptron）是一种人工神经网络，用于解决二分类问题它模拟的是生物神经元的行为，主要包括： 输入：多个特征值 $ x_1,x_2…x_n $权重：每个输入对应一个权重 $ \omega_1,\omega_2…\omega_3 $偏置：一个常数项 $ b $ 偏置是用于控制神经元被激活的容易程度权重是用于控制各个信号的重要性的而激活函数则是决定以什么方式来激活输入信号的总和数学表达式为：$$y = sign(\omega \cdot x + b)$$ 其中，$ \omega \cdot x = \sum_{i=1}^n \omega_i x_i $，sign函数定义为：$$ sign(z) =\begin{cases}1 & \text{if } z > 0, \-1 & \text otherwise.\end{cases}$$ 工作原理：找到一个线性超平面（即一条直线或一个超平面）来将数据分为两类（+1 和 -1）。通过不断调整权重 $ \omega $ 和偏置 $ b...

贝尔曼方程第一部分——return return 能够作为策略好坏的一个评估标准下面通过三种情况来说明这个问题 第一种策略 按照策略1，从 s1 出发，往下去 s3，再往右到达 s4，discounted return计算如下 gamma 是衰减系数 第二种策略第三种策略 注意，严格说来，这个return3 已经不是我们所说的return了，因为return是针对一条轨迹定义的，针对一个trajectory定义的，这里实际上是有两个轨迹，这里所做的是求取平均值，也即求expectation（期望），这个return3就是state value 显然，return1 > return3 > return2，那么对应的就是策略1最好，策略3居中，策略2最差 第二部分——return的计算 以图中的例子为例 用 v_i来表示从 s_i 出发对应的return方法一 方法二 这里的方法二说明了什么一个问题呢，从当前状态出发，return的值，就等于当前的reward + 下一状态的return *...

老版本Ubuntu科学上网须知（boom！！！）必须记录下来 绝大多数版本的clash verge或者其他形式的软件都不支持切换内核为meta了为数不多的就是极低版本的，这里就是采用的 1.4.3 版本的先来个地址 https://github.com/clash-verge-rev/clash-verge-rev/releases?page=5 直接下载对应版本的 deb ，然后 dpkg 安装安装好之后，命令框同样会报错，提示说缺少依赖，叫 lib 什么来着先不管报错，先打开软件在设置这一栏，找到 Clash 内核 这行 点击齿轮，点击授权 Clash...

Goal-Driven Autonomous Exploration Through Deep Reinforcement ...

RL的基本数学原理—基本概念State 它是agent相对于当前环境的一个状态，如当前的坐标 (x,y)，速度、加速度等 所有的状态构成的一个集合称之为状态空间，如下图，s1~s9构成了一个状态空间，这里是2D的，那么状态主要就是location （x, y） Action 在每一个状态下，都会有对应的一系列的动作Action，如2D平面上，在一个状态下可以采取的Action有前进、后退、左右移动、原地不动 所有的Action构成的一个集合就称之为动作空间 Action space Action 和 state 是相互依赖的，不同的状态下对应不同的动作$$A(s_i) = {a_i}$$上式意为，在状态 s_i 下，可采取的动作 a_i State transition 状态转换，在当前状态 s1 下，采取动作 a2(有概率采取动作 a2)，会转换到下一状态 s2，而这个下一状态 s2，其实是不确定的，它根据采取的动作而定，而且只是有概率转移到某个状态 s$$s_1 \xrightarrow{a_2} s_2$$状态转换定义了 agent...