马尔可夫链每个状态的转移只依赖于之前的n个状态。最简单的马尔可夫过程是一阶过程，即每一个状态的转移只依赖于之前的那一个状态。 明天的概率分布为 (1,0)*\begin{pmatrix} 0.9 & 0.1 \\ 0.5 & 0.5 \end{pmatrix}=(0.9,0.1)后天的概率分布为继续乘上转移矩阵，最后概率趋于稳定，得到稳态分布。 我们为上面的一阶马尔可夫过程定义了以下三个部分： 状态：晴天、阴天 初始向量：系统在时间为0的时候状态的分布概率，如（1，0） 状态转移矩阵：每种状态转移的概率 所有能被这样描述的系统都是一个马尔可夫过程。 隐马尔可夫模型（HMM）隐马尔可 ...
NLP二
image caption with X Image Captioning方面的工作可以总结为“Image Captioning with X”，其中的 X 可以是 Visual Attention, Visual Attributes, Entity Recognition, Dense Caption 和 Reinforcement Learning等模块。 Visual Attention注意力包括软注意力(soft attention)和强注意力 软注意力的关键点在于，这种注意力更关注区域或者通道，而且软注意力是确定性的注意力，学习完成后直接可以通过网络生成，最关键的地方是软注意 ...
NLP一
NLP 正则表达式验证工具：http://regexr.com/ 练习地址： https://alf.nu/RegexGolf import re # 将正则表达式编译成Pattern对象pattern = re.compile(r'hello.*\!') # 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回Nonematch = pattern.match('hello, hanxiaoyang! How are you?') if match: # 使用Match获得分组信息 print match.group() jiebajieba一般用来完成中文分词 j ...
线性代数、概率论
线性代数特征值、特征向量 对角矩阵 A= \begin{bmatrix} \lambda_{1}\\ &\lambda_{2}\\ &&\ddots \\ &&& \lambda_{n} \end{bmatrix} 矩阵相似 若矩阵$A$和矩阵$B$都是n阶矩阵，如果存在可逆矩阵$P$，使得 $P^{-1}AP=B$，则称$A$、$B$相似，记作$A\sim B$ 矩阵相似对角化 如果一个n阶矩阵$A$有n个线性无关的特征向量，那么矩阵$A$与由其特征值所组成的对角矩阵（$Λ$）相似，即： $A\simΛ$ 对$A$的特征分解： 有一个NxN的矩阵$A$ $A$有N个线性无关的 ...
GAN
GAN 判别器的目标函数： 最大化真实样本的期望（输出为Real），最小化从人为定义的分布中随机采样的向量（输出为Fake） 生成器目标函数： 最大化从人为定义的分布中随机采样的向量，去欺骗判别器 训练算法 KL散度、JS散度KL散度：衡量两个概率分布匹配程度的指标，当P1=P2时，KL散度为0 KL散度具有非负性，根据吉布斯不等式： KL散度不具有对称性，即 KL(P1||P2) ≠ KL(P2||P1) 因此在试图去拟合两种分布，使KL散度最小时，采用KL(p||q)，和KL(q||p)会得到两种不同的结果 JS散度： 极大似然与最小化KL散度 判别器D 生成器G最大化判 ...
RNN
与CNN区别 CNN输入、输出相互独立 RNN可以更好地处理有时序关系的任务 RNN通过循环结构引入“记忆”概念（输出不仅依赖于输入，还依赖于记忆，将同一个结构循环利用） 基本结构 深度RNN 双向RNN BPTT算法 每一个时刻t的损失，取输出的y与真实值的交叉熵 总损失为各个时刻t的总损失 由于h3与h2相关，具有时序关系，所以需要展开对h2求偏导，根据链式法则，得到偏导： 传统RNN问题 对权重求偏导，对于累乘项来说，当t比较大时， 如果0<W<1,梯度趋于0 如果W>1,梯度趋于无穷 LSTM LSTM与RNN区别 RNN记忆单元ht是 ...
PyTorch实践
PyTorch实践数据集处理官方数据集从PyTorch开源项目：vision或者text中加载数据集，对应的包是torchvision、torchtext #torchvisionimport torchvisionmnist = torchvision.datasets.MNIST(root='./',download="True")#torchtextimport torchtextWORD = torchtext.data.Field(init_token="<bos>",eos_token="<eos>")UD_TAG = torchtext.data.Fiel ...
Pytorch基础
PyTorch基础pytorchPyTorch是一个python库，它主要提供了两个高级功能： GPU加速的张量计算 构建在反向自动求导系统上的深度神经网络 数据类型数据类型： torch.float32, torch.float64, torch.float16, torch.uint8, torch.int8, torch.int16, torch.int32, torch.int64 创建Tensor方法：ones, zeros, eye, arange, linspace, rand, randn, normal, uniform, randperm 定义数据x = torch ...
tensorflow学习
Tensorflowhello worldimport tensorflow.compat.v1 as tftf.disable_v2_behavior()vec_1 = tf.constant([1, 2, 3, 4])vec_2 = tf.constant([1, 2, 3, 4])v_add = tf.add(vec_1,vec_2)with tf.Session() as sess: print(sess.run(v_add)) import tensorflow.compat.v1 as tftf.disable_v2_behavior()vec_1 = tf.constant([1 ...
HBase
HBase安装hbase下载wget https://archive.apache.org/dist/hbase/2.0.0-alpha4/hbase-2.0.0-alpha4-bin.tar.gz 安装后解压到/opt/hbase文件夹 配置环境变量修改~/.bashrc文件，添加以下代码 export HBASE_HOME=/opt/hbase export PATH=$PATH:$HBASE_HOME/bin 立即生效，source ~/.bashrc 修改配置文件修改以下内容，/opt/hbase/conf/hbase-env.sh export HBASE_MANAGES_ZK=tr ...