梦家博客

论文标题 ｜ Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks 论文来源 ｜ ACL 2015 论文链接 ｜ https://arxiv.org/abs/1503.00075 源码链接 ｜ https://github.com/stanfordnlp/treelstm TL;DR 目前的 LSTM 仅能对序列信息进行建模，但是自然语言中通常由词组成短语形成了句法依存的语义树。为了学习到树结构的语义信息，论文中提出了两种 Tree-LSTM 模型：Child-Sum Tree-LSTMs 和 N-ary Tree LSTMs。实验部分 Tree-LSTMs 对比多种 LSTMs 变体，在语义相似性计算和情感分类任务中超过所有 baselines。 Algorithm/Model LSTM LSTM 主要模型架构如下所示 每个门电路的计算方式如下所示： ft=σ(W(f)xt+U(f)ht−1+b(f))it=σ(W(i)xt+U(i)ht−1+b(i))ut=t ...

论文标题 ｜ CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 论文来源 ｜ CVPR 2021 论文链接 ｜ https://arxiv.org/abs/2104.04015 源码链接 ｜ 未公布 TL;DR 论文中提出了一种高性能的图像缺陷异常检测模型，可以不依赖于异常数据来检测未知的异常模式。框架整体属于 two-stage：首先通过自监督学习方法来学习正常图像的表示，然后基于学习到的图像表示来构建单分类器。CutPaste 技术主要是通过图片剪切然后再粘贴至其它位置来构造负样本。实验部分在 MVTec 数据集中验证了模型对图片缺陷检测的有效性，如果不使用预训练那么可以比当前 baselines 的 AUC 提升 3.1 ，如果基于 ImageNet 进行迁移学习那么 AUC 可以达到 96.6。 Algorithm/Model 论文中的框架如下所示： 主要包含两步： 基于自监督学习和 CutPaste 数据增强的图像表示学习； 异常检测和定位； 自监督表示学习 CutPas ...

德·布鲁因图 参考维基百科：https://en.wikipedia.org/wiki/De_Bruijn_graph 对于 mmm 个符号的 nnn 维德·布鲁因有向图记为 B(m,n)B(m, n)B(m,n)，其中包含 mnm^nmn 个节点，每个节点是由 mmm 个符号序列组成的长度为 nnn 的序列。 给定 mmm 个符号集合 S={s1,⋯ ,sm}S=\{s_1,\cdots, s_m\}S={s1​,⋯,sm​}，那么对应的节点集合为 V=Sn={(s1,…,s1,s1),(s1,…,s1,s2),…,(s1,…,s1,sm),(s1,…,s2,s1),…,(sm,…,sm,sm)}V=S^{n}=\left\{\left(s_{1}, \ldots, s_{1}, s_{1}\right),\left(s_{1}, \ldots, s_{1}, s_{2}\right), \ldots,\left(s_{1}, \ldots, s_{1}, s_{m}\right),\left(s_{1}, \ldots, s_{2}, s_{1}\right), \ldots,\ ...

论文标题 ｜ Sinan: ML-Based & QoS-Aware Resource Management for Cloud Microservices 论文来源 ｜ ASPLOS 2021 论文链接 ｜ https://asplos-conference.org/abstracts/asplos21-paper43-extended_abstract.pdf 源码链接 ｜ 未公布 TL;DR 随着微服务架构日趋复杂以至于难以合理分配微服务所需资源，论文中提出一种微服务资源配置管理模型 Sinan，主要是考虑了不同层级服务间的依赖关系； Key Insights Dependencies among tiers (microservice graph) System complexity and large action space Delayed queueing effect Importance of boundaries of the resource space 短文中没有详细介绍 Sinan 模型架构，仅简单陈述了模型及其作用；详细介绍在另一篇文章中：Si ...

论文标题 ｜ HYPA: Efficient Detection of Path Anomalies in Time Series Data on Networks 论文来源 ｜ ICDM 2020 论文链接 ｜ http://www.eliassi.org/papers/hypa-sdm2020.pdf 源码链接 ｜ https://github.com/tlarock/hypa TL;DR 由于现实复杂网络系统中节点的异构性(特指节点与边的频率统计分布)，单纯地基于频率统计进行异常检测不再适用。论文中提出了一种无监督路径异常检测框架 HYPA (Higher-order Hyper-geometric path anomaly detection) 来检测图中不同长度的异常路径，即由于节点访问时序问题造成的路径访问频率次数异常，主要用于入侵检测、异常轨迹识别等。主要想法是将路径异常检测问题转化为 kkk 维德·布鲁因图的节点进行图上的边异常检测问题，注意仅是判断图中的长度为 kkk 路径是否频率异常。实验部分在交通运输系统数据中验证了算法的有效性。 Algorithm/Mode ...

论文标题 ｜ Fault Injection Analytics: A Novel Approach to Discover Failure Modes in Cloud-Computing Systems 论文来源 ｜ TDSC(A) 2020 论文链接 ｜ https://arxiv.org/abs/2010.00331 源码链接 ｜ 未公布 TL;DR 论文中基于故障注入实验提出了一种无监督 trace 异常检测方法和可视化框架，论文基于最长公共子串和变阶马尔科夫模型学习 trace 执行模式，然后预测不同 event 出现的概率来判断异常，此外，还提出了一种故障表示方法对故障模式进行表示。实验部分在多种故障实验中验证论文中方法的可行性。 Algorithm/Model 论文中提出的方法框架如下图所示： 主要包括以下七个部分： Instrument：系统组件间通信信息采集工具库； Fault-free execution：采集正常 traces ； Model training：利用正常 traces 训练概率模型学习正常模式； Fault-injected ...

论文标题 ｜ TraceLingo: Trace representation and learning for performance issue diagnosis in cloud services 论文来源 ｜ ICSE 2021 论文链接 ｜ https://www.computer.org/csdl/proceedings-article/cloudintelligence/2021/456300a037/1wHKxtXXPrO 源码链接 ｜ https://github.com/serina-hku/TraceLingo TL;DR 对于服务间调用链 trace 异常检测任务，当前很多方法都忽略了 trace 的上下文特征和图结构特征，因此论文提出一种 trace 的表示学习模型 TraceLingo，采用 tree-based RNN 模型来捕捉不同 trace 中 span 的特征及其依赖关系，可以有效地进行性能诊断。实验部分非常简单只采用一个 case 说明 TraceLingo 的有效性。 Algorithm/Model 需要解决的问题是：给定告警时间和一定时间 ...

论文标题 ｜ Learning Dependencies in Distributed Cloud Applications to Identify and Localize Anomalies 论文来源 ｜ ICSE 2021 论文链接 ｜ https://arxiv.org/abs/2103.05245 源码链接 ｜ https://github.com/mcd01/arvalus-experiments TL;DR 考虑到系统组件间的依赖和异常传播的关系，论文中提出了 Arvalus 及其变形 D-Arvalus 方法来提升异常检测和定位的准确性，主要想法是利用图卷积变换的方法来学习系统组件节点和边属性的特征，以此融合特征来判定系统组件节点类别，整体属于有监督的分类方法。实验部分在人工生成数据集中模拟故障，在此数据集中验证了算法的有效性以及考虑了依赖关系的 D-Arvalus 的有效性。 Algorithm/Model 论文中提出的方法主要包含三步： 节点特征提取：将组件 KPI 子序列转换为节点特征； 依赖关系模型：学习边权重然后基于图卷积方法将相邻节点特征融合； 异常判定 ...

机器学习(machine learning)是一个非常大的研究领域，其主要关注点在于如何利用历史数据进行学习。作为机器学习领域的从业者，在阅读文献时会遇到许多不同类型的学习范式：从整个研究领域到具体技术。因此，这篇文章全面地介绍下机器学习领域的不同学习范式和术语来解决机器学习领域的名词困惑，例如对比学习、自监督学习、半监督学习等等。 首先了解下机器学习与人工智能的关系，此类术语或者概念说明网上已经非常多不再赘述。 简单说明下机器学习和深度学习的主要区别： 模型结构：一般深度学习基于深度神经网络架构较为复杂化； 人工干预：传统机器学习需要人工构造特征但深度学习基于神经网络自动提取特征； 数据量：深度学习需要大量的数据集来训练多层神经网络； 学习范式 机器学习主要的研究内容就是如何“学习”，因此学术圈提出了非常多的“学习”方法和范式，例如迁移学习、强化学习等。 目前机器学习领域的学习范式包含但不局限于以下几种： 主流学习范式 监督学习(Supervised Learning) 无监督学习(Unsupervised Learning) 强化学习(Reinforcement Lea ...

论文标题 ｜ Predicting Path Failure In Time-Evolving Graphs 论文来源 ｜ KDD 2019 论文链接 ｜ https://arxiv.org/abs/1905.03994 源码链接 ｜ https://github.com/chocolates/Predicting-Path-Failure-In-Time-Evolving-Graphs TL;DR 论文中提出一种新颖的神经网络架构 LRGCN (Long Short-Term Memory R-GCN) 来动态捕获时序图中两个相邻图快照间的关系和跨时间维度的节点特征融合，根据节点特征再提出一种基于自注意力机制的路径编码模型 SAPE(self-attentive path embedding)，可以将图中任意长度的路径编码成固定长度的向量再进行分类判断路径是否正常。实验中在通信网络和交通网络中验证了 LRGCN-SAPE 模型的有效性。 Problem Definition 给定节点集合 V={v1,v2,⋯ ,vN}V=\{v_1, v_2, \cdots, v_N\}V={v1 ...

论文标题 ｜ Deep One-Class Classification 论文来源 ｜ ICML 2018 论文链接 ｜ http://proceedings.mlr.press/v80/ruff18a.html 源码链接 ｜ https://github.com/lukasruff/Deep-SVDD-PyTorch TL;DR 基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低，因此论文中对此类方法进行优化提出了深度 Deep SVDD 模型。主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面，然后根据球心和测试样本点间的距离来判定样本点是否是异常。实验部分在 MNIST 和 CIFAR-10 图片数据集中验证了 Deep SVDD 模型的有效性。 Algorithm/Model 传统基于核方法的 SVDD 方法可以参考另一篇文章：SVDD：支持向量数据描述 论文中提出的模型架构如下图所示： 首先需要将样本点的特征点映射到体积最小的超球面中，论文中采用了神经网络的方法。当然这一步可以有不同的方法做 embedding。 假设输入样本空间 X⊆Rd\math ...

背景 支持向量数据描述（Support Vector Data Description，SVDD）是一种单值分类算法，能够实现目标样本和非目标样本的区分，通常应用于异常检测、入侵检测等领域。 SVDD 算法的具体描述可以参考文献： 12345678910@article{tax2004support, title={Support vector data description}, author={Tax, David MJ and Duin, Robert PW}, journal={Machine learning}, volume={54}, number={1}, pages={45--66}, year={2004}, publisher={Springer}} Python 实现参考: https://github.com/iqiukp/SVDD. SVDD 原理 假设有一组正类训 ...

背景 打开自己博客的时候，发现加载速度较慢：https://dreamhomes.top/，测试下自己网站打开速度慢的主要原因 加载时间最长的是自定义字体，由于字体文件较大因此对应的加载速度较慢，即使使用了 CDN 加速！ 因此，本文记录一下使用 字蛛 font-spider 来压缩字体文件的方法，注意是只是将使用的字体提取出来而不是直接将字体文件压缩。 字蛛 font-spider 安装 1npm install font-spider -g 可以使用淘宝镜像安装：npm config set registry http://registry.npm.taobao.org 使用 可以根据需求通过删除不常用字或者使用常用字来压缩字体文件。 由于个人博客文字的动态性较大，因此使用过滤字体中的常用字来压缩字体文件。 整理汉语中常用的 3500 字如下 1阿啊哎哀唉埃挨癌矮艾爱碍安氨俺岸按案暗昂凹熬傲奥澳八巴叭吧拔把坝爸罢霸白百柏摆败拜班般颁斑搬板版办半伴扮瓣邦帮膀傍棒包胞宝饱保堡报抱豹暴爆卑杯悲碑北贝备背倍被辈奔本崩逼鼻比彼笔币必毕闭辟碧蔽壁避臂边编蝙鞭扁便变遍辨辩标表别宾滨冰兵丙柄饼并 ...

字体格式 筑紫A丸是一款日系字形字体，风格类似圆体，适用于手机的清爽字体，筑紫A丸的英文数字，是标准的无衬线风格。 目前本人 Hexo Butterfly 博客使用筑紫 A 丸五子重作为默认字体！！！ 下载链接 目前提供 ttf 和 woff2 两种格式的筑紫A丸字体下载。 百度网盘下载👇🏻 链接: https://pan.baidu.com/s/1QCtbLsX1-iDzn87NA8oFcw 提取码: nrfp

背景 有时会遇到这样的情况，正在dev分支开发新功能，做到一半时有人过来反馈一个bug，让马上解决，但是新功能做到了一半你又不想提交，这时就可以使用git stash命令先把当前进度保存起来，然后切换到另一个分支去修改bug，修改完提交后，再切回dev分支，使用git stash pop来恢复之前的进度继续开发新功能。下面来看一下git stash命令的常见用法。 命令用法 git stash 保存当前工作进度，会把暂存区和工作区的改动保存起来。 执行完这个命令后，在运行git status命令，就会发现当前是一个干净的工作区，没有任何改动。 可以使用git stash save 'message...'可以添加一些注释 git stash list 显示保存进度的列表。也就意味着，git stash命令可以多次执行。 git stash pop [–index] [stash_id] git stash pop 恢复最新的进度到工作区。git默认会把工作区和暂存区的改动都恢复到工作区。 git stash pop --index 恢复最新的进度到工作区和暂存区。（尝试将原来暂存区的 ...