cyq的呓语 | CYQ Blog

CYQ April 19, 2021 738 words

SNN workshop 2020

Spiking neural networks as universal function approximators: Learning algorithms and applications

前言入坑SNN已半年有余，目前自己的论文阅读量勉强可以达到听懂今年的workshop中大多数讲座，以及对介绍的工作能提出自己的问题。另外实验室的脉冲神经网络框架SpikingJelly也在稳步推进中，可以说研究工作暂时步入了正轨。这次听讲座的目的很简单：看看大佬们了解什么我不知道的事情，收集并分析信息，帮助决定进一步的研究方向。一般来说，科研中很多思路性的东西往往不会详细在论文里叙述...

CYQ September 4, 2020 3018 words

运维日常踩坑——处理挖矿病毒攻击

苦逼网管

当网管其实是一件很苦逼的事情≧ ﹏ ≦ 我日前经济不景气，挖矿的人估计也就白嫖人家机器铁定不亏钱了。现象 CPU占用异常升高，50%的CPU被完全吃满（整整齐齐吃满固定比例的CPU是明显有问题的，多半是为了不过于瞩目）。但是htop与top显示并没有任何不正常的高占用进程。实际上，电脑已经被用来挖矿了（具体是比特币还是门罗币啥的就不知道了，下次眼疾手快的话我会试试...

CYQ April 21, 2020 1317 words

DNC变种（一）

DNC-MDS

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 这个改进模型来自ICLR2019的一篇文章1。第二作者是LSTM的作者之一 Juergen Schmidhuber，一作可能是他的学生。文章思路比较清晰，有一些值得学习的地方。改进文章的题目已经表明了主要内容，总共分三个方向对DNC进行改进。掩码后基于内容寻址这个改进是针对基于内容寻址的一个...

CYQ November 10, 2019 3210 words

稀疏DNC（一）

稀疏访存技术

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] DeepMind又水文章啦！在提出DNC之后不久，发现效率太低的这帮人紧跟着对NTM，DNC中的一些共性操作做了稀疏化。单个操作速度快了$1000\times$，使用的内存少了$3000\times$。新模型发表在2016年的NIPS1上。加速的最大意义是使得模型可以处理更大的，贴近现实的内存...

CYQ October 28, 2019 3702 words

DNC——可微分神经计算机

Differentiable Neural Computer

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 可微分神经计算机(DNC)可以说是神经图灵机(NTM)的精神续作，并且造了个大新闻，上了Nature1。不得不说DeepMind出品，必属精品。结构论文中给出了如下图示：总体来说仍然延续了NTM的那一套设计理念：通过显式的对Memory操作来模拟图灵机的工作。下面将逐个部件地进行分析，同时与N...

CYQ October 2, 2019 8833 words

神经图灵机

Neural Turing Machines

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 神经图灵机(NTM)是Google DeepMind 的工作1，主要思想是将图灵机中存在的一些离散过程转化为可微分的连续过程，通过神经网络模拟图灵机的工作过程。本质上仍然是RNN的变体。结构由于模仿的是图灵机，因此NTM有着与图灵机基本类似的架构，主要部件有：一个由神经网络模拟的控制器，一个存储。...

CYQ August 26, 2019 4856 words

Domain Adaptation

Domain Gap

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 话说搞AI还要懂实分析么……这么多数学工具怎么学的过来…… Domain Gap Domain Gap 是迁移学习中一个客观存在的影响因素，主要表现在两个数据集（域）上的差异。一般认为Domain Gap 越大，迁移的难度也越大。但是目前的 Domain Gap 的计算往往使用一些不同的方式，比如...

CYQ August 14, 2019 7803 words

深度学习花书笔记（四）

正则化

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 正则化是指修改学习算法，使其降低泛化误差而非训练误差。一个有效的正则化能够在不大幅增加偏差的同时显著减少方差参数范数惩罚对于目标函数$J$，常常通过增加范数惩罚$\Omega(\bm{\theta})$，限制其参数的某些规模。将正则化后的目标记为$\hat{J}$ \[\tilde{J}(\bm{\...

CYQ August 12, 2019 4977 words

深度学习花书笔记（三）

深度前馈网络

\[\newcommand{\bm}[1]{\boldsymbol{#1}}\] 输出单元线性单元给定特征$\bm{h}$，线性输出单元产生一个向量$\hat{\bm{y}}=\bm{W}^\top\bm{h}+\bm{b}$。该单元往往用于输出一个高斯分布（条件概率）的均值$\hat{\bm{y}}$，高斯分布如下： \[p(\bm{y}\mid\bm{x})=\mathc...

CYQ August 11, 2019 1716 words

ABOUT ME

CYQ Blog

博客数学公式的坑

网页Markdown与Mathjax的联合渲染问题