分类
共
12
个PTB数据集介绍与预处理
PTB(Peen Treebank Dataset)文本数据集是目前语言模型学习中使用最为广泛的数据集，数据集中包括9998个不同的单词词汇，加上特殊符号<unk>(稀有词语)和语句结束标记符(换行符)在内，一共是10000个词汇。近年来关于语言模型方面的论文大多采用了Mikolov提供的这一预处理后的数据版本，由此保证论文之间具有比较性。......
2020-12-26
2678
自然语言处理02---word2vec
Word2vec是一群用来产生词向量的相关模型（浅而双层的神经网络),但它的最终目的并不是不是要把模型训练得多么完美，而是关心模型训练完后的副产物—-—“模型参数”(神经网络的权重)，并将这些参数，作为输入x的某种向量化的表示，这个向量便叫做“词向量”。其中，存在两个常见的模型......
自然语言处理01---单词的分布式表示
我们平时使用的语言，如日语、英语，称为自然语言(Natural Language)。而自然语言处理(Natural Language Processing，NLP)就是处理自然语言的科学：简单的说就是一种能够让计算机理解人类语言的技术，进而完成对我们有帮助的任务......
基于STBP训练的脉冲神经网络
本文介绍了一种针对脉冲神经网络的直接监督学习方法---STBP：将逐层空间域(SD)和与时间相关的时域(TD)相结合，并且不需要任何其他复杂技能。在训练阶段将空间域(SD)和时间域(TD)结合在一起。首先，建立具有SNN动力学的迭代LIF模型，该模型适用于梯度下降训练。在此基础上，在误差反向传播(BP)期间同时考虑了空间维和时间维，从而明显提高了网络精度，引入近似导数来解决峰值。......
第三代神经网络---脉冲神经网络
近年来起源于脑科学的脉冲神经网络 (Spiking Neural Network, SNN) 被誉为新一代的神经网络，以其丰富的时空领域的神经动力学特性、多样的编码机制、事件驱动的优势引起了学者的关注。与此同时，脉冲神经网络的发展使得当前以脑科学成果为基础和启发，以“人工通用智能”、以及高效云端智能解决方案为目标的一种新型计算范式——类脑计算。 ......
基于Pytorch的卷积神经网络
2017年1月，由Facebook人工智能研究院基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）。2、包含自动求导系统的的深度神经网络......
机器学习实战01---利用Tensorflow构建神经网络的流程
TensorFlow 是一个开源的、基于 Python 的机器学习框架，它由 Google 开发，并在图形分类、音频处理、推荐系统和自然语言处理等场景下有着丰富的应用，是目前最热门的机器学习框架。......
深度学习入门06---权重初始值
在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。......
深度学习入门05---梯度算法的不同类型
梯度法的种类：小批量梯度下降法(MBGD)、批量梯度下降法(BGD)、随机梯度下降(SGD)、标准梯度下降、Momentum(SGD-M)、Adagrad、Adam、Nesterov、AdaDelta、Nadam等等.........
深度学习入门04---误差反向传播法
利用数值微分计算神经网络的权重参数的梯度，虽然微分比较简单，但是在计算上非常耗费时间！现在，我们引入一个另一个计算权重参数梯度的方法---”误差反向传播法“，速度比数值微分快很多！......
深度学习入门02---神经网络基础
对于感知机，面对复杂的函数，感知机也隐含着能够表示它的可能性。即便是计算机进行的复杂处理，感知机（理论上）也可以将其表示出来。但是，设定权重的工作，即确定合适的、能符合预期的输入与输出的权重，现在还是由人工进行的。神经网络的出现就是为了解决这个的坏消息。......
机器学习手册08---特征工程（特征降维篇）
降维实际上就是降低特征的个数，最终的结果就是特征和特征之间不相关。降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。......
机器学习手册08---特征工程（特征提取篇）
特征提取涉及到从原始属性中自动生成一些新的特征集的一系列算法，降维算法就属于这一类。特征提取是一个自动将观测值降维到一个足够建模的小数据集的过程。对于列表数据，可使用的方法包括一些投影方法，像主成分分析和无监督聚类算法。对于图形数据，可能包括一些直线检测和边缘检测，对于不同领域有各自的方法。......
机器学习手册07---线性回归
线性回归是机器学习中最简单的有监督学习算法之一，事实上，由于它非常简单，有时，甚至不会认为是机器学习的一部分。无论你是否相信，当目标向量是数值(如：房价)时，线性回归及其扩展一直是常见且有效的预测方法......
机器学习手册06---KNN算法
KNN分类器是有监督学习领域之中，最简单且被普遍使用的分类器之一。KNN分类器一般被认为是一种懒惰的学习器。因为严格地说，它并没有训练一个模型用来预测，而是将观察值的分类判定为离它最近的k个观察值中所占比例最大的那个分类......
机器学习手册05---图像处理
图像分类是机器学习中最令人兴奋的领域之一，在将机器学习算法应用与图像之前，通常需要先将原始图像转换为算法可用的特征，我们将学习使用开源计算机视觉库(OpenCV)来处理图像。......
机器学习手册04---处理分类数据
有时候，数量不是度量对象最有效的方法，我们更喜欢使用不同类别的文字来区分事物，例如：性别、颜色、品牌等等...但是，对于大部分对于机器学习算法来说，都要求输入的是数值型数据，因此本篇将讲解如何合理的将这类数据转换成数值。......
机器学习手册03---处理数值型数据
数值型数据是众多数据类型中，最能直观表现出数据特点的类型，但是对于机器学习算法中，大多数情况还需要对数值型数据进行处理，转化成其真正所需要的特征。......
机器学习手册02---数据整理
"数据整理"是一个被广泛使用的词，经常用于描述将原始数据转换成整洁的、组织合理的形式以供使用的过程，对于机器学习来说，它仅仅是数据”预处理“中的一个步骤。......
“神经网络”？什么鬼？（二）
“神经网络”？什么鬼？（一）中的神经网络面对非线性情况，貌似不能正常工作了呀？仅仅含有1个神经元的神经网络该如何变化呢？......
