Stephen的博客 | Stephen's Blog

FastText 文本分类

又快又好用的文本分类模型

FastText 文本分类前段时间，使用CNN进行文本分类，最终取得了不错的效果。但是训练时间在我没有gpu的小破笔记本上实在是等的花都谢了。于是尝试了Word2Vec作者、Facebook科学家Mikolov开源的FastTex方法，效果真是谁用谁知道，一般人我真不告诉他！ FastText 原理模型架构 FastText 是一种有监督的模型，基础结构如下图。 ...

Posted by Stephen on August 25, 2017

「转」深度学习网络调参技巧

深度学习网络调参技巧一般深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践中，又有一些新的调参心得，因此这里单独写一篇文章，谈一下自己对深度学习调参的理解。好的实验环境是成功的一半由于深度学习实验超参众多，代码风格良好的实验环境，可以让你的人工或者自动调参更加省力，有以下几点可能需要注意：将各个参数的设置部分集中在一起。如...

Posted by Stephen on August 20, 2017

Convolutional Neural Networks (卷积神经网络) 理解

CNN 实现文本分类

CNN 实现文本分类 1、什么是CNN？ CNN 的全称是 Convolutional Neural Networks，中文名称叫卷积神经网络。从名称上可以知道CNN是神经网络，还是一种加上了卷积的神经网络。知道了CNN的定义，就来看看到底CNN到底什么样？以及CNN到底能干什么事？既然叫神经网络，那么就说明肯定是由一些基础单元(cell)构成的，下面图显示了一个神...

Posted by Stephen on August 11, 2017

Spark Streaming + Kafka入门实战

（二）Spark Streaming 实现 WordCount

（二）Spark Streaming 实现 WordCount 在上一篇文章中，主要是介绍了在Windows单机环境上如何搭建Kafka的环境，如何创建一个Topic，用producer生产数据，consumer去消费数据。这篇文章将会用Spark Streaming + Kafka实现一个实时统计词频的Demo 实践的环境： win7 64位 spark 2.1...

Posted by Stephen on August 9, 2017

Spark Streaming + Kafka入门实战

（一）Windows 环境 Kafka 安装演示

（一）Windows 环境 Kafka 安装演示最近对流式计算很感兴趣，便参考网上有关Spark Streaming的文档实践了一番，发现对流式数据的处理并没有想象中的难，这里把实践的整个过程记录下来，以便后续复习。说起流式计算，就不能不提Kafka，那么这货是个什么东西呢？去翻阅Kafka的说明文档，发现原来就是一个消息队列(消息中间件)，存储生产者产生的数据供消费者消...

Posted by Stephen on August 9, 2017

Spark 实战

（一）基于 Spark ML 的文本分类

基于 Spark ML 的文本分类文本分类是一个典型的机器学习问题，其主要目标是通过对已有语料库文本数据训练得到分类模型，进而对新文本进行类别标签的预测。这在很多领域都有现实的应用场景，如新闻网站的新闻自动分类，垃圾邮件检测，非法信息过滤等。传统的文本分类，可以通过将文本用TF-Idf或者Bow等方式处理成数值特征，用SVM或者Naive Bayes等分类算法进行解决。但...

Posted by Stephen on August 7, 2017

Tensorflow实战系列

（四）用tensorflow实现AutoEncoder

Tensorflow 实现 AutoEncoder (自编码) 网络有监督的神经网络需要数据是有标注(Labeled)的，然而神经网络的应用范围并不止于此，我们可以用它来处理无标注的数据: 其中的一种就是这篇Blog中介绍的AutoEncoder(自编码)网络自编码网络的结构如下图所示：上面图中的AutoEncoder其实就是一个三层的神经网络，左侧是...

Posted by Stephen on August 3, 2017

Tensorflow实战系列

（三）用tensorflow实现Multilayer Perceptron

Tensorflow 实现 Multilayer Perceptron(多层感知器) 模型下面开始用 Tensorflow 实现 Multilayer Perceptron(多层感知器) 模型这里数据使用的是实战（一）和实战（二）中的 MNIST 的图片分类数据 1.导入 tensorflow 包并下载 MNIST 数据 # Import MNIST data fr...

Posted by Stephen on August 1, 2017

Pandas 数据分析实战

让你像写SQL一样做数据分析

Pandas: 让你像写SQL一样做数据分析 1.引言假设现在有一份简化版的设备统计数据：维度编号操作系统设备型号 UV PV 0 android NLL 387546520 2099457911 ...

Posted by Stephen on July 31, 2017

Tensorflow实战系列

（二）用tensorflow实现K Nearest Neighbors

Tensorflow 实现 K Nearest Neighbors 模型下面开始用 Tensorflow 实现 K Nearest Neighbors 模型这里数据使用的是 MNIST 的图片分类数据 1.导入 tensorflow 包并下载 MNIST 数据 import numpy as np import tensorflow as tf # Import ...

Posted by Stephen on July 28, 2017

Stephen's Blog

FastText 文本分类

又快又好用的文本分类模型

「转」深度学习网络调参技巧

Convolutional Neural Networks (卷积神经网络) 理解

CNN 实现文本分类

Spark Streaming + Kafka入门实战

（二）Spark Streaming 实现 WordCount

Spark Streaming + Kafka入门实战

（一）Windows 环境 Kafka 安装演示

Spark 实战

（一）基于 Spark ML 的文本分类

Tensorflow实战系列

（四）用tensorflow实现AutoEncoder

Tensorflow实战系列

（三）用tensorflow实现Multilayer Perceptron

Pandas 数据分析实战

让你像写SQL一样做数据分析

Tensorflow实战系列

（二）用tensorflow实现K Nearest Neighbors

FEATURED TAGS

ABOUT ME

FRIENDS