JMX Blog

Nobody can go back and start a new beginning,but anyone can start today and make a new ending.

深度学习基础-神经网络权重初始化

深度学习基础-神经网络权重初始化

一、两个问题 假设3层神经网络,输入节点v0,第一层节点v1,v2,v3 第二层节点v4,v5 第三层节点v6。其中vi=f(ai),i=4,5,6 f为激活函数。 前向传播: 1. 全零初始化是否可以 一般情况不可以。当全零参数初始化时,除输入节点所有节点值均为0,根据上式除第一层梯度与输入值有关其余均为0. LR等一层网络可以全零初始化, 网络梯度与输入值有关。仅全...

Nvidia-Docker配置python3与pytorch环境

Nvidia-Docker配置python3与pytorch环境

一、Docker与Nvidia-docker安装 TIPS:为了避免下载源过慢,建议添加中科大源/清华源 1. sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 2. sudo sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list 3....

Pytorch 多卡训练

总结Pytorch 多卡训练的原理与实现

Pytorch 多卡训练 一、多卡训练原理 多卡训练流程一般如下: 指定主机节点 主机节点划分数据,一个batch数据平均分到每个机器上 模型从主机拷贝到各个机器 每个机器进行前向传播 每个机器计算loss损失 主机收集所有loss结果,进行参数更新 将更新后参数模型拷贝给各个机器 二、单机多卡训练 使用torch.nn.DataParall...

Python数据分析-数据可视化

Python数据分析-数据可视化

一. Matplotlib 基本概念 Matplotlib是python的一个数据可视化工具库。 特点:专门用于开发2D图表(包括3D图表), 操作简单。 可视化是在整个数据挖掘的关键辅助工具,可以清晰的理解数据,从而调整我们的分析方法。 二. Matplotlib三层结构 三. Matplotlib 基本使用 1. 折线图 import matplotlib.pyplot as ...

Coursera Machine Learning 学习笔记(二)Linear Regression

Linear Regression

文章为博主学习Coursera上的Machine Learning课程的笔记,来记录自己的学习过程,欢迎大家一起学习交流 02:Linear Regression 仍然以房价预测作为示例,具体示例仍需见课程内容。 符号含义: m 为数据集的大小 x’s为输入数据 y’s为对应的目标输出结果 (x,y)为所有训练数据 (xi, yi)为具体第i行数据,第i个训...

Coursera Machine Learning 学习笔记(一)Introduction

Introduction

文章为博主学习Coursera上的Machine Learning课程的笔记,来记录自己的学习过程,欢迎大家一起学习交流 01:Introduction 机器学习的定义 Arthur Samuel(1959) Machine Learning:“Field of study that gives computers the ability to learn w...

中文情感词典的构建

总结情感词典的构建方法

首先,国外英文的情感分析已经取得了很好的效果,得益于英文单词自身分析的便捷性与英文大量的数据集 WordNet。但由于中文的多变性,语义的多重性与数据集的缺乏,使得国内的情感分析暂落后于国外。本文将记录博主在项目中构建情感词典的经验,欢迎大家指正。 我们首先将情感词典分为通用情感词典与专用情感词典。 1.通用情感词典的构建 通用情感词典的构建主要是通过将目前开源的情感词典整合起来,...