文章列表
网上找了段代码:
# 加载数据
def loadDataSet(fileName): # 解析文件，按tab分割字段，得到一个浮点数字类型的矩阵
dataMat = [] # 文件的最后一个字段是类别标签
fr = open(fileName)
for line in fr.readlines():
curLine = line.strip().split('\t')
fltLine = map(float, curLine) # 将每个元素转成float类型
dataM ...
基于mnist手写数字训练集的效率比较
硬件配置:interl i7-6700hq 2.60GHz * 8corenvidia GeForce 940MX显卡
软件配置:gpu版本:python3.7.0, tensorflow-gpu 1.13.1, cuda 10.0, cudnn 7.5.1cpu版本:python3.5.4, tensorflow 1.13.1
测试对比:下图所示:cpu8核跑满, gpu利用率84% : gpu training速度 2倍+ 于 cpu速度 参考:cuda下载:https://developer.nvidia.com/cuda-toolk ...
one-hot分类标签特性：维度值中只有一个1其余为0，使得交叉熵的加和在一个样本训练后Loss函数简化为单项；
softmax函数中，非Zi相关的项与Wi，bi无关，即对Wi，bi求导为0；
以上两点最终让求导最终得到一个简单结果；Wi，bi在这种Loss的梯度下降方向计算起来很简便；
求导过程见下图:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<title> Sign </title>
<meta name="Generator" content="EditPlus">
<meta name="Author&qu ...
通过人脸检测来识别身份证上号码
- 博客分类：
- python
提供一种通过人脸识别和ocr技术组合的身份证信息自动提取。通过身份证上的头像,定位身份证上的信息位置,并返回身份证号.
常规想法：采用机器学习的方式，用opencv或者coffe训练身份证的物体辨识，然后通过比如opencv的cv2.CascadeClassifier 来进行身份证的检测，然后用ocr提取其内部信息。
本文思路：借用现有的轮子，人脸检测+ocr进行身份证号提取。
虽有杀鸡用牛刀之嫌，但技术都是现成的，不用自己做机器学习训练。
原理很简单：通过人脸检测（face-detection）可以检测到身份证上的人脸，并返回面部识别框（face-rectangle），
face ...
python下的pdf操作,pypdf2为不二之选,除了...这个:
用这段代码(网上一把把的)来填充pdf中的form field,表单域
# -*- coding: UTF-8 -*-
from PyPDF2 import PdfFileWriter, PdfFileReader
infile = "mb2.pdf"
outfile = "c.pdf"
pdf = PdfFileReader(open(infile, "rb"), strict=False)
pdf2 = PdfFileWriter( ...
将从 https://github.com/ubawurinna/freetype-windows-binaries 下载下来的dll
放置到c:\windows\system32\ 下之后
import freetype 终于不报
>>> import freetype
Traceback (most recent call last):
File "D:\venv\jupyter\lib\site-packages\freetype\raw.py", line 34, in <module>
_lib = c ...
1.pip install opencv
2.pip install face_recognition
期间在安装依赖包dlib时遇到问题,解决见: http://kissmett.iteye.com/blog/2409857
3.通过摄像头实时在获取的帧上进行人脸识别(较卡顿)
facerecognition.py
# -*- coding: UTF-8 -*-
import face_recognition
...
为安装 python face_recognition, pip install face_recognition
需要安装依赖包 dlib (dlib http://dlib.net/ Dlib is a modern C++ toolkit containing machine learning algorithms and tools for creating complex software in C++ to solve real world problems. )
----------------------------
总结,最终在windows安装成功的步骤:
0 ...
需要获取mapreduce的运行信息,比如运行状态,map,reduce的执行进度.
hadoop 50030端口提供web ui服务,没找到提供json或者xml的服务方式.
于是,查找hadoop 50030的加载:
\org\apache\hadoop\mapred\JobTracker.java:
JobTracker(final JobConf conf, String identifier, Clock clock, QueueManager qm)
-->
private void createInstrumentation()
-->
...
Strin ...
hadoop mr数据流
/*
符注:
()内为数据;[]内为处理;
{}内为框架模块;
()数据若无说明则为在内存;
->本机数据流;=>网络数据流;~>分布式-本地读写数据流;
/**/为标注;
*/
(分布式源文件)~>{JobTracker分配到各TaskTracker本机上}=>
...
hive中执行：
select * from ht_custmer; 没问题；
执行：
select * from ht_customer where buycount>10;
报错：
java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.hadoop.hive.hbase.HBaseSplit
是hive找不到此类，需要在 hive-site.xml中显性设置hive.aux.jars.path属性： ...