-
[bigdata021- python3转换json数据的单引号双引号注意点]
所属栏目:[大数据] 日期:2020-12-30 热度:187
在py3里,一个json是一个字典,形如 {"a":15} 那么,如果你要将它转换成字符串,也许你用的是str({"a":15}),这样转出来的,可能是是s= "{'a':'15'}",也就是说,里面的kv是单引号的。这个字符串,传到其他地方,再用json.loads(s)的时候会出错,json不支持[详细]
-
Algorithm学习笔记 --- 寻找 K 大数
所属栏目:[大数据] 日期:2020-12-30 热度:83
Q: 给你一个无序的序列,要你找出第K大的数是什么? Answer: Answer 1: 利用Hash,桶排序等方式,是第一个想到的(编程珠玑中所记) 假设数列中最大数为max,最小数为min,那么首先做一个数组长度为max – min + 1, 然后做散列函数为an – min,对于冲突[详细]
-
7本书从小工到数据分析专家
所属栏目:[大数据] 日期:2020-12-30 热度:160
帮助您的书学数据分析的基础知识,并接近成为在数据分析方面的专家。 在过去的几年里,我读了相当数量的书籍上的数据分析,确定了七个,在我看来,其中最好的。一起,这些书的研究数据分析的基[详细]
-
浅谈大数的进制转换
所属栏目:[大数据] 日期:2020-12-30 热度:59
http://www.voidcn.com/article/p-fpnokpkx-yn.html http://www.cnblogs.com/bhlsheji/p/5104558.html http://www.cnblogs.com/phinecos/archive/2009/09/11/1564975.html[详细]
-
太多选择——企业如何选择合适的BI工具?
所属栏目:[大数据] 日期:2020-12-30 热度:200
文 | keira-杨红 在没认清现状前,企业当然不能一言不合就上BI。 BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA、BPM。BI的本质应该是通过展现数据,用于加强企业各环节的管控,帮助快速制定科学的决策。[详细]
-
[bigdata-016] python happybase 操作hbase
所属栏目:[大数据] 日期:2020-12-30 热度:68
1. 用happybase库 操作 hbase ??? http://happybase.readthedocs.io/en/latest/ 2. cdh集群的hbase集群有三个节点 ??? hbase的版本是HBase 1.2.0 3. hbase base的log目录小于5g,导致报警,目录在/var/log/hbase,准备清空它。 ?? 删除不需要的log之后,所有[详细]
-
22本数据分析、挖掘的好书推荐—绝对干货,不看后悔!
所属栏目:[大数据] 日期:2020-12-30 热度:199
1. 深入浅出 数据分析 这书挺简单的,基本的内容都涉及了,说得也比较清楚,最后谈到了R是大加分。 难易程度:非常易。 2.啤酒与尿布 通过案例来说事情,而且是最经典的例子。 3.数据之美 一本介绍性的书籍,每章都解决一个具体的问题,甚至还有代码,对理解[详细]
-
分析工具很难选? 看他们如何挖掘大数据价值
所属栏目:[大数据] 日期:2020-12-30 热度:116
点击上方蓝色字体关注。 您还可以搜索公众号“ D1net ”选择关注D1net旗下的各领域(云计算,数据中心,大数据,CIO,企业协作,网络数通,信息安全,企业移动应用,系统集成,服务器,存储,呼叫中心,视频会议,视频监控等)的子公众号。 ======= 预测建模[详细]
-
传统企业在大数据分析上所面临的关键问题
所属栏目:[大数据] 日期:2020-12-30 热度:196
实现数据驱动有两个关键环节:一是数据采集,二是数据分析。对于传统企业来说,往往是这两点都不太具备条件。? 数据采集的痛点 前一段知乎上有人提问,说大家都在讨论大数据与互联网、金融、政府等领域的结合,为什么谈农业大数据的这么少?相关的公司这么少[详细]
-
[bigdata-017] 用Hive操作hbase
所属栏目:[大数据] 日期:2020-12-30 热度:189
1. 在hbase创建一个表 ivt_mny_pro 2. 在hive创建一个外部表ivt_mny_pro_2_hive create external table ivt_mny_pro_2_hive(key string,idx bigint,beginTime timestamp,endTime timestamp,userid string) row format serde 'org.apache.hadoop.hive.hbase.H[详细]
-
大数版的斐波那契数列
所属栏目:[大数据] 日期:2020-12-26 热度:114
光棍的yy http://acm.nyist.net/JudgeOnline/problem.php?pid=655 时间限制:1000?ms ?|? 内存限制:65535?KB 难度:2 输入 第一行输入一个n表示有n个测试数据 以下n行,每行输入m个1 (1 = n,m = 200) 输出 输出这种组合种数,占一行 样例输入 31111122222[详细]
-
A-B Problem 大数相等
所属栏目:[大数据] 日期:2020-12-26 热度:56
A-B Problem http://acm.nyist.net/JudgeOnline/problem.php?pid=524 时间限制:1000?ms ?|? 内存限制:65535?KB 难度:3 输入 有多组测试数据。每组数据包括两行,分别代表A和B。 它们的位数小于100,且每个数字前中可能包含+,- 号。 每个数字前面和后面都[详细]
-
大数据时代必不可少的大数据分析和制作工具大全
所属栏目:[大数据] 日期:2020-12-26 热度:113
1.微信大数据分析工具 新媒体指数:http://www.gsdata.cn 2.数据可视化工具 百度ECharts:http://echarts.baidu.com/ Cytoscape:http://www.cytoscape.org/ 图表秀:http://www.tubiaoxiu.com/ 数据观:http://shujuguan.cn/ 微博足迹可视化:http://vis.pk[详细]
-
A+B Problem II 大数加法
所属栏目:[大数据] 日期:2020-12-26 热度:136
A+B Problem II http://acm.nyist.net/JudgeOnline/problem.php?pid=103 时间限制:3000?ms ?|? 内存限制:65535?KB 难度:3 输入 The first line of the input contains an integer T(1=T=20) which means the number of test cases. Then T lines follow,e[详细]
-
NBA篮球运动员大数据分析决策支持系统
所属栏目:[大数据] 日期:2020-12-26 热度:178
package com.dt.spark.sparksql import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem,Path} import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** ? * NBA篮球运动员大数据分析决策支持系统[详细]
-
条条大道通罗马:大数据分析工具的十条学习路径
所属栏目:[大数据] 日期:2020-12-26 热度:54
来自:IT经理网(微信号:ctociocom) 链接:www.ctocio.com/hotnews/22900.html (点击尾部阅读原文前往) 虽然只有极少数人能够修炼成数据科学家这一21世纪最性感多金专业人士,但对于大多数非数据分析专业的IT人士来说,掌握对路的大数据工具同样意味着加[详细]
-
某种序列-大数计算
所属栏目:[大数据] 日期:2020-12-26 热度:160
某种序列 http://acm.nyist.net/JudgeOnline/problem.php?pid=114 时间限制:3000?ms ?|? 内存限制:65535?KB 难度:4 输入 输入包含多行数据? 每行数据包含3个整数A0,A1,A2 (0 = A0,A2 = 100000000)? 数据以EOF结束 输出 对于输入的每一行输出A99的值 样例[详细]
-
视音频数据处理入门:UDP-RTP协议解析
所属栏目:[大数据] 日期:2020-12-26 热度:100
http://blog.csdn.net/leixiaohua1020/article/details/50535230[详细]
-
数据挖掘中的模式发现(八)轨迹模式挖掘、空间模式挖掘
所属栏目:[大数据] 日期:2020-12-26 热度:129
这是模式挖掘、数据挖掘的一部分应用。 空间模式挖掘(Mining Spatiotemporal Patterns) 两个空间实体之间存在若干拓扑关系,这些关系基于两个实体的位置: 分离 相交 包含 如图所示地表示位置信息,可以提取类似下面的规则: i s _ a ( x , l a r g e _ t o[详细]
-
企业BI系统应用的切入点及五大策略
所属栏目:[大数据] 日期:2020-12-26 热度:178
从技术的角度来看,BI的技术正在走向成熟,处于一个发展的阶段,但它促使了BI的应用在成本方面开始逐步的降低,越来越多的企业在BI应用方面取得了成功。从实施的角度来出发,实施商业智能系统是一项复杂的系统工程,整个项目涉及企业管理,运作管理,信息系[详细]
-
挖掘隐式启动Activity可能存在的坑
所属栏目:[大数据] 日期:2020-12-26 热度:112
今日科技快讯 很早之前,谷歌母公司Alphabet的董事长施密特就曾经表示,在中国市场,谷歌需要寻找到一个商业伙伴来开展自身的一些业务。而 近日有消息传出,谷歌和网易正在进行合作磋商,很可能是成立合资公司,在国内推出针对中国市场的Google Play应用商店[详细]
-
pyhive 连接 Hive 时错误
所属栏目:[大数据] 日期:2020-12-26 热度:144
一、User: xx is not allowed to impersonate xxx' 解决办法:修改 core-site.xml 文件,加入下面的内容后重启 hadoop 。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/pr[详细]
-
分布式基础通信协议:paxos、totem 和 gossip(转载)
所属栏目:[大数据] 日期:2020-12-26 热度:98
背景: 在分布式中,最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题,涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。 简单即有效——totem协议: totem协议也[详细]
-
Hive 导入 parquet 格式数据
所属栏目:[大数据] 日期:2020-12-26 热度:79
Hive 导入 parquet 数据步骤如下: 查看 parquet 文件的格式 构造建表语句 倒入数据 一、查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parque[详细]
-
Presto 常用配置及操作
所属栏目:[大数据] 日期:2020-12-26 热度:187
一、介绍 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 推荐阅读 Presto实现原理和美团的使用实践 二、安装 2.1[详细]
