大数据选择题牛刀小练1

大数据选择题牛刀小练1


1、Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是?128M

Hadoop2.x版本以后。 默认的数据块大小就变成了128M

2、Spark Job 默认的调度模式 FIFO

3、下面关于hdfs中SecondaryNameNode描述正确的一项是()
它的目的是帮助NameNode合并editlog,减少NameNode 启动时间

SecondaryNameNode它不是namenode的冗余守护进程,而是提供周期检查点和清理任务。帮助namenode合并editlog,减少namenode启动时间

4、下面哪个不是 RDD 的特点 可修改

RDD不可修改
RDD可分区、可序列化、可持久化

5、已知表t
est(name)的记录如下,
tom
tom_green
tomly
lily

代码select * from test where name rlike 'tom.*'的结果有几条记录 3

rlike和like差不多,但它支持正则,.*表示匹配n个字符

6、在hive中一个查询语句执行后显示的结果为:
20180812 50;20180813 32;20180814 NULL,则最有可能的查询语句是()
SELECT inc_day, count(task_no) FROM 任务表
WHERE inc_day<=20180814 GROUP BY inc_day

having子句与where都是设定条件筛选的语句,有相似之处也有区别:
1.having是在分组后对数据进行过滤
where是在分组前对数据进行过滤
2.having后面可以使用聚合函数
where后面不可以使用聚合
3.在查询过程中执行顺序:from>where>group(含聚合)>having>order>select。
聚合语句(sum,min,max,avg,count)要比having子句优先执行,所以having后面可以使用聚合函数。而where子句在查询过程中执行优先级别优先于聚合语句(sum,min,max,avg,count),所有where条件中不能使用聚合函数。
select sum(num) as rmb from order where id>10;
//先查询出id大于10的数据,再执行聚合语句sum(num)
//执行以下语句会报错,因为where子句先于sum(num)执行,执行where子句的时候还没有sum(num),所以会报错。
select sum(num) as rmb from order where sum(num)>10;
对分组数据再次判断时要用having
select reports,count() from employees group by reports having count() > 4;
//首先查询了select reports,count() from employees group by reports,在此基础上查找count() > 4的数据。
聚合函数:
例如SUM, COUNT, MAX, AVG等,这些函数和其它函数的根本区别就是它们一般作用在多条记录上。
总结:
HAVING子句可以让我们直接筛选成组后的各组数据,也可以在聚合后对组记录进行筛选,而WHERE子句在聚合前先筛选记录,也就是说作用在GROUP BY 子句和HAVING子句前。

7、Spark 支持的分布式部署方式中哪个是错误的
Spark on local

local用于本地模式运行,不是分布式,在单一机器上运行

8、关于累加器,下面哪个是错误的
不支持自定义类型

关于累加器,正确的说法是
支持加法
支持数值类型
可并行

9、代码select bin(17)与下面结果一致:
select conv(17,10,2)

bin转二进制。conf(a,b,c)把a值从b进制转化为c进制。
bin(17):将17转化为2进制 conv(17,10,2):将17从10进制转化为2进制.
即conv(要转换的值,被转换的进制数,要转换成的进制数)

10、下列不属于Spark中driver的作用的是( )
负责运行组成 Spark 应用的任务

属于Spark中driver的作用
执行main方法
把用户程序转化为task
协调任务的调度

11、现在在hadoop集群当中的配置文件中有这么两个配置,请问假如集群当中有一个节点宕机,主节点namenode需要多长时间才能感知到?

dfs.heartbeat.interval
3


heartbeat.recheck.interval
2000

34秒

dfs.heartbeat.interval10 + heartbeat.recheck.interval2
heartbeat.recheck.interval是毫秒级别的先除以1000

dfs.heartbeat.interval意思是:datanode会按照此间隙(单位是s)向namenode发送心跳,默认发送10次。
heartbeat.recheck.interval意思是:namenode按照此间隙(单位是ms)检查datanode的相关进程,默认检查2次

12、以下有关神经网络的说法错误的是( )
MP模型在隐藏层和输出层都对神经元进行激活函数处理

神经网络正确的说法
使用多层功能神经元可以解决非线性可分问题
神经网络“学”到的东西,蕴含在连接权值和阈值中
BP算法基于梯度下降策略

13、已知表emp存在字段name1,以下语句能够正常运行的是哪一个:
alter table emp rename to emp1

14、sc.parallelize([(1,2),(1,3),(2,3),(2,4),(3,1)].reduceByKey(lambda x,y : x +y).count().collect”操作中会产生( )个stage

2
首先获取list里面的每个元素,不管有没有map都算开始第一个阶段,stage1
接着reducebykey 肯定shuffle 了。 因此就有一个 stage2 了
而后面的count 计算 是可以并行处理的,也就是 每个key的总数互相之间计算并没有依赖,因此不会产生新的 stage 。

15、Hive支持的数据类型
-原始数据类型
#整型
TINYINT — 微整型,只占用1个字节,只能存储0-255的整数。
SMALLINT– 小整型,占用2个字节,存储范围–32768 到 32767。
INT– 整型,占用4个字节,存储范围-2147483648到2147483647。
BIGINT– 长整型,占用8个字节,存储范围-263到263-1。

#布尔型
BOOLEAN — TRUE/FALSE

#浮点型
FLOAT– 单精度浮点数。
DOUBLE– 双精度浮点数。

#字符串型
STRING– 不设定长度。
-复合数据类型

STRUCT:一组由任意数据类型组成的结构。
比如,定义一个字段C的类型为STRUCT {a INT; b STRING},则可以使用a和C.b来获取其中的元素值;
Maps:和Java中的Map相同,即存储K-V键值对的;
Arrays:数组;

16、Zookeeper在 config 命名空间下,每个znode最多能存储()数据?
1M

17、关于Hadoop技术描述错误的是?()
HDFS适合存储大量的小文件

18、以下哪个操作可能会产生大量小文件
从海量数据中过滤出符合条件的少量数据

19、下面列出特征选择算法中,不属于启发式搜索的有()
分支限界搜索

20、在当下比较流行的分布式数据处理平台 Spark 中,有一些常用的高阶算子,比如说 flatMap, filter, groupByKey等等;它们中的某些算子会触发shuffle操作,所谓shuffle,粗略的可以理解为要处理的数据集的内部分区需要进行重排,而不是原地计算。下面哪个算子会引起shuffle? ()
sortByKey join

spark中会导致shuffle操作的有以下几种算子
1、repartition类的操作:比如repartition、repartitionAndSortWithinPartitions、coalesce等
2、byKey类的操作:比如reduceByKey、groupByKey、sortByKey等
3、join类的操作:比如join、cogroup等

21、在hive中下列哪些命令可以实现去重()
distinct
group by
row_number

row_number是排完序后再取topN,相同于去重

22、以下各项均是针对数据仓库的不同说法,你认为正确的有( )
数据仓库是一切商业智能系统的基础
数据仓库支持决策而非事务处理

23、关于ELM神经网络的描述,下列选项中正确的是( )
是一种泛化的单隐层前馈神经网络
输入层和隐含层之间的权重和隐含层节点的阈值是通过随机初始化得到的

24、zookeeper 有很多版本,(apache ) 版本是原始版本,( cdh) 版本是对原始版本的增强。

25、Hadoop五个守护进程:
namenode datanode secondarynamenode resourcemanager nodemanager

提交了mapreduce任务才会有mrappmaster/yarnchild进程

26、代码select bin(17)的结果是下面哪一个:10001

Hive 二进制函数 : bin
语法: bin(BIGINT a)
返回值: string
说明: 返回 a 的二进制代码表示

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战&#xff0c;可谓是杀敌无数&#xff0c;见怪不怪了&#xff01;在某知识社交平台中&#xff0c;一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读&#xff0c;可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表&#xff1a;零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时&#xff0c;为空表。 在比较复杂的线性表中&#xff0c;一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言&#xff0c;按照其应用领域&#xff0c;可以粗略地分成三类。 有的语言是多面手&#xff0c;在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类&#xff0c;比如说 C&#xff0c;Java&#xff0c; Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后&#xff0c;该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情&#xff0c;很多情况下&#xff0c;他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言&#xff0c;首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图&#xff1a; 上码&#xff1a; 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况&#xff0c;重点关注在中国市场扮演重要角色的全球及本土铪生产商&#xff0c;呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外&#xff0c;针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…