云计算实验7-Spark基本操作
Spark简介Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍,即便是运行程序于硬盘时,Spark也能快上10倍速度。Spark允许用户将数据加载至集群存储器,并多次对其进行查询,非常适合用于机器学习算法。
使用Spark需要搭配集群管理员和分布式存储系统。Spark支持独立模式(本地Spark集群)、Hadoop YARN或Apache Mesos的集群管理。在分布式存储方面,Spark可以和HDFS、 Cassandra、OpenStack Swift和Amazon S3等接口搭载。 Spark也支持伪分布式(pseudo-distributed)本地模式,不过通常只用于开发或测试时以本机文件系统取代分布式存储系统。在这样的情况下,Spark仅在一台机器上使用每个CPU核心运行程序。
...
云计算实验6-Kubernetes基本操作
Kubernetes简介Kubernetes 是 Google 团队发起的开源项目,它的目标是管理跨多个主机的容器,提供基本的部署,维护以及运用伸缩,主要实现语言为Go语言。Kubernetes 特性有:
易学:轻量级,简单,容易理解
便携:支持公有云,私有云,混合云,以及多种云平台
可拓展:模块化,可插拔,支持钩子,可任意组合
自修复:自动重调度,自动重启,自动复制
Kubernetes 构建于 Google 数十年经验,一大半来源于 Google 生产环境规模的经验。结合了社区最佳的想法和实践。在分布式系统中,部署,调度,伸缩一直是最为重要的也最为基础的功能。Kubernets 就是希望解决这一序列问题的。Kubernets 目前在GitHub进行维护。
目前,Kubenetes 支持在多种环境下的安装,包括本地主机(Fedora)、云服务(Google GAE、AWS 等)。然而最快速体验 Kubernetes 的方式显然是本地通过 Docker 的方式来启动相关进程。
下图展示了在单节点使用 Docker 快速部署一套 Kubernetes 的拓扑。
...
云计算实验5-Mininet基本操作
Mininet简介Mininet是由一些虚拟的终端节点(end-hosts)、交换机、路由器连接而成的一个网络仿真器,它采用轻量级的虚拟化技术使得系统可以和真实网络相媲美。
Mininet可以很方便地创建一个支持SDN的网络:host就像真实的电脑一样工作,可以使用ssh登录,启动应用程序,程序可以向以太网端口发送数据包,数据包会被交换机、路由器接收并处理。有了这个网络,就可以灵活地为网络添加新的功能并进行相关测试,然后轻松部署到真实的硬件环境中。
Mininet的特性
可以简单、迅速地创建一个支持用户自定义的网络拓扑,缩短开发测试周期
可以运行真实的程序,在Linux上运行的程序基本上可以都可以在Mininet上运行,如Wireshark
Mininet支持Openflow,在Mininet上运行的代码可以轻松移植到支持OpenFlow的硬件设备上
Mininet可以在自己的电脑,或服务器,或虚拟机,或者云(例如Amazon EC2)上运行
Mininet提供python API,简单易用
Mininet是开源项目,源代码在这里:https://github.com/mininet ...
云计算实验4-Ceph基本操作
ceph 简介
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
Ceph相比其它存储的优势点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的良好设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。
最底层的RADOS提供了对象存储的功能,是ceph的根基所在。所有的其他功能都是在RADOS之上构建的。LIBRADOS看名字就能猜到,它提供了一系列语言的接口,可以直接访问RADOS。RADOSGW基于LIBRADOS实现了REST的接口并兼容S3和Swift。RB ...
云计算实验3-Docker基本操作
Docker 简介Docker 是一个开源的应用容器引擎,基于 Go 语言并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口,更重要的是容器性能开销极低。
Docker 使用客户端-服务器 (C/S) 架构模式,使用远程API来管理和创建Docker容器。Docker 容器通过 Docker 镜像来创建。容器与镜像的关系类似于面向对象编程中的对象与类。
实验1 Docker镜像基本操作本次实验包含docker基本操作,本次实验仅提供简单docker操作命令演示,更多操作请访问官方文档
1.1 实验之前可能需要手动启动 docker 服务若docker可正常使用,则无需进行该1.1步骤所对应的操作
12345# kill掉docker僵死进程# netstat -ntulp|grep 2376|awk '{printf $7}'|cut -d/ -f1 | xargs k ...
云计算实验2-Hadoop基本操作
1. Hadoop简介Hadoop的组件下图显示了 Hadoop 生态系统的各种组件。
Apache Hadoop 由两个子项目组成
Hadoop MapReduce : MapReduce 是一种计算模型及软件架构,编写在Hadoop上运行的应用程序。这些MapReduce程序能够对大型集群计算节点并行处理大量的数据。
HDFS (Hadoop Distributed File System): HDFS 处理 Hadoop 应用程序的存储部分。 MapReduce应用使用来自HDFS的数据。HDFS创建数据块的多个副本,并集群分发它们到计算节点。这种分配使得应用可靠和极其迅速的计算。
虽然 Hadoop 是因为 MapReduce 和分布式文件系统 HDFS 而最出名的, 该术语也是在分布式计算和大规模数据处理的框架下的相关项目。 Apache Hadoop 的其他相关的项目包括有:Hive,HBase,Mahout,Sqoop , Flume 和 ZooKeeper。
Hadoop 功能
适用于大数据分析 作为大数据在自然界中趋于分布和非结构化,Hadoop ...
云计算实验1
1. GitHub中建立仓库
记得添加readme文件。
2.GitHub到本机使用git指令同步github上的仓库
克隆现有的仓库
如果你想获得一份已经存在了的 Git 仓库的拷贝,比如说,你想为某个开源项目贡献自己的一份力,这时就要用到 git clone 命令。 如果你对其它的 VCS 系统(比如说 Subversion)很熟悉,请留心一下你所使用的命令是”clone”而不是”checkout”。 这是 Git 区别于其它版本控制系统的一个重要特性,Git 克隆的是该 Git 仓库服务器上的几乎所有数据,而不是仅仅复制完成你的工作所需要文件。 当你执行 git clone 命令的时候,默认配置下远程 Git 仓库中的每一个文件的每一个版本都将被拉取下来。 事实上,如果你的服务器的磁盘坏掉了,你通常可以使用任何一个克隆下来的用户端来重建服务器上的仓库 (虽然可能会丢失某些服务器端的钩子(hook)设置,但是所有版本的数据仍在,详见 在服务器上搭建 Git )。
克隆仓库的命令是 git clone <url> 。 比如,要克隆 Git 的链接库 libgit2,可 ...
第六更--查找目标与逻辑漏洞
查找目标1. 从已知文库寻找目标: 目前常见文库: peiqi文库(不需要邀请码),零组文库和白泽文库(需要邀请码)此次选择peiqi文库:http://wiki.peiqi.tech/ 由于我之前是挖edusrc,所以我在打击目标的时候,都是找关于学校的web系统于是开始寻找目标:
找web应用,然后查看关于学校应用的系统漏洞,并获取fofa关键词,自己再去进行漏洞挖掘( 一般出现过的漏洞系统,肯定不止一个存在漏洞,每个人的思路不一样,所挖掘到的漏洞就不一样)
2. 对fofa关键词查看自己通过已知漏洞去获取对自己有用的资源(比如任意漏洞下载我们就可以通过这个获取web系统的源码,下一步进行白盒审计,或者能前台getshell 的,我们就可以通过命令执行或者写马去获取资源body=”DC_Login/QYSignUp”
3. 历史漏洞复现(找到能还原复现的站点,如果全部修复,就自己新挖掘该系统) 由于漏洞详细可以知道,在前台企业注册点可以得知,存在文件上传点:http://x.xx.xxx.xxx:3306/DC_Login/QYSignUp ...
第五更--edusrc通用漏洞
edusrc通用思路:Ps:此文章是我在2021年四月份所写,这次就直接利用一下了!思路:要想刷屏上分,就得找系统来挖掘,对于不会审计的我来说只有做一些黑盒测试(会审计大佬可以忽略这一点)首先我们利用fofa找一些与edu有关的系统语法:
“系统” && org=“China Education and Research Network Center”
其中可以在前面加一些:阅卷系统、评分系统、直播系统、录播系统。(我们需要找的是弱口令能进去的系统)此次渗透我使用的是:“点播系统” && org=“China Education and Research Network Center”
当确定系统后,我们就开始寻找目标站点,能通过弱口令进入的系统是最好的(admin\admin admin\123456)
通过上述的弱口令测试并没有进入后台,此时肯定会有爆破密码的想法,但是爆破成功的可能性太小了,于是我思考是否能通过找到操作手册发现默认密码,观察页面有关键字: 网瑞达和WRD视频直播点播系统于是使用谷歌查找:WRD视频直播点 ...
第四更--对Js接口的继续探讨
第四更:Ps:此次是对一个系统的具体挖掘方法,在我们挖掘漏洞的时候,遇见困难的,在自己技术和知识积累的情况达不够的时候,就可以放弃换简单的系统挖掘,一般脆弱系统为弱口令能进去的系统,之后在对后台挖掘,edusrc平台的某位核心白帽子都是靠弱口令上去的!!!
对Js接口的继续探讨
目标站点:http://202.197.xx.xxx/(学校常用的视频点播平台)
开局也是这样的一个登录框,当然首先测试就是弱口令admin/admin (admin/123456) 等常规的密码, (可以进行小量字典爆破一下),但是都没有办法进入,于是尝试寻找操作手册或者初始密码看是否能进入后台。谷歌寻找操作手册:
操作手册能寻找到很多,但是点进去观看一看翻后,只提示了管理员账号为admin/初始密码需要自己设置,这种情况下,我们就不要继续在死磕查找弱口令,因为管理员一般在这种情况下是不可能继续设置简单的密码的。
操作手册没有任何帮助后 ...