要使用多台 CPU 电脑进行 TensorFlow 的分布式运算，需要进行以下几个步骤：配置 TensorFlow 环境：首先需要在每台电脑上安装 TensorFlow，确保版本一致，且都安装了相应的依赖项和驱动程序。配置集：将每台电脑配置为集中的一个节点。可以使用 TensorFlow 的分布式环境管理工具（如 tf.train.ClusterSpec）来定义集的拓扑结构和节点角。编写...

理解和实现分布式TensorFlow集完整教程⼿把⼿教你搭建分布式集，进⼊⽣产环境的TensorFlow分布式TensorFlow简介tensorflow版本选择前⼀篇我们介绍了分布式TensorFlow的基本概念，现在我们可以动⼿搭建⼀个真正的分布式TensorFlow集。分布式TensorFlow集由多个服务端进程和客户端进程组成，在某些场景下，服务端和客户端可以写到同⼀个Python...

spark面试题及答案Spark是一个快速通用的大数据处理框架，被广泛应用于大规模数据处理和分析。在面试中，对Spark的理解和掌握程度是评估候选人技能水平的重要指标之一。本文将给出一些常见的Spark面试题及其答案，以帮助读者更好地准备Spark相关的面试。一、基础概念1. 什么是Spark？答：Spark是一个开源的分布式计算系统，可以快速进行大规模数据处理和分析。它提供了丰富的API和功能，...

28个MongoDB经典⾯试题详解MongoDB是⽬前最好的⾯向⽂档的免费开源NoSQL数据库。如果你正准备参加MongoDB NoSQL数据库的技术⾯试，你最好看看下⾯的MongoDB NoSQL⾯试问答。这些MongoDB NoSQL⾯试问答涵盖了NoSQL数据库基本的概念，复制(Replication)，分⽚(Sharding)，事务和锁，跟踪分析⼯具(Profiler)，Nuances和⽇...

k8s的名称空间、标签、deployment、控制器、弹性伸缩⼀、k8s中的名称空间k8s中名称空间是⽤来隔离集资源，⽽k8s中的资源也分为名称空间级资源以及集级资源。命名空间是集级资源能够被命名空间所隔离的资源叫命名空间级资源不被被命名空间所隔离的资源叫命名集级资源kubectl是k8s客户端，它跟k8s没有任何关系。kubectl get [资源名称] 获取集资源的命令#获取名称空间...

Kubernetes中nodeport，port，targetport对⽐  Kubernetes中容易混淆的⼏个port  1.nodePort  外部流量访问k8s集service⼊⼝的⼀组⽅式（另⼀种⽅式是LoadBalaner），即nodeIP:nodePort是提供给外部流量访问k8s集中service的⼊⼝。  ⽽数据库等服务可能不需要被外界...

kubernetes之配置MetricsServerKubernetes 1.8 关于资源使⽤情况的 metrics，可以通过 Metrics API 获取到， Kubernetes 1.11 已经废弃 heapster。这⾥我们基于 Kubernetes 1.14.1 版本安装 Metrics Server。⾸先，先说明下集环境：[root@node-01]# kubectl get node...

kubernetes实践指南（⼀）⼀、Docker相关内容⼆、Kubernets简介三、kuadm安装k8s⼀、Docker相关内容1、Docker⼯具集Docker三剑客：Compse、swarm、machinedocker compose：适⽤于单机，容器编排定义docker swarm：对所有Docker宿主机资源整合，集管理docker machine：初始化Docker环境，跨平台⽀持...

Kubernetes中外部客户端访问Pod的⼏种⽅式kubernetes集上运⾏的pod，在集内访问是很容易的，最简单的，可以通过pod的ip来访问，也可以通过对应的svc来访问，但在集外，由于kubernetes集的pod ip地址是内部⽹络地址，因此从集外是访问不到的。为了解决这个问题，kubernetes提供了如下⼏个⽅法。hostNetworkhostPortservice No...

Service简介Service:可以理解为pod的负债均衡器,标准资源类型,Service Controller 为动态的一组Pod一个固定的访问入口， kubernetes完成SVC工作的组件kube-proxyEndpoint Controller:管理后端端与svc的绑定,根据标签选择器,筛选适配的pod,监控就绪的pod 并完成svc与pod的绑定工作流程:Service Control...

K8s常见问题及解决⽅案K8s 常见问题及解决⽅案1. 我已经通过k8s官⽅提供的解决⽅案安装的docker，并且docker可以成功运⾏。启动minikube的时候出现的问题xiaoqu@k8s2:~$ sudo minikube start --driver=none[sudo] password for xiaoqu:Sorry, try again.[sudo] password for...

K8s罪魁祸⾸之HostPort劫持了我的流量最近排查了⼀个kubernetes中使⽤了hostport后遇到⽐较坑的问题，奇怪的知识⼜增加了.问题背景集环境为K8s v1.15.9，cni指定了flannel-vxlan跟portmap, kube-proxy使⽤mode为ipvs，集3台master，同时也是node，这⾥以node-1/node-2/node-3来表⽰。集中有2个mys...

k8s nodeport原理    Kubernetes中NodePort是一种服务类型，它允许外部网络通过Node IP和指定的端口访问Kubernetes集中的服务。NodePort的端口范围为30000-32767。NodePort服务会被自动分配一个确切的端口号，以便外部流量能够通过此端口进入集。     NodePort的原理是将服务的Pod绑...

K8S核⼼概念之SVC（易混淆难理解知识点总结）本⽂将结合实际⼯作当中遇到的⼀些问题和情况来解析SVC的作⽤以及⼀些⽐较易混淆和难理解的概念，⽅便⽇后⼯作⽤到或者遗忘时可以直接在⾃⼰曾经学习总结的博客当中直接查到。⾸先应该清楚SVC的作⽤是什么，SVC主要有以下两个作⽤：⼀、服务发现现在⼯作当中都将微服务项⽬部署到K8S上，因为每个项⽬都是很多个服务的集合，每个服务⼀般⼜都是由很多个pod组成的...

K8S⽹络插件-calico安装本⽂参考：kubernetes进阶实战马永亮注1、介绍calico是⼀个三层的虚拟⽹络解决⽅案，他把每个节点都当做虚拟路由器，每个POD都是虚拟路由器下的的终端，各节点通过BGP协议⽣成路由规则，实现pod互通与flannel相⽐calico⽀持⽹络策略，允许⽤户动态定义访问控制规则以管控进出容器的数据报⽂，为POD间通信按需设置安全策略calico默认使⽤IPIP...

正确部署阿⾥csi-plugins-nas如何使⽤阿⾥的csi-lugins的nas部分⽂章⽬录github地址，gitee也有很多拷贝说明： CSI插件需要您的集版本⼤于1.14，且初始化集的时候选择使⽤CSI插件。或者⾃⾏配置节点kubelet参数，确保enable-controller-attach-detach为true。意思是由AD Controller来发起attach/detac...

k8s集中部署prometheus 安装node-exporter组件，在k8s集的master1节点操作cat >node-export.yaml  <<EOFapiVersion: apps/v1kind: DaemonSetmetadata:name: node-exporternamespace: monitor-salabels:name: node-ex...

k8s全栈监控之metrics-server和prometheus ⼀、概述使⽤metric-server收集数据给k8s集内使⽤，如kubectl,hpa,scheduler等使⽤prometheus-operator部署prometheus，存储监控数据使⽤kube-state-metrics收集k8s集内资源对象数据使⽤node_exporter收集集中各节点的数据使⽤promethe...

k8s部署mongodb分⽚集配置节点label1apiVersion: v12kind: Node3metadata:4  name: host15  labels:6    mongodb: "mongo-0"7---8apiVersion: v19kind: Node10metadata:11  name: host212  la...

kubernetesTraefikingress配置详解理解Ingress简单的说，ingress就是从kubernetes集外访问集的⼊⼝，将⽤户的URL请求转发到不同的service上。Ingress相当于nginx、apache等负载均衡⽅向代理服务器，其中还包括规则定义，即URL的路由信息，路由信息得的刷新由来提供。理解Ingress ControllerIngress Control...

简单组建linux集及并行编译vasp过程我们现在主要是用做高性能计算，下面就是我的集的组建过程。集的硬件环境：做一个集，节点机器的硬件最好相同，这样计算的效率就会高很多，同时组建集也相对容易。以下是我的机器的配置情况（全新，组装）另外要说的是，我们的节点机没有配置显示器，全部工作由服务器完成。连接就是通过交换机连接，和一般局域网连接相同。服务器：P4 3.2， 内存2 G ，硬盘：16...

华为认证ICT工程师HCIA考试(习题卷21)第1部分：单项选择题，共40题，每题只有一个正确答案，多选或少选均不得分。1.[单选题]在虚拟桌面发放流程中，创建虚拟机时，哪个组件会检查指定的虚拟机组和桌面组是否存在？A)ITAB)HDCC)HDAD)GaussDB答案:A解析:2.[单选题]PPPoE客户端使用哪种方式向Server发送PADI报文？A)广播B)单播C)组播D)任播答案:A解析:3...

Java经典⼊门教程！⽇期转换成年⽉⽇格式java 概述1. 什么是Redis2. Redis有哪些优缺点3. 为什么要⽤Redis /为什么要⽤缓存4. 为什么要⽤Redis⽽不⽤map/guava做缓存?5. Redis为什么这么快⼆、数据类型1. Redis有哪些数据类型2. Redis的应⽤场景三、持久化1. 什么是Redis持久化?2. Redis的持久化机制是什么?各⾃的优缺点?3....

oracle 11g RAC 的一些基本概念（一）  总的来说，oracle 11g r2  RAC提供了以下功能：1. 高可用：shared-everything 模式保证了单节点的故障不会停止服务，集中的其他节点将快速接管2. 可扩展性：多节点分担负载，可以提供远超单机数据库能提供的处理能力。且增删节点可以在线完成，不需要停机3. 易用性：多个数据库可以加入到一个集中4...

【OracleRAC】Linux系统Oracle12cRAC安装配置详细记录过程V2.0（。。。【Oracle RAC】Linux系统Oracle12c RAC安装配置详细过程V2.0（图⽂并茂）2 Oracle12c RAC数据库安装准备⼯作2.1 安装环境介绍2.2 数据库安装软件下载3 Oracle12c RAC数据库安装环境配置3.1 安装主机或虚拟机3.2 安装操作系统3.3 hosts...

CDH6安装教程（亲⾃测试越坑版）⼀、Hadoop⼤数据平台1、Hadoop 发⾏版(1) 完全开源的原⽣的Apache Hadoop(2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新⼀代的数据平台产品CDP Data Center（以下简称为CDP），从2021年1⽉31⽇开始，所有Cloudera...

基于Hadoop的大数据处理与分析平台搭建大数据时代的到来，让数据处理和分析变得更加重要和复杂。在海量数据的背景下，传统的数据处理方式已经无法满足需求，因此大数据处理与分析平台应运而生。Hadoop作为目前最流行的大数据处理框架之一，为构建大数据处理与分析平台提供了有力支持。什么是HadoopHadoop是一个开源的、可靠的、可扩展的分布式系统基础架构，由Apache基金会开发。它主要用于存储和处...

SpringCloudAlibaba消息队列：基于RocketMQ实现服务异步通信本讲咱们将学习以下三⽅⾯内容：介绍消息队列与 Alibaba RocketMQ；掌握 RocketMQ 的部署⽅式；讲解微服务接⼊ RocketMQ 的开发技巧；⾸先咱们先来认识什么是消息队列 MQ 呢？消息队列与 RocketMQ消息队列 MQ消息队列（Message Queue）简称 MQ，是⼀种跨进程的通信机制...

ActiveMQ知识整理+⾯试题AcitveMQ⾸先，说起ActiveMQ，就必须先聊聊JMS（Java Message Service）规范，也就是Java消息服务，它定义了Java中访问消息中间件的接⼝的规范。JMS只是接⼝，并没有给予实现，实现JMS接⼝的消息中间件称为 “JMS Provider”，⽬前知名的开源 MOM （Message Oriented Middleware，也就是消息...

关于ActiveMQ、RocketMQ、RabbitMQ、Kafka⼀些总结和区别这是⼀篇分享⽂为什么写这篇⽂章?博主有两位朋友分别是⼩A和⼩B:1. ⼩A，⼯作于传统软件⾏业(某社保局的软件外包公司)，每天⼯作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写⼏个SQL，⽣成下报表。⼜或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种⽣活，技术零成长。...