通过Minio搭建私有化对象存储服务_开源PaaSRainbond最佳实践
概述
Minio是建⽴在云原⽣的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的⽅式进⾏扩展的对象存储服务。它最适合存储⾮结构化数据,如:照⽚、视频、⽇志⽂件、容器/虚拟机/映像等,单次存储对象的⼤⼩最⼤可达5TB。
实现架构单节点
•根据存储是否为远端,可直接使⽤FS或NFS直接操作存储中的Object
•调⽤S3接⼝,通过Minio使⽤FS或NFS来操作Object
多节点
多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。
分布式
分布式Minio在⽆共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使⽤相同的Access_key及Secret_key来登录。分布式Minio使⽤Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。
功能特性
•Amazon S3兼容Minio使⽤Amazon S3 v2 / v4 API。可以使⽤Minio SDK,Minio Client,AWS SDK和AWS CLI访问Minio服务器。
•数据保护Minio使⽤Minio Erasure Code来防⽌硬件故障。也许会损坏⼀半以上的driver,但是仍然可以从中恢复。•⾼度可⽤Minio服务器可以容忍分布式设置中⾼达(N / 2)-1节点故障。⽽且,您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。
•Lambda计算Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。⽀持的⽬标是消息队列,如Kafka,NATS,AMQP,MQTT,Webhooks以及Elasticsearch,Redis,Postgres和MySQL等数据库。
•加密和防篡改Minio为加密数据提供了机密性,完整性和真实性保证,⽽且性能开销微乎其微。使⽤AES-256-GCM,ChaCha20-Poly1305和AES-CBC⽀持服务器端和客户端加密。加密的对象使⽤AEAD服务器端加密进⾏防篡改。
•可对接后端存储除了Minio⾃⼰的⽂件系统,还⽀持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。•sdk⽀持基于Minio轻量的特点,它得到类似Java、Python或Go等语⾔的sdk⽀持,例如: Java类在使⽤Maven管理
•sdk⽀持基于Minio轻量的特点,它得到类似Java、Python或Go等语⾔的sdk⽀持,例如: Java类在使⽤Maven管理Jar的情况下,在l中指定Minio:<dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>3.0.12</version> </dependency>
使⽤
Minio提供:包含图形化界⾯的Server端;使⽤命令⾏操作的Client端。以下为您介绍Minio Server与Minio Client的使⽤。
Minio Server
•使⽤Access Key与Secret Key登录Minio。登录成功后进⼊如下界⾯Access Key与Secret Key可由Minio Server随机⽣成,也可通过变量来⾃定义。下⽂⾃助部署讲述如何定义及获取Access Key与Secret Key。
•点击模块1bucket对应部分创建⼀个新的bucket,可在模块2看到所创建bucket。
•在模块2选择⼀个bucket。点击模块1upload对应部分上传⽂件到已选择bucket。可在页⾯⽩⾊部分看到对应bucket 中所上传⽂件。
开源mqtt服务器
•⿏标移动到模块2任意bucket,对应bucket右侧可点击进⾏操作policy、delete操作。其中policy可设置Prefix的请求权限。
•点击模块3,查看与设置该Object的基本信息:
•查看共享地址Shareable Link
•设置到期时间,最⼤可保存时间为7天
•对话框上⽅弹出该Object现剩余到期时间
Minio Client下载⼆进制wget dl.minio.io/client/mc/release/linux-amd64/mc chmod +x mc ./mc --help基本操作命令•配置已存在Minio Server./mc config host add <custom_name> <Minio_Server_address> <access_key>
<secret_keyt> S3v4例:./mc config host add test drain access_key secret_key S3v4
•创建bucket./mc mb <custom_name>/[bucket_name]/[object_name]例:./mc mb test/data
•查看Minio Server的bucket、object./mc ls <custom_name>/[bucket_name]/[object_name]例:./mc ls test/data
•上传/下载Object# cp到Minio Server(上传) ./mc cp <object> <custom_name>/[bucket_name]# cp到本地(下载) ./mc cp <custom_name>/[bucket_name]/[object_name] <local_path>例:./mc cp README.md test/data
•删除Object或bucket./mc rm <custom_name>/[bucket_name]/[object_name]例:# 删除bucket,因为data下存在名为README.md的object,故需追加--force参数来强制删除bucket ./mc rm test/data --force*共享访问mc提供share⽅法,通过授权⽣成的URL可以临时上传或下载object。
•download指定Minio Server中的Object,⽣成该Object临时下载的URL。./mc share download [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:# --expire 168h代表⽣成的URL有效时间仅168⼩时 ./mc share download --expire 168h test/data/README.md
•upload指定上传某⽂件到Minio Server后的路径,⽣成临时可供上传的命令。./mc share upload [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:./mc share upload test/data/READM
E.md⽣成类似如下命令:curl drain/data/ \ -F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \ -F x-amz-date=20180425T031310Z \ -F x-amz-
signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \ -F bucket=data \ -F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCI kYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTg wNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIi wiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcX Vlc3QiXV19 \ -F x-amz-algorithm=AWS4-HMAC-SHA256 \ -F key=README.md \ # <FILE> 为需要上传的Object -F file=@<FILE>
•list查看所创建下载或上传的所有RUL./mc share list [download/upload]
部署从云市
您可以从云市⼀键式部署Minio应⽤(点击获取)。
从云帮
您也可以使⽤docker run命令在云帮⾃⾏部署:
•进⼊云帮-创建应⽤界⾯选择从Docker镜像创建应⽤
•编辑docker run命令docker run -p 9000:9000 \ -e MINIO_ACCESS_KEY=<Custom Access Key> \ -e
MINIO_SECRET_KEY=<Custom Secret Key> \ -v /mnt/data:/data \ -v /mnt/config:/root/.minio \
minio/minio:RELEASE.2018-04-19T22-54-58Z \ server /data访问Minio对象存储时,验证所需要的Access Key 与Secret Key,可以根据传⼊的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY⾃定义⽣成。
•我们对云市的Minio应⽤的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY做了初始化⼯作,您可以在应⽤控制台-应⽤依赖信息获取变量对应值,⽤于登录Minio应⽤。
分布式Minio 进⼀步了解Rainbond v3.5.1
好⾬Rainbond(云帮)是⼀款以应⽤为中⼼的开源PaaS,深度整合基于Kubernetes的容器管理、Service Mesh微服务架构最佳实践、多类型CI/CD应⽤构建与交付、多数据中⼼资源管理等技术,为⽤户提供云原⽣应⽤全⽣命周期解决⽅案,构建应⽤与基础设施、应⽤与应⽤、基础设施与基础设施之间互联互通的⽣态体系,满⾜⽀撑业务⾼速发展所需的敏捷开发、⾼效运维和精益管理需求。
•⽹站: www.rainbond
•试⽤Rainbond公有云: drain
•Github: github/goodrain/rainbond
•码云: gitee/rainbond/Rainbond
•: 添加“qingguo-wei”并接受邀请⼊
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论