总结下自己安装fastdfs遇到的问题，及部署过程参考文章：https://blog.csdn.net/weixin_68570147/article/details/126890488https://blog.csdn.net/corn_bean/article/details/124879...

来源：博客园 2024-05-07 14:29 35

总结下自己安装fastdfs遇到的问题，及部署过程参考文章：https://blog.csdn.net/weixin_68570147/article/details/126890488https://blog.csdn.net/corn_bean/article/details/124879...

来源：博客园 2024-05-07 11:29 45

支持FastDFS、服务器、OSS等上传方式介绍在实际的业务中，可以根据客户的需求设置不同的文件上传需求，支持普通服务器上传+分布式上传（FastDFS）+云服务上传OSS（OSS）软件架构为了方便演示使用，本项目使用的是前后端不分离的架构前端：Jquery.uploadFile...

来源：博客园 2024-04-08 18:29 95

如何把maven不能引入的依赖安装到本地Repository：1.比如fastdfs-client-java.org.csourcefastdfs-client-java1.29FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：...

来源：博客园 2024-03-28 19:29 65

深搜（DFS）与广搜（BFS）在查找二叉树某个节点时，如果把二叉树所有节点理理解为解空间，待找到那个节点理解为满足特定条件的解，对此解答可以抽象描述为：在解空间中搜索满足特定条件的解，这其实就是搜索算法（Search）的一种描述。当然也有其他描述，比如是“指一类用于在数据集合中查找特定项或解决问题....

来源：博客园 2023-10-26 11:00 50

wangyi记录一次某大厂笔试的AC过程给定一个二维矩阵，代表一片海域，海域由土地(0)和水域(1)组成，岛屿是由最大(上下左右)4个方向的联通的土地(0)组成的土地群，封闭岛屿则是指完全由1包围的岛屿，请找出封闭岛屿的数量。题中给的图可以看到外围的1已经用蓝色标出来的了，但是真正是封...

来源：博客园 2023-08-20 17:30 212

源创会，线下重启！2023年7月1日深圳站—基础软件技术面面谈！免费票限时抢购！1背景随着Flink实例的迁移下云以及新增需求接入，自建Flink平台规模逐渐壮大，当前总计已超4万核运行在自建的K8S集群中，然而Flink任务数的增加，特别是大状态任务，每次Checkpoint时会产生脉冲...

来源：开源中国 2023-06-29 14:30 158

1、背景在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问....

来源：博客园 2023-06-05 13:00 78

附件用的fastdf上传和下载的，本地开发时就没考虑过多文件上传就会有并发的问题，比如多个只上传成功了一个或者上传了但是文档内容缺失了，变成0字节。呵。。都是一次难忘的经历。经过本地模拟大批量的上传下载，发现fastdf是在启动时就初始化了tracker和stroge,每次调用过他的接口后都会关.....

来源：博客园 2023-03-28 20:00 52

背景现状HDFS全称是HadoopDistributedFileSystem，其本身是ApacheHadoop项目的一个模块，作为大数据存储的基石提供高吞吐的海量数据存储能力。自从2006年4月份发布以来，HDFS目前依然有着非常广泛的应用，以字节跳动为例，随着公司业务的高速发展，目前HDF...

来源：开源中国 2022-07-28 16:00 220

摘要：本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。本文分享自华为云社区《开源工作流引擎Azkaban在MRS中的实践》，作者：啊喔YeYe。环境输入实践版本：Apacheazkaban4.0.0（以单机版举例，集群版本配置过程类似），MRS3.1.0...

来源：开源中国 2022-05-18 12:00 216

vivo互联网大数据团队-LvJiaHadoop3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。在HDFS方面，支持了ErasureCoding、Morethan2NameNodes、Router-BasedFederation、StandbyNameNodeRead、Fa...

来源：开源中国 2022-05-16 17:00 203

作者：vivo互联网服务器团队-ZhouChangqing一、FastDFS原理介绍FastDFS是一个C语言实现的开源轻量级分布式文件系统 。支持Linux、FreeBSD、AID等Unix系统，解决了大容量的文件存储和高并发访问问题，文件存取实现了负载均衡，适合存储4KB~500MB之间的...

来源：开源中国 2022-04-27 12:30 333

摘要：HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。本文分享自华为云社区《HDFS为何在大数据领域经久不衰？》，作者：JavaEdge。1、概述1.1简介Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDF...

来源：开源中国 2022-04-11 15:00 184

【概述】上一篇文章讲解了，在一定DN节点规模，一定block数据量下的并发写文件的优化问题。在这种节点、数据量规模的集群中，当HDFS全部重启（nn+dn全部重启），或者两个NN都重启后，需要经过较长时间，才能真正对外提供服务。那么nn启动过程中都干了些啥，主要耗时点在哪，以及应当如...

来源：开源中国 2022-01-26 14:00 108

【背景】前段时间在HDFS的dn节点规模1000+的环境中，并且有1亿block数据量的情况下，进行大量并发写文件测试时，发现部分客户端写异常并导致最终仅写入了部分数据，本文就该问题进行分析总结。【表面现象分析】出现该问题时，首先查看了客户端的日志，发现这些客户端的日志中，都出现...

来源：开源中国 2022-01-17 15:00 168