本发明涉及文件处理,尤其涉及一种多网络环境的访问对象存储方法。
背景技术:
1、通过并行文件模块可以实现高效的文件传输和共享。并行文件模块是一种专门设计用于处理大规模数据并行访问的文件模块,它可以利用多台计算机的存储和处理能力来加速文件的读写和传输。
2、可以通过部署并行文件系统来实现文件的高速传输和共享。通过并行文件系统,多台计算机可以同时访问和传输文件,从而实现并行数据传输和处理。
3、中国专利公开号:cn116527650a,公开了一种文件处理方法、装置、系统和电子设备,其中该方法应用于客户端,该方法包括:获取待写入的第一文件数据;向网关发送第一请求指令,获取第一对象列表;基于第一对象列表切分第一文件数据,确定切分后的第一文件数据与第一对象列表中的对象的对应关系,其中,切分后的第一文件数据与第一对象列表中的对象一一对应;将切分后的第一文件数据和对应关系发送至网关;由此可见,上述技术方案存在以下问题:未考虑到对数据传输的实际情况进行实时监控,影响了数据传输的稳定性,进而影响了数据传输的效率。
技术实现思路
1、为此,本发明提供一种多网络环境的访问对象存储方法,用以克服现有技术中未考虑到对数据传输的实际情况进行实时监控,影响了数据传输的稳定性,进而影响了数据传输的效率的问题。
2、为实现上述目的,本发明提供一种多网络环境的访问对象存储方法,包括:
3、针对多局域网中的各设备对ip的访问次数进行监控,根据单个设备针对同一ip在预设检测时长的访问次数对访问对象的运行状态是否符合预设标准进行判定;
4、在无法判定访问对象的运行状态是否符合预设标准时,根据预设历史时长内单个设备针对单个ip的访问次数与预设历史时长的比值二次确定访问对象的运行状态是否符合预设标准;
5、在二次判定访问对象的运行状态不符合预设标准时,对单个设备与单个ip对应的各设备的关联度进行存储,或根据单个设备与单个ip传输的数据的数据量与传输时长的比值确定针对并行文件模块的处理方式;
6、在初次判定访问对象的运行状态不符合预设标准时,根据预设检测时长内各局域网内各设备的各传输速率的平均值确定针对单个设备的处理方式;
7、在判定访问对象的运行状态符合预设标准时,控制单个设备持续使用当前的运行参数运行,或在完成针对单个设备或并行文件模块的调节后,控制单个设备或并行文件模块使用调节后的运行参数运行。
8、进一步地,分析模块根据单个设备在预设检测时长内针对单个ip的访问次数确定访问对象的运行状态是否符合预设标准;
9、在无法判定访问对象的运行状态不符合预设标准时,根据历史数据中预设历史时长内单个设备针对单个ip的访问次数与预设历史时长的比值重新确定访问对象的运行状态是否符合预设标准;
10、在判定访问对象的运行状态不符合预设标准时,根据计算的预设检测时长内各局域网内各设备的各传输速率的平均值确定针对单个设备的处理方式。
11、进一步地,所述分析模块将历史数据中预设历史时长内单个设备针对单个ip的访问次数与预设历史时长的比值记为访问频率,分析模块根据访问频率重新确定访问对象的运行状态是否符合预设标准;
12、在判定访问对象的运行状态不符合预设标准时,根据单个设备与单个ip传输的数据的数据量与传输时长的比值确定针对并行文件模块的处理方式,或,分别获取和存储单个设备与对应的若干待匹配设备的关联度,其中,各待匹配设备均与单个ip对应。
13、进一步地,分析模块获取单个设备与对应的若干待匹配设备的关联度的过程为,获取单个ip,并确定与单个ip对应的各设备,以分别将各设备标记为待匹配设备;
14、分析模块依次将单个设备的数据与各待匹配设备的数据进行比对,依次获取重合数据的数据量占单个设备中的总数据的数据量的数据比重;依据数据比重将各待匹配设备降序排列,并根据排列顺序确定单个设备与各待匹配设备的关联度;其中,数据比重与关联度呈正比;
15、在完成对关联度的确定后单个设备依据与各待匹配设备的关联度对ip进行访问。
16、进一步地,针对单次数据的传输所述分析模块将计算的单个设备与单个ip传输的数据的数据量与传输时长的比值记为传输速率,并根据求得的传输速率确定针对并行文件模块的文件处理方式,包括:
17、根据第二预设访问频率与所述访问频率的差值将单个设备针对各ip的缓存容量调节至对应值;
18、根据传输速率与预设传输速率的差值将分片传输过程中单个数据片的数据量调节至对应值。
19、进一步地,所述分析模块将计算的预设检测时长内各局域网内各设备的各传输速率的平均值记为平均传输速率,并根据平均传输速率确定针对单个设备的设备处理方式,包括:
20、根据预设平均传输速率与平均传输速率的差值将并行文件模块中针对单个数据的数据副本的数量调节至对应值;
21、分别获取和存储单个设备与对应的若干待匹配设备的关联度。
22、进一步地,所述分析模块将第二预设访问频率与访问频率的差值记为访问差值,分析模块基于求得的访问差值设有若干单个设备针对各ip的缓存容量的缓存调节方式,各缓存调节方式对单个设备针对各ip的缓存容量的调节幅度均不相同。
23、进一步地,所述分析模块将传输速率与预设传输速率的差值记为速率差值,分析模块基于求得的速率差值设有若干针对单个数据片的数据量的调节方式,且各数据量调节方式针对单个数据片的数据量的调节幅度均不相同。
24、进一步地,所述分析模块将预设平均传输速率与平均传输速率的差值记为传输差值,分析模块基于求得的传输差值设有针对单个数据的数据副本的数量的调节方式,且各数量调节方式针对单个数据的数据副本的数量的调节幅度均不相同。
25、进一步地,所述分析模块完成针对单个设备对各ip下载文件时的缓存容量的调节时,将调节后的缓存容量与预设最大缓存容量进行比对,若调节后的缓存容量小于等于预设最大缓存容量,分析模块判定使用调节后的缓存容量作为单个设备的运行参数;若调节后的缓存容量大于预设最大缓存容量,分析模块判定使用预设最大缓存容量作为单个设备的运行参数,并使用第一预设数量调节系数将并行文件模块中针对单个数据的数据副本的数量调节至对应值。
26、与现有技术相比,本发明的有益效果在于,sdk模块将并行文件模块的文件上传、文件下载、文件删除和文件签名的功能进行集成;根据单个设备在预设检测时长内针对单个ip的访问次数对访问对象的运行状态是否符合预设标准进行判定,在访问次数大于第二预设访问次数时,因单个设备在短时间内频繁对同一ip进行访问,此时判定访问对象出现异常,获取预设检测时长内各局域网内各设备的各传输速率的平均值,以确定是各局域网内的全部设备均存在异常情况,或仅单个设备存在异常;在访问次数小于等于第二预设访问次数且大于第一预设访问次数时,此时无法仅根据当前获取的访问次数对访问对象的状态进行判定,此时获取预设历史时长内单个设备针对单个ip的访问次数与预设历史时长的比值,以进一步将该比值与访问次数综合对访问对象的运行状态是否符合预设标准进行确定,在有效提高了针对数据传输情况的确定的灵敏度的同时,及时针对访问对象的异常情况进行确定,进而提高了数据传输的稳定性。
27、进一步地,根据访问频率与访问次数综合确定访问对象的运行状态,确定仅单次频率对单个ip进行访问,或在历史记录中存在多次频繁访问的情况;在访问频率小于等于第二预设访问频率且大于第一预设访问频率时,无法确定由于何种情况导致访问对象出现异常,在此情况下根据单个设备与单个ip传输的数据的数据量与传输时长的比值具体确定如何对访问对象进行处理;在访问频率大于所述第二预设访问频率时,在此情况下因历史记录中存在多次针对单一ip进行多次重复访问的现象,此时为各局域网内出现ip重复使用的现象,导致ip冲突,进而出现用户多次访问同一ip以达到获取正确数据的目的,在此情况下ip对应的设备进行管理,以提高数据调取的效率,进一步有效提高了数据传输的稳定性。
28、进一步地,在传输速率小于等于预设传输速率的情况下因网络卡顿导致单个设备针对同一ip的访问次数较为频繁,此时将单个设备针对单个ip的缓存容量进行调高,以减少对ip的请求次数,提高数据的访问速度和性能,减轻网络负载。当数据在缓存中找到时,就不必再从ip重新获取,可以直接从缓存中读取,从而减少了网络传输的数据量。对于单个设备针对单个ip下载文件时的缓存容量,为单个设备在下载文件时能够临时存储在本地的数据量的上限。在传输速率大于所述预设传输速率的情况下,传输速率符合预设标准,但设备仍多次访问ip,在此情况下因多设备同时对同一ip进行访问造成设备接收到的数据损坏或丢失,在此情况下对数据进行分片传输,并确定针对具体的单个数据片的数据量的调节。
29、进一步地,获取各局域网内各设备的各传输速率的平均值,以确定各局域网环境下数据传输的具体情况,在平均传输速率小于等于预设平均传输速率时,并行文件模块下的各设备均存在访问文件速度过慢的情况,此时对数据副本的数量进行调低,以减少存储资源的使用,提高各设备对文件的访问速度;在传输速率大于预设平均传输速率时,在此情况下仅单个设备存在多次访问同一ip的情况,此时为各局域网内出现ip重复使用的现象,导致ip冲突,进而出现用户多次访问同一ip以达到获取正确数据的目的,在此情况下ip对应的设备进行管理,以提高数据调取的效率,进一步有效提高了数据传输的稳定性。
1.一种多网络环境的访问对象存储方法,其特征在于,包括:
2.根据权利要求1所述的多网络环境的访问对象存储方法,其特征在于,分析模块根据单个设备在预设检测时长内针对单个ip的访问次数确定访问对象的运行状态是否符合预设标准;
3.根据权利要求2所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块将历史数据中预设历史时长内单个设备针对单个ip的访问次数与预设历史时长的比值记为访问频率,分析模块根据访问频率重新确定访问对象的运行状态是否符合预设标准;
4.根据权利要求3所述的多网络环境的访问对象存储方法,其特征在于,分析模块获取单个设备与对应的若干待匹配设备的关联度的过程为,获取单个ip,并确定与单个ip对应的各设备,以分别将各设备标记为待匹配设备;
5.根据权利要求4所述的多网络环境的访问对象存储方法,其特征在于,针对单次数据的传输所述分析模块将计算的单个设备与单个ip传输的数据的数据量与传输时长的比值记为传输速率,并根据求得的传输速率确定针对并行文件模块的文件处理方式,包括:
6.根据权利要求5所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块将计算的预设检测时长内各局域网内各设备的各传输速率的平均值记为平均传输速率,并根据平均传输速率确定针对单个设备的设备处理方式,包括:
7.根据权利要求6所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块将第二预设访问频率与访问频率的差值记为访问差值,分析模块基于求得的访问差值设有若干单个设备针对各ip的缓存容量的缓存调节方式,各缓存调节方式对单个设备针对各ip的缓存容量的调节幅度均不相同。
8.根据权利要求7所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块将传输速率与预设传输速率的差值记为速率差值,分析模块基于求得的速率差值设有若干针对单个数据片的数据量的调节方式,且各数据量调节方式针对单个数据片的数据量的调节幅度均不相同。
9.根据权利要求8所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块将预设平均传输速率与平均传输速率的差值记为传输差值,分析模块基于求得的传输差值设有针对单个数据的数据副本的数量的调节方式,且各数量调节方式针对单个数据的数据副本的数量的调节幅度均不相同。
10.根据权利要求9所述的多网络环境的访问对象存储方法,其特征在于,所述分析模块完成针对单个设备对各ip下载文件时的缓存容量的调节时,将调节后的缓存容量与预设最大缓存容量进行比对,若调节后的缓存容量小于等于预设最大缓存容量,分析模块判定使用调节后的缓存容量作为单个设备的运行参数;若调节后的缓存容量大于预设最大缓存容量,分析模块判定使用预设最大缓存容量作为单个设备的运行参数,并使用第一预设数量调节系数将并行文件模块中针对单个数据的数据副本的数量调节至对应值。