当前位置:首页 > AI技术 > 正文内容

优化Nginx 边缘缓存利 open file cache 提升磁盘读取案例|Duuu笔记

admin3天前AI技术9

性能进阶技巧:本文深入解析

启用 open_file_cache 可显著减少 open()、stat() 等系统调用开销,通过缓存文件元信息和 fd 提升小文件高频访问性能;需配合 max、inactive、valid、min_uses、errors 等参数协同配置,并与 sendfile、proxy_cache 等机制分层协作。

启用

open_file_cache

能显著减少重复打开文件的系统调用开销,尤其在静态资源高频访问、小文件多、磁盘 I/O 成瓶颈的边缘缓存场景下效果明显。它不是直接缓存文件内容,而是缓存文件的元信息(如 inode、大小、修改时间、权限)和打开后的文件描述符(fd),从而跳过

open()

stat()

等系统调用。

核心参数配置与作用

open_file_cache

需配合多个子指令协同工作,单独启用无效:

open_file_cache max=10000 inactive=60s

:最多缓存 10000 个文件条目;若某文件在 60 秒内未被再次访问,则标记为非活跃,等待淘汰

open_file_cache_valid 60s

:每隔 60 秒主动检查一次缓存中文件的元信息是否仍有效(比如是否被删除或修改),避免返回过期或不存在的文件

open_file_cache_min_uses 2

:仅当一个文件在

inactive

时间窗口内被访问 ≥2 次,才保留在缓存中;防止临时文件或冷数据挤占空间

open_file_cache_errors on

:把文件不存在(ENOENT)、无权限(EACCES)等错误也缓存起来,避免对同一非法路径反复触发系统调用

适用场景与性能收益判断

该机制在以下情况提升最明显:

大量小静态文件(如图标、JS/CSS、图片缩略图)被频繁请求,且多数请求命中同一组文件

后端存储为机械硬盘(HDD)或网络存储(NFS/Ceph),

stat()

open()

延迟高

启用了

try_files

多级 fallback(如

try_files $uri $uri/ /index.html

),导致单次请求多次尝试打开不同路径

使用了

alias

或复杂

root

拼接,路径解析后需频繁查文件系统

可通过

strace -e trace=open,stat,close nginx -t

perf record -e syscalls:sys_enter_openat,syscalls:sys_enter_statx

观察系统调用频次变化来验证效果。

Action Figure AI

借助Action Figure AI的先进技术,瞬间将照片转化为定制动作人偶。

下载

常见误配与规避建议

不合理的配置反而引发问题:

避免

inactive

过长(如设为数小时)

:缓存长期驻留已删除或变更的文件句柄,可能造成“文件已删除但连接仍可读”等异常,尤其在滚动更新静态资源时

不要盲目调大

max

:超出系统

ulimit -n

限制会导致 Nginx 启动失败;每个缓存项约占用 1KB 内存,10000 条 ≈ 10MB,需结合内存预算评估

禁用

open_file_cache_errors

会放大恶意扫描影响

:攻击者反复请求

/wp-admin/.htaccess

等不存在路径,将触发大量无意义

stat()

缓存不感知文件内容变更 —— 修改文件后需依赖

open_file_cache_valid

定期刷新元信息,不能替代

etag

last-modified

缓存控制

与其它缓存机制的协作关系

open_file_cache

是底层文件系统访问优化,与上层缓存互不冲突,应叠加使用:

搭配

sendfile on

:利用零拷贝传输,避免用户态读取再写入,进一步降低 CPU 和内存拷贝开销

搭配

tcp_nopush on

:确保

sendfile

发送的数据包满载,减少网络小包

不影响

proxy_cache

fastcgi_cache

:后者缓存响应体,前者加速源文件访问,二者分别作用于不同层级

expires

/

add_header Cache-Control

协同:前者决定客户端能否复用本地副本,后者决定 Nginx 自身访问后端文件是否高效

相关文章

【大数据分析 | 深度学习】在Hadoop上实现分布式深度学习

一、Submarine(Hadoop生态系统) (一)Submarine 介绍 (三)Submarine 属于 Hadoop 生态系统 (四)Submarine 官网版...

Unity 机器学习 基础

ML-Agents 资产导入 Unity 场景创建 Unity 代码部分 Anaconda 执行 rollerball_config.yaml 机器学习逻辑处理...

使用 ESP

针对该分类问题,我们使用了 Kaggle 手势识别数据集 中的一个开源数据集。原始数据集包括 10 个类别,我们只使用了其中 6 个。这些类别更容易识别,且日常生活中更有用,如...

神经网络中的单层神经网络

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 看一个经典的神经网络。这是一个包...

跨平台机器学习:ML.NET架构及应用编程

平台上的一个机器学习框架,它提供了一套丰富的算法和工具,使得开发人员可以轻松地构建和部署机器学习模型。支持多种编程语言,包括等,这使得它成为跨平台机器学习的理想选择。的架构主要包括三个部分:数据读取、...

bp神经网络是什么网络,神经网络和bp神经网络

1、前馈神经网络:一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈。 2、BP神经网络:是一种按照误差逆向传播...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。