npm 包 x-ray-http-cache 使用教程

npm (Node Package Manager) 是一个非常方便的 Node.js 包管理器，允许开发者通过简单的命令行界面来安装和管理个人或开源的代码包。其中一个常用的包就是 x-ray。x-ray 是一个基于 Node.js 的爬虫框架，使得开发者能够轻松地从网页中获取数据。然而，如果你经常使用 x-ray，你会发现有些网站返回的数据变化不居，毫无规则可言，这时候 x-ray 就显得有些无力。因此，这时候我们可以考虑使用 x-ray-http-cache 包，帮助我们缓存爬取结果，优化我们的爬取方案。

本篇文章将介绍如何安装和使用 x-ray-http-cache，同时分享更多的诀窍和技巧帮助你更好地使用 x-ray-http-cache 来构建自定义爬虫。

安装

首先，我们需要先安装 Node.js 和 npm，这个部分请自行查看相关资料。安装完毕后，我们在终端运行以下命令安装 x-ray 和 x-ray-http-cache：

--- ------- ----- ------
--- ------- ---------------- ------

使用

下面是一个简单的 x-ray 爬虫：

----- ---- - -----------------
----- - - -------
----------------------- ---------------------- ------ -
  -------------------
---

这个爬虫可以在控制台输出 Google 的标题。现在，我们来修改代码，使用 x-ray-http-cache 缓存输出结果。x-ray-http-cache 通过类似于 Promise 的 resolve，省略了传统 x-ray callback 回调函数的使用。代码如下：

----- ---- - -----------------
----- - - -------------------------------------------
  ---- -- - -- - -- - -- -- -- ----
----

----------------------- --------
  ----------- -- -------------------
  ---------- -- ------------------

我们看到 Xray() 函数加上了 driver(require('x-ray-http-cache')({...})) 的调用，这个调用返回了一个新的 x-ray 实例。参数 { ttl: 60 * 60 * 24 * 30 } 表示输出结果将被缓存 30 天。我们可以通过传递一个可选的第二个参数来保存多个请求的缓存，并为它们设置不同的过期时间。

API

下面是 x-ray-http-cache 的 API：

xrayHttpCache(options)

返回一个 request 对象工厂函数，用于创建 http 请求 response 缓存器。选项需要包含 path 属性与 ttl 属性，定义缓存文件读取路径以及设置过期时间，如下所示：

----- ----- - -------------------------------------
----- ---- - -----------------
------------------------------

注意：该模块通过文件读取与写入实现 http 请求 response 数据的缓存，这会导致我们无法支持 http2 协议的 request 对象。

cache.defaults(options)

使用默认选项创建实例。

cache(options)

返回包含单个的方法 driver，该方法涵盖了所有 x-ray API，如下所示：

------- ---- ----- --
  ---------
    ---- ------
    -------- ------
    -------- -
      ---- -----
    -
  --

优化

减少缓存时间

你不应该设置一个过长的缓存时间，原因是该缓存数据迟早会过期无用，如果采用自动处理机制（时间和空间复杂度都很高），系统会不断地占用更多的空间，并在需要时花费更多的 CPU 时间来回收旧缓存。

因此，最好的缓存时间长度应该符合网站自身的数据总量与数据变化。过长或过短的时间长度都不合适，例如在 Google 的网站中缓存一年的数据没有任何意义，而缓存秒杀商品则需要非常短的时间，以保证及时更新。

使用多个请求缓存

在有些情况下，我们需要为不同的请求设置不同的缓存时间，这时候用默认的 ttl 并不能满足要求。你可以通过在定义 options.path 的时候使用一个通用缓存目录来实现这个目的。

手动清除缓存

当你在生产环境运行应用时，你可能会遇到网站更新的情况，如果缓存数据过期但没有及时过期，就会导致软件出现极大的偏差甚至错误。因此，我们需要手工清除缓存数据。

x-ray-http-cache 提供了方法可以手动清理您的缓存。他们分别是：

  • clear() 以默认的路径清除所有缓存。
  • clearCacheForPath(path) 清除特定路径下的缓存。

自定义缓存路径

默认情况下，缓存数据会被写入 x-ray-http-cache 包目录下。但在多个应用程序之间使用该包时，你应该选择一个全局可写的配置文件中的缓存子目录，并将其作为 options.path 的一部分传递给 x-ray-http-cache。

----- ---- - ----------------
----- ----- - ----------------------------- ----- ------------------- ---

-- ---- ------------- -------
------------------------------
  ----- ------------------------------ ---------------------------
----

示例代码

下面是一个复杂的示例代码，在这个示例中，我们将引入多个包，构建更加完整的爬虫。你可以根据自己的需要，选择适合自己的包，构建更加细致的爬虫。

----- ---- - -----------------
----- ------- - -------------------
----- ---- - ----------------
----- -- - --------------------
----- ----- - --------------------------
----- ------ - ------------------
----- - - ----------------------
----- -- - --------------
----- -------- - ----------------------
----- ---------- - -------------------------


----- ------ - ------------------------------ -
  ---------- ----------------------------------
------------

----- -------- - ------------ -- ---- -- -
  --------------- ------ --------------
  ------ -------------------------------------------------------------
    -------- -- ----------------------------------------- ---------------------
    -------------------
    -------------------------------------------------
    ---------------- -- ---------------------- ---------------------------------------
    ---------- -- ---------- -- -------------- --- -- - - ---- - ----------------
    --------------------------------
    ---------------------------------
    ------------ -- ------- --- ------- ---- ---- -------- --------
    ------------ -- ----------------- - ----
--

----- ------ - -
  ---------- -------------- -------------------- --------------- -----------------------
  -------- --------------
  ---------- --- -- ------------------------------------ ----
  ---------- --- -- ----------------
  ---------- ---- -- -
    ----------- --------
    ----- ------ - -------------------------- - -- ------------------- --- -------
    ------ ------------------------------ -- -
      -- -- --- ------------ -
        ------ ---------
      -
      ------ -----------------------------------
      --
      ------------ -- ----------------------------------------------------
      ------------ -- ---------------
      ------------------------------ ----------- ---- -- ---------------------- ----- -------
  --
  ------------- --- -- ------------------------------------------------------- -- ---------------------------------------
  ---------------------- ------------ -- ---------- -- -
    ------------- ----- ------ ------------- ------------
    ------ -----------------------------------
      -------------- -- ------------ ---------------- ----------- ---- ------------------------ ----
  --
  ---------------- --- -- -
    --------------- ----------
    ------ ----------- -
      ------ ------------- --
      ------------ ------------- ------------- - ---------- - -----
      ---- ----- - ----------
    -----
  --
  ----------------- ------- -- -
    --------------- -----------
    ----- --- - ----------------------------------------
    ------- - ------------------------ ------- -  ----------- ------
    ------ -------------------------------------------
      ---------------- -- -
        ------- - ----------------- ----------------------- ------------------ -----------
        ------ ----------------------------------------------------
      --
      ------------ -- --------------------
      ----------- -- -
        - ----- ---------------------- ---------------- ----- ----------------------- ----- -- --
        - ----- ---------------------- ---------------- ----- --------------------------- --
        - ----- ---------------------- ------------- ----- ------------------------------------------------ -- ------------------ -
      --
      ------------- -- --- ---------------------- --
        --------------------------- ----- ------------ ------------------------------------------------------ -- --
          --------------------------------- ----- ------------ ----------- ---------- --- -- -
            -- ----- -
              ----------------------
            - ---- -
              -----------------------
              ------------------------------------ ----- ------------ ------------
            -
          ---------------
      ------- -- ---------
  -
--


----- ---- - -------------------------
  - ---- -------------------- ----- ---------------------- --
  - ---- --------------------------- ----- ----------------------------- --
  - ---- ---------------------- ----- ------------------------ --
  - ---- ----------------------------- ----- ------------------------------- -
--
-------------- -- ---------------------------------------------- -- - -- -------------------------------------
--------------------------
-----------
  -- -- ---
  ----- -- ---------------------
  -- -- -
    --------------------
    ---------------
  ---


-------- --------------- -
  ------------- --- --- ------ -- ------ ---
  ------ --
-

结论

本篇文章介绍了 npm 包 x-ray-http-cache 的使用方法、优化技巧以及示例代码。希望这篇文章能帮助读者更好地认识和使用 x-ray-http-cache，提高爬虫的质量和效率。

来源：JavaScript中文网 ，转载请联系管理员！ 本文地址：https://www.javascriptcn.com/post/6006711b8dd3466f61ffe86b

阅读全文

猜你喜欢

  • GraphQL：用 Connection 优化节点查询

    前言 GraphQL 是一种由 Facebook 开发的数据查询和操作语言，它提供了一种更高效、更灵活的方式来获取和操作数据。GraphQL 的一个重要特性就是可以精确地指定需要查询的数据，避免了传统...

    1 个月前
  • Server-sent Events 的浏览器支持情况及解决方法

    什么是 Server-sent Events？ Server-sent Events（简称 SSE）是一种基于 HTTP 的服务器推送技术，它可以让服务器向客户端发送事件流，客户端通过监听这个事件流来...

    1 个月前
  • ECMAScript 2020（ES11）中的新特性：BigInt 转换

    在 ECMAScript 2020（ES11）中，新增了一种数据类型：BigInt。它是一种可以表示任意大整数的数据类型，可以用来解决 JavaScript 中整数运算的精度问题。

    1 个月前
  • CSS Reset 在 IE6、IE7 等老浏览器中的应用

    什么是 CSS Reset CSS Reset 是一种通过重置浏览器默认样式的方式，消除不同浏览器之间的差异，从而实现更加一致的样式效果的技术手段。在前端开发中，使用 CSS Reset 可以让我们更...

    1 个月前
  • ES6 中的类继承和原型链之间的关系解析

    在 ES6 中，引入了 class 关键字，使得 JavaScript 也具备了面向对象编程的能力。在类继承和原型链之间，有着密切的关系。本文将详细解析 ES6 中的类继承和原型链之间的关系，并提供一...

    1 个月前
  • 如何使用 Redux 处理 React 应用中的表单数据

    前言 在开发 React 应用时，表单数据的处理是非常常见的需求。然而，由于 React 的单向数据流和组件化特性，传统的表单处理方式可能会变得非常繁琐。而 Redux 作为一种状态管理工具，可以帮助...

    1 个月前
  • Redis 处理高并发的策略

    前言 随着互联网的发展，高并发已经成为了一个不可避免的问题。而 Redis 作为一款高性能的 NoSQL 数据库，也成为了处理高并发的重要工具之一。本文将会介绍 Redis 处理高并发的策略，并且会提...

    1 个月前
  • 响应式设计中的图片适配问题解决方案

    在响应式设计中，图片适配是一个比较棘手的问题。如果不加以处理，可能会导致图片在不同设备上显示不佳，影响用户体验。本文将介绍响应式设计中的图片适配问题，并提供解决方案。

    1 个月前
  • 解析 TypeScript 中 encapsulation（封装）的实现方式

    解析 TypeScript 中 encapsulation（封装）的实现方式 在 TypeScript 中，封装（encapsulation）是一种重要的面向对象编程的特性。

    1 个月前
  • PM2 崩溃处理：如何避免由于 PM2 进程奔溃导致应用崩溃？

    在前端开发中，我们经常使用 PM2 进行进程管理和部署。但是，当 PM2 进程崩溃时，应用也会跟着崩溃。如何避免这种情况的发生？本文将介绍 PM2 崩溃处理的方法和技巧，帮助您更好地管理和部署应用。

    1 个月前
  • 在 Node.js 中运行 HTTPS 服务器的方法

    Node.js 是一个非常流行的 JavaScript 运行时环境，它可以让我们通过 JavaScript 编写服务器端应用程序。在开发 Web 应用程序时，安全性是非常重要的。

    1 个月前
  • 详解 ECMAScript 2018 中的三个新操作符及其用法

    ECMAScript 2018 (简称 ES2018) 是 JavaScript 语言的最新标准，其中包含了许多新特性和语法糖。本文将详细介绍其中的三个新操作符及其用法，分别是：扩展运算符、剩余运算符...

    1 个月前
  • 解决 Enzyme 测试 React Native 组件时动画无法渲染的问题

    在开发 React Native 应用时，我们经常需要使用 Enzyme 来测试组件。然而，当我们测试涉及到动画的组件时，我们可能会遇到一些问题：动画无法渲染，导致测试失败。

    1 个月前
  • 使用 React Router 打造复杂而强大的 SPA 应用

    随着 Web 技术的不断发展，单页应用（Single Page Application，SPA）已经成为了现代 Web 应用的主流。SPA 通过异步加载数据和动态更新页面，提供了更快速、更流畅的用户体...

    1 个月前
  • AngularJS 中如何使用 ng-repeat 中的 filter 来过滤数据

    在 AngularJS 中，ng-repeat 指令是用于循环遍历数组或对象并生成 HTML 元素的常用指令。而 ng-repeat 指令中的 filter 属性则是用于过滤数据的功能。

    1 个月前
  • 如何在 Chai 中验证 Promise.all

    如何在 Chai 中验证 Promise.all 在前端开发中，Promise.all 是一个非常常用的功能，它可以让我们在多个异步操作完成后再执行一些操作，这个功能在实际开发中非常实用。

    1 个月前
  • Mongoose 实现数据批量更新的方式详解

    前言 在前端开发中，经常会涉及到对数据库中的数据进行批量更新的操作。而 Mongoose 是一款 Node.js 平台下的 MongoDB 对象模型工具，它提供了一种方便的方式来操作 MongoDB ...

    1 个月前
  • 在使用 lit-element 的时候，如何解决麻烦的 Shadow DOM 的变量传递问题

    前言 在使用 Web Components 的时候，我们通常会使用 Shadow DOM 来实现封装和样式隔离。然而，Shadow DOM 的封闭性也带来了一些挑战，其中之一就是变量传递问题。

    1 个月前
  • Tailwind CSS 如何实现动态换肤？

    随着互联网的发展，越来越多的网站和应用开始支持动态换肤功能。动态换肤不仅可以提升用户体验，还可以让用户在不同的环境下选择适合自己的主题，增加用户黏性和满意度。本文将介绍如何使用 Tailwind CS...

    1 个月前
  • 如何在 Less 中使用字符串操作函数？

    在前端开发中，样式表是不可或缺的一部分。而 Less 是一种动态样式语言，它是 CSS 的一种扩展。在 Less 中，我们可以使用字符串操作函数来处理字符串，这些函数可以帮助我们更加方便地操作字符串，...

    1 个月前

相关推荐

    暂无文章