How to get the contents of a webpage in a shell variable?

在Shell脚本中获取网页内容通常使用的工具是curl或wget。这两个命令都能够从命令行下载网页或者API的内容，并将其存储到变量中。以下是如何使用这些工具将网页内容存储到Shell变量中的步骤：

使用curl命令

curl是一个常用的命令行工具，用于从服务器传输数据。它支持多种协议，包括HTTP、HTTPS等。要将网页内容赋值给Shell变量，可以使用如下命令:

bash
content=$(curl -s http://example.com)
echo "$content"

这里，-s参数是让curl在运行时不输出进度条和错误信息。http://example.com是你想要下载内容的网页地址。

使用wget命令

wget也是一个广泛使用的免费网络工具，它可以从网上下载文件。与curl不同的是，wget是专门用来下载内容的，而curl提供了更多的功能。将网页内容赋值给变量的命令如下：

bash
content=$(wget -qO- http://example.com)
echo "$content"

这里，-q表示静默模式，不显示wget的下载进度与错误信息。-O-表示将下载的内容输出到标准输出。

示例应用

假设我们需要获取一个天气预报的API的内容，并解析某些数据。使用curl可以这样操作：

bash
weather=$(curl -s "http://api.weatherapi.com/v1/current.json?key=你的API密钥&q=NewYork")
temperature=$(echo $weather | jq '.current.temp_c')
echo "Current temperature in New York is $temperature °C"

这里使用了jq工具来解析JSON内容，提取出温度数据。

总而言之，使用curl或wget可以轻松地在Shell脚本中获取网页内容，并通过各种文本处理工具对数据进行进一步的处理。