如何在Linux下使用C++进行网络爬虫

蜗牛互联网技术资讯 2024-12-18 4 0

在 Linux 下使用 C++ 进行网络爬虫，你需要遵循以下步骤：

安装必要的库和工具：首先，确保你的 Linux 系统已经安装了必要的库和工具。对于网络爬虫，我们需要以下几个库：

libcurl：用于发送 HTTP 请求
libxml2：用于解析 HTML 文档
cmake：用于构建项目

在基于 Debian 的系统（如 Ubuntu）上，可以使用以下命令安装这些库：

sudo apt-get install libcurl4-openssl-dev libxml2-dev cmake build-essential

在基于 RHEL 的系统（如 CentOS）上，可以使用以下命令安装这些库：

sudo yum install libcurl-devel libxml2-devel cmake gcc-c++ make

创建一个新的 C++ 项目：创建一个新的目录来存放你的项目文件，然后进入该目录：

mkdir my_crawler
cd my_crawler

使用 CMake 构建项目：创建一个名为 CMakeLists.txt 的文件，其中包含以下内容：

cmake_minimum_required(VERSION 3.10)
project(my_crawler)

set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

find_package(CURL REQUIRED)
find_package(XML2 REQUIRED)

include_directories(${CURL_INCLUDE_DIRS} ${XML2_INCLUDE_DIRS})

add_executable(my_crawler main.cpp)

target_link_libraries(my_crawler ${CURL_LIBRARIES} ${XML2_LIBRARIES})

这个文件告诉 CMake 使用 C++11 标准构建项目，并找到 libcurl 和 libxml2 库。

编写网络爬虫代码：在项目目录中创建一个名为 main.cpp 的文件，其中包含以下内容：

#include <iostream>
#include <string>
#include <curl/curl.h>
#include <libxml/parser.h>

size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp) {
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main(int argc, char *argv[]) {
    if (argc != 2) {
        std::cerr << "Usage: my_crawler <url>" << std::endl;
        return 1;
    }

    CURL *curl = curl_easy_init();
    if (!curl) {
        std::cerr << "Failed to initialize curl" << std::endl;
        return 1;
    }

    std::string url = argv[1];
    std::string response;

    curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, &response);

    curl_easy_perform(curl);
    curl_easy_cleanup(curl);

    if (response.empty()) {
        std::cerr << "Failed to fetch URL: " << url << std::endl;
        return 1;
    }

    htmlDocPtr doc = htmlReadMemory(response.c_str(), response.size(), NULL, NULL, HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING);
    if (!doc) {
        std::cerr << "Failed to parse HTML" << std::endl;
        return 1;
    }

    xmlNode *root = xmlDocGetRootElement(doc);
    for (xmlNode *node = root->children; node; node = node->nextSibling) {
        if (xmlStrcmp(node->name, (const xmlChar*)"a") == 0) {
            xmlChar *href = xmlGetProp(node, (const xmlChar*)"href");
            if (href) {
                std::cout << "Link: " << (char*)href << std::endl;
                xmlFree(href);
            }
        }
    }

    xmlFreeDoc(doc);
    xmlCleanupParser();

    return 0;
}