【C#】获取url中的javascript.js中常量值window.pageData

admin

url="https://aiqicha.baidu.com/company_detail_31910473188481";
下面为：抓取url中的javascript函数中常量值window.pageData

private string Crawl()
{
    string url = req.Form["url"];
    string htmlContent = Submit.GetHTML(url);

    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(htmlContent);

    // 使用正则表达式查找包含 window.pageData 的脚本
    string scriptContent = null;
    foreach (var script in doc.DocumentNode.SelectNodes("//script"))
    {
        if (script.InnerText.Contains("window.pageData"))
        {
            scriptContent = script.InnerText;
            break;
        }
    }

    if (!string.IsNullOrEmpty(scriptContent))
    {
        // 正则表达式提取 window.pageData 的值
        var match = Regex.Match(scriptContent, @"window\.pageData\s*=\s*(\{.*?\});", RegexOptions.Singleline);
        if (match.Success)
        {
            string json = match.Groups[1].Value;

            // 解析 JSON 数据
            JObject pageData = JObject.Parse(json);
            return pageData.ToString();
        }
        else
        {
            return "Error: window.pageData match";
        }
    }
    else
    {
        return "Error: window.pageData null";
    }
}