如何在 LangChain 中设置 Bright Data

将 Bright Data 与 LangChain 集成，可为基于 LLM 的代理提供可靠、匿名且可扩展的网页访问，以实现真实世界的应用。
您可以通过使用官方 LangChain 集成的 langchain-brightdata Python 包来实现，其中包括对以下内容的支持：

• BrightDataSERP - Bright Data 提供强大的 SERP API，可让您查询搜索引擎（Google、Bing、DuckDuckGo、Yandex），支持地理定位和高级自定义选项，特别适合需要实时网页信息的 AI 代理。
• BrightDataUnlockerAPI - Bright Data 提供强大的 Unlocker API，可访问可能受到反爬虫措施、地理限制或其他访问限制的网站，对于需要可靠网页内容提取的 AI 代理非常有用。
• BrightDataWebScraperAPI - Bright Data 提供强大的 Scrapers，可从 100+ 个流行域中提取结构化数据，包括 Amazon 产品详情、LinkedIn 个人资料等，非常适合需要可靠结构化网页数据的 AI 代理。

或者使用 Bright Data 的 MCP（模型上下文协议） —— 一个本地服务器，提供各种爬取和自动化工具。虽然不属于 langchain-brightdata 包的一部分，但可以通过 LangChain 的 Tool 或 RequestsWrapper 手动集成。

​

如何将 Bright Data 与 LangChain 集成

1. 获取您的 Bright Data API Key

   • 登录您的 Bright Data 控制面板。
   • 转到 账户设置。
   • 如果尚未生成，请 生成 API Key。
2. 安装 Bright Data 集成

   通过运行以下命令安装 LangChain 的 Bright Data 集成包：

   pip install langchain-brightdata
   
3. 设置环境变量

   将您的 Bright Data API Key 设置为环境变量：

   import os
   os.environ["BRIGHT_DATA_API_KEY"] = "your-api-key"
   

   或在初始化工具时直接传入：

   from langchain_bright_data import BrightDataSERP
   
   tool = BrightDataSERP(bright_data_api_key="your-api-key")
   
4. 选择您偏好的 Bright Data 工具

   Bright Data + LangChain 集成目前支持：

   BrightDataSERP

   API 文档: SERP API 文档

   收集支持地理定位的搜索引擎结果

   Basic Usage

   from langchain_brightdata import BrightDataSERP
   
   # Initialize the tool
   serp_tool = BrightDataSERP(
       bright_data_api_key="your-api-key"  # Optional if set in environment variables
   )
   
   # Run a basic search
   results = serp_tool.invoke("latest AI research papers")
   
   print(results)
   

   BrightDataUnblocker

   API 文档: Unlocker API 文档

   访问任何公共网站，即使受机器人保护或地理限制。

   Basic Usage

   from langchain_brightdata import BrightDataUnlocker
   
   # Initialize the tool
   unlocker_tool = BrightDataUnlocker(
       bright_data_api_key="your-api-key"  # Optional if set in environment variables
   )
   
   # Access a webpage
   result = unlocker_tool.invoke("https://example.com")
   
   print(result)
   

   BrightDataWebScraperAPI

   API 文档: Scrapers 文档

   从 100 多个支持的域中提取结构化数据，如 Amazon、LinkedIn 等。

   Basic Usage

   from langchain_brightdata import BrightDataWebScraperAPI
   
   # Initialize the tool
   scraper_tool = BrightDataWebScraperAPI(
       bright_data_api_key="your-api-key"  # Optional if set in environment variables
   )
   
   # Extract Amazon product data
   results = scraper_tool.invoke(
       {"url": "https://www.amazon.com/dp/B08L5TNJHG", "dataset_type": "amazon_product"}
   )
   
   print(results)