1. 项目概述为什么你需要一个AI搜索引擎品牌提及监测工具最近和几个做品牌营销的朋友聊天大家不约而同地提到了同一个焦虑现在用户找信息越来越多地开始用ChatGPT、Perplexity、Claude这些AI搜索引擎了。过去我们做SEO盯着Google Search Console看排名、看点击现在这套玩法好像有点不够用了。一个用户问AI“帮我推荐几款适合户外露营的便携咖啡机”AI的回答里如果提到了你的品牌那可能就是一次精准的曝光如果没提或者更糟提了你的竞品那你就完全错过了这个机会。问题是你怎么知道AI有没有在“说”你呢这就是今天要聊的这个开源工具要解决的核心痛点自动化、低成本地监测你的品牌在主流AI搜索引擎回答中的被提及情况。它不是一个复杂的商业软件而是一个你可以自己部署、完全掌控的脚本工具。想象一下你不再需要手动去每个AI平台反复提问、截屏对比而是设置好一批与你品牌和产品相关的关键词让工具定时去“问”AI并把结果记录下来、分析出来。这对于预算有限的中小团队、独立开发者或是想深入理解AI内容生成规律的营销人员来说价值巨大。这个工具的本质是模拟真实用户提问并解析AI返回的答案。它不涉及任何复杂的模型训练或数据挖掘而是巧妙地利用现有AI服务的公开接口或Web界面实现“提问-抓取-分析”的自动化流程。接下来我会拆解它的核心设计思路、手把手教你如何部署配置并分享我在搭建和运行这类工具时踩过的坑和总结的经验。2. 核心设计思路与方案选型2.1 需求拆解我们要监测什么在动手写代码或找工具之前得先想清楚我们要什么。监测AI搜索引擎的品牌提及至少包含以下几个层面存在性监测品牌名、产品名、核心商标词是否出现在AI的答案中这是最基础的二进制问题有/没有。上下文情感与关联监测AI是在正面推荐、中性介绍还是负面评价你的品牌它是否将你的品牌与正确的产品类别、使用场景关联起来比如AI说“XX品牌的咖啡机以耐用著称”和“XX品牌咖啡机曾有漏电报告”天差地别。竞品对比监测当问题涉及对比或推荐时你的品牌是否被列入选项如果被列入排在第几位AI陈述了哪些你相对于竞品的优劣势事实准确性监测AI关于你品牌的产品参数、服务条款、历史事件的描述是否准确有没有“AI幻觉”出来的错误信息对于一个初始的、免费的开源工具我们通常优先解决第1点并尽可能触及第2点和第3点。第4点对数据源和验证逻辑要求极高初期可以暂缓。2.2 技术方案选型爬虫 vs. 官方API要实现自动化提问和答案抓取主要有两条路方案A基于Web自动化如Selenium, Playwright的爬虫这种方法模拟真实用户在浏览器中的操作打开AI搜索引擎网页如ChatGPT Web版、Perplexity网页版输入问题等待答案生成然后从网页HTML中提取答案文本。优点通用性强。只要这个AI服务有网页版理论上就能抓。不受官方API限制。缺点稳定性差网页结构一旦更新提取规则就可能失效需要频繁维护。效率低需要加载完整的浏览器环境速度慢资源消耗大。有封禁风险频繁的自动化访问容易被网站识别为机器人导致IP或账号被封。伦理与合规风险可能违反目标网站的服务条款。方案B利用官方API如OpenAI API, Anthropic Claude API直接调用AI模型提供商开放的应用程序接口发送请求并获取结构化的响应。优点稳定可靠接口规范响应格式固定不易出错。高效快速无需渲染页面直接传输数据速度快。功能强大通常可以指定模型、调整参数获得更可控的输出。合规在API使用条款框架内操作。缺点成本需要付费虽然监测类请求量通常不大但仍有成本。覆盖窄只能覆盖提供API的服务。很多新兴的、或集成了多个模型的AI搜索引擎如Perplexity早期可能没有公开的同等功能API。我们的选择与理由对于一个追求“免费”和“开源”的工具理想的状态是混合模式并优先考虑无头浏览器Headless Browser方案的优化版本。理由如下成本为零无需为API调用付费适合长期、高频次监测。覆盖度最大化可以监测任何有公开界面的AI搜索平台包括那些没有开放API的。社区驱动开源工具的优势在于当某个网站改版导致抓取失败时社区用户可以共同更新选择器规则贡献修复代码。但纯爬虫的缺点必须克服。因此核心设计思路是使用更轻量、更现代的Playwright替代传统的Selenium结合智能等待、随机延迟和用户代理User-Agent轮换等反侦测策略构建一个健壮、可维护的监测爬虫。同时在代码架构上预留API接口的接入能力如果用户自己有某个服务的API密钥可以更方便地切换或混合使用。2.3 工具架构预览一个完整的监测工具至少包含以下模块问题管理模块管理你要提问的“问题清单”。例如[“{Brand}是什么”“推荐一款{Brand}的产品”“{Brand}和{Competitor}哪个好”]。支持变量替换如{Brand}替换为你的实际品牌名。任务调度与执行引擎负责按计划如每天一次或手动触发依次向指定的AI搜索引擎可配置多个发送问题列表中的问题。答案抓取与解析器对于每个问题-答案对从返回的页面或API响应中准确提取出纯文本答案。这是最易出错的部分需要针对每个目标网站编写特定的解析规则。分析与存储模块将抓取到的答案进行初步分析如是否包含品牌关键词、情感倾向初判并将原始问题、答案、时间戳、来源等信息结构化地存储下来如存入SQLite数据库或JSON文件。结果通知与可视化模块当发现品牌被提及尤其是新提及或情感变化时通过邮件、Slack等方式发送通知。同时提供一个简单的Web界面或生成报告展示监测历史。3. 实操搭建从零部署你的监测工具假设我们给这个工具起名叫“AIBrandMention Scout”。下面我将以Python为核心使用Playwright带你一步步搭建一个最小可行版本。3.1 环境准备与依赖安装首先确保你的机器上安装了Python建议3.8以上版本。然后我们创建一个新的项目目录并初始化虚拟环境这能有效隔离依赖。# 创建项目目录 mkdir ai-brand-mention-scout cd ai-brand-mention-scout # 创建虚拟环境以venv为例 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate # 安装核心依赖 pip install playwright beautifulsoup4 pandas schedule # 安装Playwright的浏览器驱动 playwright install chromium依赖说明playwright: 用于自动化浏览器操作执行“提问-抓取”流程。beautifulsoup4: 一个HTML解析库辅助从复杂的页面结构中提取答案文本。虽然Playwright有自己的选择器但BS4在处理不规则HTML时更灵活。pandas: 用于数据处理和分析方便我们将结果转为表格或进行简单统计。schedule: 一个轻量级的任务调度库用于设置定时任务如每天上午10点运行一次。注意playwright install会下载Chromium浏览器可能需要一些时间请确保网络通畅。选择Chromium是因为它足够轻量且兼容性好。3.2 核心代码编写抓取引擎我们首先实现一个针对单个AI搜索引擎以Perplexity.ai为例的抓取器。为什么选Perplexity因为它本身就是一个集成了实时搜索的AI问答引擎答案风格具有代表性且其网页结构相对清晰。创建一个文件scout_core.pyimport asyncio from playwright.async_api import async_playwright import re import time import random from bs4 import BeautifulSoup class AISearchScout: def __init__(self, headlessTrue): self.headless headless # 可以准备一组不同的User-Agent来模拟不同浏览器 self.user_agents [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ..., # ... 更多UA ] async def ask_perplexity(self, question, timeout60000): 向Perplexity.ai提问并获取答案 :param question: 问题字符串 :param timeout: 超时时间毫秒 :return: 答案文本如果失败返回None answer None async with async_playwright() as p: # 随机选择User-Agent user_agent random.choice(self.user_agents) browser await p.chromium.launch(headlessself.headless) context await browser.new_context(user_agentuser_agent) page await context.new_page() try: # 1. 导航到Perplexity.ai await page.goto(https://www.perplexity.ai/, wait_untilnetworkidle) # 随机等待模拟人类阅读 await asyncio.sleep(random.uniform(2, 5)) # 2. 定位搜索输入框并输入问题 # 注意选择器可能需要根据网站更新而调整这是最容易失效的部分。 input_selector textarea[placeholder*Ask] # 这是一个示例实际需检查 await page.fill(input_selector, question) await asyncio.sleep(random.uniform(1, 2)) # 3. 点击提交按钮或按回车 await page.press(input_selector, Enter) # 4. 等待答案生成。这里需要找到一个稳定的“答案加载完成”的标识。 # 例如等待某个特定的答案容器出现或者等待“正在思考”的提示消失。 # 这里使用一个等待文本出现的示例实际需要更精确的选择器。 answer_container_selector .prose # 示例选择器Perplexity答案通常在一个.prose容器内 await page.wait_for_selector(answer_container_selector, timeouttimeout) # 可选等待一段时间确保答案完全加载特别是长答案 await asyncio.sleep(random.uniform(3, 7)) # 5. 获取答案区域的HTML内容 answer_html await page.inner_html(answer_container_selector) # 6. 使用BeautifulSoup清理和提取纯文本 soup BeautifulSoup(answer_html, html.parser) # 移除脚本、样式等无用标签 for script in soup([script, style, button, svg]): script.decompose() answer soup.get_text(separator\n, stripTrue) # 简单清理多余空行 answer \n.join([line.strip() for line in answer.split(\n) if line.strip()]) except Exception as e: print(f在询问Perplexity时出错: {e}) # 可以在这里截图用于调试 # await page.screenshot(pathferror_{int(time.time())}.png) finally: await browser.close() return answer # 同步函数包装便于在非异步环境中调用 def ask_perplexity_sync(question): scout AISearchScout(headlessTrue) # 生产环境建议用headlessTrue return asyncio.run(scout.ask_perplexity(question)) if __name__ __main__: # 测试一下 test_question What are the best features of the iPhone 15? result ask_perplexity_sync(test_question) print(问题:, test_question) print(答案预览:, result[:500] if result else No answer fetched)关键点解析随机延迟 (asyncio.sleep(random.uniform(...))): 这是反侦测的基础。在关键操作如页面加载后、输入前后、提交后插入随机时长的等待让访问模式更接近真人。选择器 (input_selector,answer_container_selector): 这是整个抓取链中最脆弱的环节。网页UI的任何改动都可能导致选择器失效。因此代码中需要清晰的注释并考虑将选择器提取到外部配置文件方便维护。等待策略 (wait_for_selector): 不能使用固定的sleep等待答案必须等待代表答案已出现的特定元素加载完成。这提高了效率和稳定性。文本清理: 使用BeautifulSoup提取纯文本去除所有HTML标签和无关元素得到干净的答案内容。3.3 构建问题管理与分析流程接下来我们创建主逻辑文件main.py用于管理问题列表、调度任务、分析结果并存储。import json import sqlite3 from datetime import datetime from scout_core import ask_perplexity_sync import pandas as pd class BrandMentionMonitor: def __init__(self, config_pathconfig.json): self.load_config(config_path) self.init_db() def load_config(self, path): with open(path, r) as f: config json.load(f) self.brand_name config[brand_name] self.keywords config.get(keywords, [self.brand_name]) # 监测关键词 self.questions config[questions] # 问题模板列表 self.search_engines config.get(search_engines, [perplexity]) # 可扩展 def init_db(self): conn sqlite3.connect(mentions.db) c conn.cursor() c.execute( CREATE TABLE IF NOT EXISTS mentions ( id INTEGER PRIMARY KEY AUTOINCREMENT, timestamp TEXT NOT NULL, search_engine TEXT NOT NULL, question TEXT NOT NULL, raw_answer TEXT NOT NULL, contains_brand INTEGER, -- 0/1 keyword_found TEXT, -- 逗号分隔的关键词 sentiment_score REAL, -- 简易情感分数可后续实现 created_at TEXT DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() conn.close() def generate_questions(self): 用品牌名替换问题模板中的占位符 generated [] for template in self.questions: # 简单替换可以根据需要做更复杂的模板引擎 question template.replace({brand}, self.brand_name) generated.append(question) return generated def analyze_answer(self, answer_text): 分析答案检查品牌提及和关键词 if not answer_text: return {contains_brand: 0, keywords_found: []} answer_lower answer_text.lower() brand_lower self.brand_name.lower() contains_brand 1 if brand_lower in answer_lower else 0 keywords_found [] for kw in self.keywords: if kw.lower() in answer_lower: keywords_found.append(kw) # 这里可以集成更复杂的情感分析如使用TextBlob但会增加依赖 # sentiment_score self.simple_sentiment(answer_text) return { contains_brand: contains_brand, keywords_found: , .join(keywords_found) if keywords_found else , # sentiment_score: sentiment_score } def run_once(self): 执行一次完整的监测任务 questions_to_ask self.generate_questions() print(f[{datetime.now()}] 开始执行监测共{len(questions_to_ask)}个问题。) for question in questions_to_ask: print(f 正在处理: {question}) # 目前只实现Perplexity可扩展循环多个引擎 answer ask_perplexity_sync(question) if answer: analysis self.analyze_answer(answer) self.save_to_db(perplexity, question, answer, analysis) print(f 结果: 品牌提及 - {是 if analysis[contains_brand] else 否}, 关键词 - {analysis[keywords_found]}) else: print(f 警告: 未能获取答案) # 问题间间隔避免请求过快 import time time.sleep(random.uniform(10, 20)) print(f[{datetime.now()}] 监测任务完成。) def save_to_db(self, engine, question, answer, analysis): conn sqlite3.connect(mentions.db) c conn.cursor() c.execute( INSERT INTO mentions (timestamp, search_engine, question, raw_answer, contains_brand, keyword_found) VALUES (?, ?, ?, ?, ?, ?) , (datetime.now().isoformat(), engine, question, answer, analysis[contains_brand], analysis[keywords_found])) conn.commit() conn.close() def generate_report(self, days7): 生成过去N天的简易报告 conn sqlite3.connect(mentions.db) query f SELECT timestamp, search_engine, question, contains_brand, keyword_found FROM mentions WHERE date(timestamp) date(now, -{days} days) ORDER BY timestamp DESC df pd.read_sql_query(query, conn) conn.close() if df.empty: print(过去{}天内无数据。.format(days)) return total_questions len(df) mention_rate df[contains_brand].mean() * 100 print(f\n 过去{days}天品牌提及监测报告 ) print(f总提问数: {total_questions}) print(f品牌提及率: {mention_rate:.2f}%) print(f\n提及详情:) for _, row in df[df[contains_brand]1].iterrows(): print(f - [{row[timestamp]}] {row[question]} (关键词: {row[keyword_found]})) # 可以将报告保存为CSV或HTML df.to_csv(freport_{datetime.now().strftime(%Y%m%d)}.csv, indexFalse) if __name__ __main__: import random monitor BrandMentionMonitor(config.json) # 单次运行 monitor.run_once() # 生成报告 monitor.generate_report(1)同时创建一个配置文件config.json{ brand_name: Yeti, keywords: [Yeti, Yeti cooler, Yeti tumbler], questions: [ What is {brand} known for?, Is {brand} a good brand for coolers?, Compare {brand} and Igloo coolers., Where can I buy a {brand} Rambler?, Are {brand} products worth the high price? ], search_engines: [perplexity] }3.4 实现定时任务与简易通知为了让工具自动运行我们使用schedule库。修改main.py或创建一个新的scheduler.pyimport schedule import time from main import BrandMentionMonitor def job(): print(f[{datetime.now()}] 定时任务启动...) monitor BrandMentionMonitor(config.json) monitor.run_once() # 可以在这里添加发送通知的逻辑比如如果今天有提及就发邮件 print(f[{datetime.now()}] 定时任务完成。) if __name__ __main__: # 每天上午10点运行 schedule.every().day.at(10:00).do(job) # 也可以每小时运行 schedule.every().hour.do(job) print(监测调度器已启动按 CtrlC 退出。) while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次对于通知一个简单的邮件通知函数可以这样写需要配置SMTPimport smtplib from email.mime.text import MIMEText from email.header import Header def send_email_notification(subject, body, to_addr): # 这里需要你配置自己的SMTP服务器信息 smtp_server smtp.your-email-provider.com port 587 from_addr your-emailexample.com password your-password # 强烈建议使用应用专用密码 msg MIMEText(body, plain, utf-8) msg[From] Header(from_addr) msg[To] Header(to_addr) msg[Subject] Header(subject) try: server smtplib.SMTP(smtp_server, port) server.starttls() server.login(from_addr, password) server.sendmail(from_addr, [to_addr], msg.as_string()) server.quit() print(通知邮件发送成功) except Exception as e: print(f发送邮件失败: {e})然后在run_once方法结束后根据分析结果决定是否调用通知函数。4. 部署、优化与避坑指南4.1 部署到服务器要让工具7x24小时运行你需要一台云服务器如AWS EC2、DigitalOcean Droplet、或国内的阿里云ECS或一个可靠的树莓派。环境准备在服务器上同样安装Python、依赖和Playwright浏览器。代码上传将你的项目文件夹上传到服务器。进程守护使用systemd或supervisor来管理你的Python脚本确保它崩溃后能自动重启。下面是一个简单的systemd服务文件示例 (/etc/systemd/system/ai-brand-scout.service)[Unit] DescriptionAI Brand Mention Scout Afternetwork.target [Service] Typesimple Useryour_username WorkingDirectory/path/to/your/ai-brand-mention-scout ExecStart/path/to/your/ai-brand-mention-scout/venv/bin/python /path/to/your/ai-brand-mention-scout/scheduler.py Restarton-failure RestartSec10 [Install] WantedBymulti-user.target然后使用sudo systemctl start ai-brand-scout启动服务。4.2 核心优化点选择器容错与维护不要依赖绝对路径避免使用div div:nth-child(3) span这类脆弱的选择器。优先使用具有唯一性的id、># selectors.yaml perplexity: input_box: [textarea[placeholder*Ask], textarea[class*search]] answer_container: [.prose, main div:last-child, [data-testidanswer-content]]反侦测策略升级代理IP池如果监测频率高考虑使用代理IP轮换避免单一IP被封。可以集成一些免费的代理API但免费代理的稳定性堪忧商业项目建议用付费服务。更人性化的行为模式除了随机延迟还可以模拟鼠标移动、滚动页面等行为。Playwright提供了page.mouse.move()等方法。Cookie与会话管理对于需要登录的AI服务如ChatGPT Plus你需要处理Cookie的持久化。Playwright的context.storage_state()可以保存和恢复登录状态。答案解析的鲁棒性AI的答案格式可能多变可能包含Markdown、代码块、列表。除了提取纯文本可以考虑保留一些基础格式如段落或针对特定网站编写更精细的清理规则。处理分页/连续对话有些AI界面是连续对话答案可能分多次加载。需要监测“停止生成”按钮或监听网络请求结束。分析能力增强集成轻量NLP库使用TextBlob或VADER进行简单的情感分析判断提及的正面/中性/负面倾向。竞品同框分析在分析模块中不仅检查自己的品牌也检查配置的竞品列表分析在同一个答案中品牌与竞品被同时提及的频率和语境。事实核查对于关键事实如产品价格、发布日期可以与你维护的真实数据库进行比对标记可能存在的AI幻觉。4.3 常见问题与排查技巧问题1脚本运行一段时间后抓不到数据了返回空白或错误。排查首先检查选择器是否失效。手动打开目标网站使用浏览器的开发者工具F12检查输入框和答案区域的HTML结构是否变化。更新选择器配置文件。检查网站是否出现了验证码CAPTCHA如果是说明你的访问模式已被识别为机器人。你需要大幅降低请求频率增加随机延迟并考虑使用更复杂的反反爬策略如上述的代理IP、行为模拟或者寻找是否有官方的、允许自动化的接口。查看日志和截图在代码的异常捕获块中启用截图功能await page.screenshot(pathdebug.png)这能帮你直观看到失败时页面停在哪一步。问题2抓取速度太慢一个循环要跑很久。优化并行处理如果监测多个独立的问题或搜索引擎可以使用asyncio.gather进行并发请求但务必谨慎避免对目标服务器造成过大压力。减少不必要的等待精确调整wait_for_selector的超时时间并优化选择器使其能更快定位到元素。无头模式确保生产环境使用headlessTrue。硬件确保运行脚本的服务器有足够的内存和CPU。问题3数据库里存储的答案文本杂乱包含很多无关字符或HTML标签。解决强化你的文本清理函数。除了BeautifulSoup可以使用正则表达式re库移除特定的广告文本、版权声明等。建立一个针对每个目标网站的“噪音词/模式”过滤列表。问题4如何扩展支持新的AI搜索引擎如ChatGPT Web, Claude.ai步骤在scout_core.py中新增一个类似ask_chatgpt_web的异步方法。手动分析该网站的页面结构找到稳定的选择器并处理其可能的登录流程、对话初始化等。将新引擎的名称添加到配置文件的search_engines列表中。在主循环中根据配置决定调用哪个引擎的方法。重要每个网站的交互逻辑可能差异很大如有的需要先点击“新对话”按钮需要单独适配。4.4 伦理、法律与可持续性考量在运行这样一个自动化工具时必须时刻牢记尊重服务条款仔细阅读你所要监测的AI搜索引擎的服务条款。明确禁止自动化访问的网站强行抓取存在法律风险。本工具更多是作为一种技术探索和个人研究手段不应用于大规模、商业化的爬取行为。控制访问频率将请求间隔设置得足够长如每分钟不超过1-2次请求模拟人类用户的正常访问速度避免对目标服务器造成负担。数据使用收集到的数据应用于个人或企业内部的分析和洞察切勿公开传播或用于诋毁、误导等不当用途。明确免责在开源项目的README中应明确说明该工具仅用于教育和技术研究目的使用者需自行承担风险并遵守相关网站的规定。这个工具是一个起点。它让你能以极低的成本开始系统地了解你的品牌在AI世界中的“能见度”。通过持续运行和迭代你不仅能获得提及数据更能深入理解不同AI模型如何“看待”和“描述”你的行业与产品从而为你的内容策略、SEO和公关提供前所未有的数据支撑。真正的价值不在于工具本身而在于你通过它持续观察、分析和行动的过程。
开源AI搜索引擎品牌监测工具：从零搭建自动化提及追踪系统
1. 项目概述为什么你需要一个AI搜索引擎品牌提及监测工具最近和几个做品牌营销的朋友聊天大家不约而同地提到了同一个焦虑现在用户找信息越来越多地开始用ChatGPT、Perplexity、Claude这些AI搜索引擎了。过去我们做SEO盯着Google Search Console看排名、看点击现在这套玩法好像有点不够用了。一个用户问AI“帮我推荐几款适合户外露营的便携咖啡机”AI的回答里如果提到了你的品牌那可能就是一次精准的曝光如果没提或者更糟提了你的竞品那你就完全错过了这个机会。问题是你怎么知道AI有没有在“说”你呢这就是今天要聊的这个开源工具要解决的核心痛点自动化、低成本地监测你的品牌在主流AI搜索引擎回答中的被提及情况。它不是一个复杂的商业软件而是一个你可以自己部署、完全掌控的脚本工具。想象一下你不再需要手动去每个AI平台反复提问、截屏对比而是设置好一批与你品牌和产品相关的关键词让工具定时去“问”AI并把结果记录下来、分析出来。这对于预算有限的中小团队、独立开发者或是想深入理解AI内容生成规律的营销人员来说价值巨大。这个工具的本质是模拟真实用户提问并解析AI返回的答案。它不涉及任何复杂的模型训练或数据挖掘而是巧妙地利用现有AI服务的公开接口或Web界面实现“提问-抓取-分析”的自动化流程。接下来我会拆解它的核心设计思路、手把手教你如何部署配置并分享我在搭建和运行这类工具时踩过的坑和总结的经验。2. 核心设计思路与方案选型2.1 需求拆解我们要监测什么在动手写代码或找工具之前得先想清楚我们要什么。监测AI搜索引擎的品牌提及至少包含以下几个层面存在性监测品牌名、产品名、核心商标词是否出现在AI的答案中这是最基础的二进制问题有/没有。上下文情感与关联监测AI是在正面推荐、中性介绍还是负面评价你的品牌它是否将你的品牌与正确的产品类别、使用场景关联起来比如AI说“XX品牌的咖啡机以耐用著称”和“XX品牌咖啡机曾有漏电报告”天差地别。竞品对比监测当问题涉及对比或推荐时你的品牌是否被列入选项如果被列入排在第几位AI陈述了哪些你相对于竞品的优劣势事实准确性监测AI关于你品牌的产品参数、服务条款、历史事件的描述是否准确有没有“AI幻觉”出来的错误信息对于一个初始的、免费的开源工具我们通常优先解决第1点并尽可能触及第2点和第3点。第4点对数据源和验证逻辑要求极高初期可以暂缓。2.2 技术方案选型爬虫 vs. 官方API要实现自动化提问和答案抓取主要有两条路方案A基于Web自动化如Selenium, Playwright的爬虫这种方法模拟真实用户在浏览器中的操作打开AI搜索引擎网页如ChatGPT Web版、Perplexity网页版输入问题等待答案生成然后从网页HTML中提取答案文本。优点通用性强。只要这个AI服务有网页版理论上就能抓。不受官方API限制。缺点稳定性差网页结构一旦更新提取规则就可能失效需要频繁维护。效率低需要加载完整的浏览器环境速度慢资源消耗大。有封禁风险频繁的自动化访问容易被网站识别为机器人导致IP或账号被封。伦理与合规风险可能违反目标网站的服务条款。方案B利用官方API如OpenAI API, Anthropic Claude API直接调用AI模型提供商开放的应用程序接口发送请求并获取结构化的响应。优点稳定可靠接口规范响应格式固定不易出错。高效快速无需渲染页面直接传输数据速度快。功能强大通常可以指定模型、调整参数获得更可控的输出。合规在API使用条款框架内操作。缺点成本需要付费虽然监测类请求量通常不大但仍有成本。覆盖窄只能覆盖提供API的服务。很多新兴的、或集成了多个模型的AI搜索引擎如Perplexity早期可能没有公开的同等功能API。我们的选择与理由对于一个追求“免费”和“开源”的工具理想的状态是混合模式并优先考虑无头浏览器Headless Browser方案的优化版本。理由如下成本为零无需为API调用付费适合长期、高频次监测。覆盖度最大化可以监测任何有公开界面的AI搜索平台包括那些没有开放API的。社区驱动开源工具的优势在于当某个网站改版导致抓取失败时社区用户可以共同更新选择器规则贡献修复代码。但纯爬虫的缺点必须克服。因此核心设计思路是使用更轻量、更现代的Playwright替代传统的Selenium结合智能等待、随机延迟和用户代理User-Agent轮换等反侦测策略构建一个健壮、可维护的监测爬虫。同时在代码架构上预留API接口的接入能力如果用户自己有某个服务的API密钥可以更方便地切换或混合使用。2.3 工具架构预览一个完整的监测工具至少包含以下模块问题管理模块管理你要提问的“问题清单”。例如[“{Brand}是什么”“推荐一款{Brand}的产品”“{Brand}和{Competitor}哪个好”]。支持变量替换如{Brand}替换为你的实际品牌名。任务调度与执行引擎负责按计划如每天一次或手动触发依次向指定的AI搜索引擎可配置多个发送问题列表中的问题。答案抓取与解析器对于每个问题-答案对从返回的页面或API响应中准确提取出纯文本答案。这是最易出错的部分需要针对每个目标网站编写特定的解析规则。分析与存储模块将抓取到的答案进行初步分析如是否包含品牌关键词、情感倾向初判并将原始问题、答案、时间戳、来源等信息结构化地存储下来如存入SQLite数据库或JSON文件。结果通知与可视化模块当发现品牌被提及尤其是新提及或情感变化时通过邮件、Slack等方式发送通知。同时提供一个简单的Web界面或生成报告展示监测历史。3. 实操搭建从零部署你的监测工具假设我们给这个工具起名叫“AIBrandMention Scout”。下面我将以Python为核心使用Playwright带你一步步搭建一个最小可行版本。3.1 环境准备与依赖安装首先确保你的机器上安装了Python建议3.8以上版本。然后我们创建一个新的项目目录并初始化虚拟环境这能有效隔离依赖。# 创建项目目录 mkdir ai-brand-mention-scout cd ai-brand-mention-scout # 创建虚拟环境以venv为例 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate # 安装核心依赖 pip install playwright beautifulsoup4 pandas schedule # 安装Playwright的浏览器驱动 playwright install chromium依赖说明playwright: 用于自动化浏览器操作执行“提问-抓取”流程。beautifulsoup4: 一个HTML解析库辅助从复杂的页面结构中提取答案文本。虽然Playwright有自己的选择器但BS4在处理不规则HTML时更灵活。pandas: 用于数据处理和分析方便我们将结果转为表格或进行简单统计。schedule: 一个轻量级的任务调度库用于设置定时任务如每天上午10点运行一次。注意playwright install会下载Chromium浏览器可能需要一些时间请确保网络通畅。选择Chromium是因为它足够轻量且兼容性好。3.2 核心代码编写抓取引擎我们首先实现一个针对单个AI搜索引擎以Perplexity.ai为例的抓取器。为什么选Perplexity因为它本身就是一个集成了实时搜索的AI问答引擎答案风格具有代表性且其网页结构相对清晰。创建一个文件scout_core.pyimport asyncio from playwright.async_api import async_playwright import re import time import random from bs4 import BeautifulSoup class AISearchScout: def __init__(self, headlessTrue): self.headless headless # 可以准备一组不同的User-Agent来模拟不同浏览器 self.user_agents [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ..., # ... 更多UA ] async def ask_perplexity(self, question, timeout60000): 向Perplexity.ai提问并获取答案 :param question: 问题字符串 :param timeout: 超时时间毫秒 :return: 答案文本如果失败返回None answer None async with async_playwright() as p: # 随机选择User-Agent user_agent random.choice(self.user_agents) browser await p.chromium.launch(headlessself.headless) context await browser.new_context(user_agentuser_agent) page await context.new_page() try: # 1. 导航到Perplexity.ai await page.goto(https://www.perplexity.ai/, wait_untilnetworkidle) # 随机等待模拟人类阅读 await asyncio.sleep(random.uniform(2, 5)) # 2. 定位搜索输入框并输入问题 # 注意选择器可能需要根据网站更新而调整这是最容易失效的部分。 input_selector textarea[placeholder*Ask] # 这是一个示例实际需检查 await page.fill(input_selector, question) await asyncio.sleep(random.uniform(1, 2)) # 3. 点击提交按钮或按回车 await page.press(input_selector, Enter) # 4. 等待答案生成。这里需要找到一个稳定的“答案加载完成”的标识。 # 例如等待某个特定的答案容器出现或者等待“正在思考”的提示消失。 # 这里使用一个等待文本出现的示例实际需要更精确的选择器。 answer_container_selector .prose # 示例选择器Perplexity答案通常在一个.prose容器内 await page.wait_for_selector(answer_container_selector, timeouttimeout) # 可选等待一段时间确保答案完全加载特别是长答案 await asyncio.sleep(random.uniform(3, 7)) # 5. 获取答案区域的HTML内容 answer_html await page.inner_html(answer_container_selector) # 6. 使用BeautifulSoup清理和提取纯文本 soup BeautifulSoup(answer_html, html.parser) # 移除脚本、样式等无用标签 for script in soup([script, style, button, svg]): script.decompose() answer soup.get_text(separator\n, stripTrue) # 简单清理多余空行 answer \n.join([line.strip() for line in answer.split(\n) if line.strip()]) except Exception as e: print(f在询问Perplexity时出错: {e}) # 可以在这里截图用于调试 # await page.screenshot(pathferror_{int(time.time())}.png) finally: await browser.close() return answer # 同步函数包装便于在非异步环境中调用 def ask_perplexity_sync(question): scout AISearchScout(headlessTrue) # 生产环境建议用headlessTrue return asyncio.run(scout.ask_perplexity(question)) if __name__ __main__: # 测试一下 test_question What are the best features of the iPhone 15? result ask_perplexity_sync(test_question) print(问题:, test_question) print(答案预览:, result[:500] if result else No answer fetched)关键点解析随机延迟 (asyncio.sleep(random.uniform(...))): 这是反侦测的基础。在关键操作如页面加载后、输入前后、提交后插入随机时长的等待让访问模式更接近真人。选择器 (input_selector,answer_container_selector): 这是整个抓取链中最脆弱的环节。网页UI的任何改动都可能导致选择器失效。因此代码中需要清晰的注释并考虑将选择器提取到外部配置文件方便维护。等待策略 (wait_for_selector): 不能使用固定的sleep等待答案必须等待代表答案已出现的特定元素加载完成。这提高了效率和稳定性。文本清理: 使用BeautifulSoup提取纯文本去除所有HTML标签和无关元素得到干净的答案内容。3.3 构建问题管理与分析流程接下来我们创建主逻辑文件main.py用于管理问题列表、调度任务、分析结果并存储。import json import sqlite3 from datetime import datetime from scout_core import ask_perplexity_sync import pandas as pd class BrandMentionMonitor: def __init__(self, config_pathconfig.json): self.load_config(config_path) self.init_db() def load_config(self, path): with open(path, r) as f: config json.load(f) self.brand_name config[brand_name] self.keywords config.get(keywords, [self.brand_name]) # 监测关键词 self.questions config[questions] # 问题模板列表 self.search_engines config.get(search_engines, [perplexity]) # 可扩展 def init_db(self): conn sqlite3.connect(mentions.db) c conn.cursor() c.execute( CREATE TABLE IF NOT EXISTS mentions ( id INTEGER PRIMARY KEY AUTOINCREMENT, timestamp TEXT NOT NULL, search_engine TEXT NOT NULL, question TEXT NOT NULL, raw_answer TEXT NOT NULL, contains_brand INTEGER, -- 0/1 keyword_found TEXT, -- 逗号分隔的关键词 sentiment_score REAL, -- 简易情感分数可后续实现 created_at TEXT DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() conn.close() def generate_questions(self): 用品牌名替换问题模板中的占位符 generated [] for template in self.questions: # 简单替换可以根据需要做更复杂的模板引擎 question template.replace({brand}, self.brand_name) generated.append(question) return generated def analyze_answer(self, answer_text): 分析答案检查品牌提及和关键词 if not answer_text: return {contains_brand: 0, keywords_found: []} answer_lower answer_text.lower() brand_lower self.brand_name.lower() contains_brand 1 if brand_lower in answer_lower else 0 keywords_found [] for kw in self.keywords: if kw.lower() in answer_lower: keywords_found.append(kw) # 这里可以集成更复杂的情感分析如使用TextBlob但会增加依赖 # sentiment_score self.simple_sentiment(answer_text) return { contains_brand: contains_brand, keywords_found: , .join(keywords_found) if keywords_found else , # sentiment_score: sentiment_score } def run_once(self): 执行一次完整的监测任务 questions_to_ask self.generate_questions() print(f[{datetime.now()}] 开始执行监测共{len(questions_to_ask)}个问题。) for question in questions_to_ask: print(f 正在处理: {question}) # 目前只实现Perplexity可扩展循环多个引擎 answer ask_perplexity_sync(question) if answer: analysis self.analyze_answer(answer) self.save_to_db(perplexity, question, answer, analysis) print(f 结果: 品牌提及 - {是 if analysis[contains_brand] else 否}, 关键词 - {analysis[keywords_found]}) else: print(f 警告: 未能获取答案) # 问题间间隔避免请求过快 import time time.sleep(random.uniform(10, 20)) print(f[{datetime.now()}] 监测任务完成。) def save_to_db(self, engine, question, answer, analysis): conn sqlite3.connect(mentions.db) c conn.cursor() c.execute( INSERT INTO mentions (timestamp, search_engine, question, raw_answer, contains_brand, keyword_found) VALUES (?, ?, ?, ?, ?, ?) , (datetime.now().isoformat(), engine, question, answer, analysis[contains_brand], analysis[keywords_found])) conn.commit() conn.close() def generate_report(self, days7): 生成过去N天的简易报告 conn sqlite3.connect(mentions.db) query f SELECT timestamp, search_engine, question, contains_brand, keyword_found FROM mentions WHERE date(timestamp) date(now, -{days} days) ORDER BY timestamp DESC df pd.read_sql_query(query, conn) conn.close() if df.empty: print(过去{}天内无数据。.format(days)) return total_questions len(df) mention_rate df[contains_brand].mean() * 100 print(f\n 过去{days}天品牌提及监测报告 ) print(f总提问数: {total_questions}) print(f品牌提及率: {mention_rate:.2f}%) print(f\n提及详情:) for _, row in df[df[contains_brand]1].iterrows(): print(f - [{row[timestamp]}] {row[question]} (关键词: {row[keyword_found]})) # 可以将报告保存为CSV或HTML df.to_csv(freport_{datetime.now().strftime(%Y%m%d)}.csv, indexFalse) if __name__ __main__: import random monitor BrandMentionMonitor(config.json) # 单次运行 monitor.run_once() # 生成报告 monitor.generate_report(1)同时创建一个配置文件config.json{ brand_name: Yeti, keywords: [Yeti, Yeti cooler, Yeti tumbler], questions: [ What is {brand} known for?, Is {brand} a good brand for coolers?, Compare {brand} and Igloo coolers., Where can I buy a {brand} Rambler?, Are {brand} products worth the high price? ], search_engines: [perplexity] }3.4 实现定时任务与简易通知为了让工具自动运行我们使用schedule库。修改main.py或创建一个新的scheduler.pyimport schedule import time from main import BrandMentionMonitor def job(): print(f[{datetime.now()}] 定时任务启动...) monitor BrandMentionMonitor(config.json) monitor.run_once() # 可以在这里添加发送通知的逻辑比如如果今天有提及就发邮件 print(f[{datetime.now()}] 定时任务完成。) if __name__ __main__: # 每天上午10点运行 schedule.every().day.at(10:00).do(job) # 也可以每小时运行 schedule.every().hour.do(job) print(监测调度器已启动按 CtrlC 退出。) while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次对于通知一个简单的邮件通知函数可以这样写需要配置SMTPimport smtplib from email.mime.text import MIMEText from email.header import Header def send_email_notification(subject, body, to_addr): # 这里需要你配置自己的SMTP服务器信息 smtp_server smtp.your-email-provider.com port 587 from_addr your-emailexample.com password your-password # 强烈建议使用应用专用密码 msg MIMEText(body, plain, utf-8) msg[From] Header(from_addr) msg[To] Header(to_addr) msg[Subject] Header(subject) try: server smtplib.SMTP(smtp_server, port) server.starttls() server.login(from_addr, password) server.sendmail(from_addr, [to_addr], msg.as_string()) server.quit() print(通知邮件发送成功) except Exception as e: print(f发送邮件失败: {e})然后在run_once方法结束后根据分析结果决定是否调用通知函数。4. 部署、优化与避坑指南4.1 部署到服务器要让工具7x24小时运行你需要一台云服务器如AWS EC2、DigitalOcean Droplet、或国内的阿里云ECS或一个可靠的树莓派。环境准备在服务器上同样安装Python、依赖和Playwright浏览器。代码上传将你的项目文件夹上传到服务器。进程守护使用systemd或supervisor来管理你的Python脚本确保它崩溃后能自动重启。下面是一个简单的systemd服务文件示例 (/etc/systemd/system/ai-brand-scout.service)[Unit] DescriptionAI Brand Mention Scout Afternetwork.target [Service] Typesimple Useryour_username WorkingDirectory/path/to/your/ai-brand-mention-scout ExecStart/path/to/your/ai-brand-mention-scout/venv/bin/python /path/to/your/ai-brand-mention-scout/scheduler.py Restarton-failure RestartSec10 [Install] WantedBymulti-user.target然后使用sudo systemctl start ai-brand-scout启动服务。4.2 核心优化点选择器容错与维护不要依赖绝对路径避免使用div div:nth-child(3) span这类脆弱的选择器。优先使用具有唯一性的id、># selectors.yaml perplexity: input_box: [textarea[placeholder*Ask], textarea[class*search]] answer_container: [.prose, main div:last-child, [data-testidanswer-content]]反侦测策略升级代理IP池如果监测频率高考虑使用代理IP轮换避免单一IP被封。可以集成一些免费的代理API但免费代理的稳定性堪忧商业项目建议用付费服务。更人性化的行为模式除了随机延迟还可以模拟鼠标移动、滚动页面等行为。Playwright提供了page.mouse.move()等方法。Cookie与会话管理对于需要登录的AI服务如ChatGPT Plus你需要处理Cookie的持久化。Playwright的context.storage_state()可以保存和恢复登录状态。答案解析的鲁棒性AI的答案格式可能多变可能包含Markdown、代码块、列表。除了提取纯文本可以考虑保留一些基础格式如段落或针对特定网站编写更精细的清理规则。处理分页/连续对话有些AI界面是连续对话答案可能分多次加载。需要监测“停止生成”按钮或监听网络请求结束。分析能力增强集成轻量NLP库使用TextBlob或VADER进行简单的情感分析判断提及的正面/中性/负面倾向。竞品同框分析在分析模块中不仅检查自己的品牌也检查配置的竞品列表分析在同一个答案中品牌与竞品被同时提及的频率和语境。事实核查对于关键事实如产品价格、发布日期可以与你维护的真实数据库进行比对标记可能存在的AI幻觉。4.3 常见问题与排查技巧问题1脚本运行一段时间后抓不到数据了返回空白或错误。排查首先检查选择器是否失效。手动打开目标网站使用浏览器的开发者工具F12检查输入框和答案区域的HTML结构是否变化。更新选择器配置文件。检查网站是否出现了验证码CAPTCHA如果是说明你的访问模式已被识别为机器人。你需要大幅降低请求频率增加随机延迟并考虑使用更复杂的反反爬策略如上述的代理IP、行为模拟或者寻找是否有官方的、允许自动化的接口。查看日志和截图在代码的异常捕获块中启用截图功能await page.screenshot(pathdebug.png)这能帮你直观看到失败时页面停在哪一步。问题2抓取速度太慢一个循环要跑很久。优化并行处理如果监测多个独立的问题或搜索引擎可以使用asyncio.gather进行并发请求但务必谨慎避免对目标服务器造成过大压力。减少不必要的等待精确调整wait_for_selector的超时时间并优化选择器使其能更快定位到元素。无头模式确保生产环境使用headlessTrue。硬件确保运行脚本的服务器有足够的内存和CPU。问题3数据库里存储的答案文本杂乱包含很多无关字符或HTML标签。解决强化你的文本清理函数。除了BeautifulSoup可以使用正则表达式re库移除特定的广告文本、版权声明等。建立一个针对每个目标网站的“噪音词/模式”过滤列表。问题4如何扩展支持新的AI搜索引擎如ChatGPT Web, Claude.ai步骤在scout_core.py中新增一个类似ask_chatgpt_web的异步方法。手动分析该网站的页面结构找到稳定的选择器并处理其可能的登录流程、对话初始化等。将新引擎的名称添加到配置文件的search_engines列表中。在主循环中根据配置决定调用哪个引擎的方法。重要每个网站的交互逻辑可能差异很大如有的需要先点击“新对话”按钮需要单独适配。4.4 伦理、法律与可持续性考量在运行这样一个自动化工具时必须时刻牢记尊重服务条款仔细阅读你所要监测的AI搜索引擎的服务条款。明确禁止自动化访问的网站强行抓取存在法律风险。本工具更多是作为一种技术探索和个人研究手段不应用于大规模、商业化的爬取行为。控制访问频率将请求间隔设置得足够长如每分钟不超过1-2次请求模拟人类用户的正常访问速度避免对目标服务器造成负担。数据使用收集到的数据应用于个人或企业内部的分析和洞察切勿公开传播或用于诋毁、误导等不当用途。明确免责在开源项目的README中应明确说明该工具仅用于教育和技术研究目的使用者需自行承担风险并遵守相关网站的规定。这个工具是一个起点。它让你能以极低的成本开始系统地了解你的品牌在AI世界中的“能见度”。通过持续运行和迭代你不仅能获得提及数据更能深入理解不同AI模型如何“看待”和“描述”你的行业与产品从而为你的内容策略、SEO和公关提供前所未有的数据支撑。真正的价值不在于工具本身而在于你通过它持续观察、分析和行动的过程。
