1. 项目概述一个为A股投资者打造的自动化日报工具如果你和我一样每天开盘前都要花上十几二十分钟手动去翻看各种财经网站、股票软件把大盘指数、板块涨跌、自选股异动、新闻公告等信息拼凑在一起才能对当天的市场有个初步判断那你一定会觉得这个过程既繁琐又低效。尤其是在信息爆炸的今天如何从海量数据中快速提取出对自己决策有用的核心信息是每个个人投资者都面临的痛点。“Shoukuan/a-share-daily-report”这个项目正是为了解决这个痛点而生。它本质上是一个自动化脚本工具通过程序化的方式每天定时从公开的财经数据源如新浪财经、东方财富等抓取A股市场的关键数据经过清洗、分析和格式化最终生成一份结构清晰、重点突出的HTML或Markdown格式的日报并通过邮件或消息推送的方式发送给你。想象一下每天早上开盘前一份包含昨日市场回顾、今日重要资讯、自选股表现、技术指标预警的简报已经静静地躺在你的邮箱或手机里这能为你节省多少宝贵的时间和精力。这个项目特别适合以下几类人首先是像我这样的个人投资者尤其是偏向量化或技术分析需要稳定、客观数据输入的人群其次是金融相关行业的研究员或从业者可以用它作为辅助工具快速了解市场概貌最后任何对Python爬虫、数据分析自动化感兴趣的技术爱好者也能通过这个项目学习到数据获取、处理和邮件推送的完整链路。它的核心价值在于将重复、机械的信息收集工作自动化让你能把精力更聚焦于分析和决策本身。2. 核心需求与设计思路拆解2.1 为什么需要自动化日报在深入代码之前我们先聊聊需求。一个理想的A股日报应该包含什么根据我多年的盯盘经验至少需要以下几个模块大盘概览上证、深证、创业板、科创50等核心指数的涨跌幅、成交量、成交额。这是市场的“体温计”。板块热点当日领涨和领跌的行业板块这是发现市场资金流向和热点的关键。个股监控自己持仓或重点关注的股票列表的涨跌情况、成交额、是否有异常波动如涨跌停、放量等。资金流向北向资金沪股通、深股通的净流入流出情况这是影响市场情绪的重要指标。重要资讯前一交易日盘后及当日盘前发布的、可能影响市场的公司公告、行业政策、宏观经济新闻摘要。技术信号基于一些简单的技术指标如均线、MACD金叉死叉、RSI超买超卖对大盘或个股进行的预警。手动完成这些信息的收集意味着你需要打开多个网页或APP在不同界面间切换、复制粘贴、整理格式不仅容易出错而且情绪容易受到各种弹窗消息、夸张标题的影响。自动化日报的核心思路就是用代码模拟这个“打开-查看-记录”的过程但更快、更准、更冷静。2.2 技术选型与架构设计基于上述需求这个项目的技术栈选择非常经典和务实数据获取层爬虫使用requests库发起HTTP请求配合BeautifulSoup或lxml进行HTML解析。对于结构更清晰的API接口数据直接使用requests.get().json()解析。选择它们是因为足够轻量、灵活社区资源丰富能应对大部分财经网站的反爬策略如简单的请求头校验。数据处理层核心是pandas。抓取到的原始数据往往是列表或字典形式用pandas.DataFrame可以极其方便地进行清洗去重、处理缺失值、计算涨跌幅、成交额排名、筛选Top N板块和格式化。numpy可以作为辅助进行一些数值计算。报告生成层将处理好的DataFrame转换为可视化的报告。这里有两种主流选择HTML CSS使用Jinja2模板引擎。我们可以预先写好一个漂亮的HTML模板template.html里面留好“占位符”然后用Jinja2将数据填充进去。这种方式生成的报告最美观可以嵌入图表通过matplotlib或plotly生成图片base64编码后嵌入适合邮件发送。Markdown直接使用Python字符串拼接或模板生成.md文件。Markdown格式简洁兼容性好可以轻松粘贴到笔记软件如Notion、Obsidian或支持Markdown的聊天工具中也非常适合在GitHub等平台展示项目成果。任务调度与交付层调度在服务器或本地电脑上使用schedule库或操作系统的定时任务Linux的crontabWindows的任务计划程序来让脚本每天在固定时间如早上8点自动运行。交付生成报告后需要发送给用户。常用smtplib和email库通过SMTP协议发送邮件。对于更即时的方式可以考虑接入企业微信、钉钉、Telegram等机器人的Webhook接口通过requests发送消息。整个架构是典型的数据管道Data Pipeline思想采集 - 解析 - 清洗 - 分析 - 呈现 - 推送。每个环节相对独立通过函数或类进行封装使得后续维护和扩展比如增加新的数据源或分析指标非常清晰。3. 核心模块实现与实操要点3.1 数据抓取稳、准、快的秘诀数据是日报的基石。抓取环节最怕不稳定被反爬、不准确解析错误和速度慢。实战代码示例获取沪深指数行情import requests import pandas as pd from bs4 import BeautifulSoup import time def fetch_index_data(): 从新浪财经获取主要指数行情 返回一个包含指数名称、最新价、涨跌幅、涨跌额、成交量的DataFrame headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://finance.sina.com.cn/ } url https://hq.sinajs.cn/lists_sh000001,s_sz399001,s_sz399006,s_sh000688 # 上证深证创业板科创50 try: # 注意新浪这个接口返回的是gbk编码的文本格式特殊 resp requests.get(url, headersheaders, timeout10) resp.encoding gbk data_text resp.text index_list [] for line in data_text.strip().split(;): if not line: continue # 每行格式如var hq_str_s_sh000001上证指数,3234.1234,12.34,0.38,1234567,123456789; parts line.split() if len(parts) ! 2: continue code parts[0].split(_)[-1] # s_sh000001 - sh000001 values parts[1].strip().split(,) if len(values) 6: continue name, current, change, pct_change, volume, amount values[0], values[1], values[2], values[3], values[4], values[5] index_list.append({ 指数代码: code, 指数名称: name, 最新价: float(current) if current else 0, 涨跌额: float(change) if change else 0, 涨跌幅: f{float(pct_change) if pct_change else 0:.2f}%, 成交量(手): int(volume) if volume.isdigit() else 0, }) df_index pd.DataFrame(index_list) return df_index except Exception as e: print(f获取指数数据失败: {e}) return pd.DataFrame() # 使用示例 index_df fetch_index_data() print(index_df)注意财经网站的数据接口和页面结构可能会频繁变动这是写爬虫最头疼的地方。上述代码中的URL和解析逻辑仅作示例实际使用时需要根据目标网站的实时情况进行调整。务必在代码中加入充分的异常处理try-except和日志记录以便在接口失效时能快速发现问题。实操心得应对反爬策略伪装请求头User-Agent必须设置为常见的浏览器标识Referer有时也需要设置成目标网站的域名。控制请求频率在循环抓取多个股票或页面时一定要在请求间加入随机延时如time.sleep(random.uniform(1, 3))避免给服务器造成过大压力也降低被封IP的风险。使用Session对于需要维护Cookie的网站使用requests.Session()对象它可以自动处理Cookie模拟更真实的浏览器会话。考虑备用数据源不要只依赖一个数据源。可以为关键数据如指数行情准备1-2个备用接口如东方财富、腾讯财经的API当主数据源失效时能自动切换提高日报系统的鲁棒性。3.2 数据处理与分析从杂乱数据到清晰洞察抓取到的原始数据往往是文本、数字混杂的列表我们需要用pandas将其变成有意义的表格。实战代码示例板块热度分析假设我们从一个接口获取到了板块涨跌数据现在要找出当日涨幅前5和跌幅前5的板块。def analyze_sector_data(raw_sector_list): 分析板块数据计算涨幅排名并格式化输出 raw_sector_list: 列表每个元素是一个包含板块名、涨跌幅等信息的字典 df_sector pd.DataFrame(raw_sector_list) # 数据清洗确保涨跌幅是数值类型 # 假设原始数据中涨跌幅是字符串如 “2.35%” df_sector[涨跌幅_数值] df_sector[涨跌幅].str.strip(%).astype(float) # 排序 df_top_gainers df_sector.nlargest(5, 涨跌幅_数值)[[板块名称, 涨跌幅, 主力净流入(亿)]] df_top_losers df_sector.nsmallest(5, 涨跌幅_数值)[[板块名称, 涨跌幅, 主力净流入(亿)]] # 格式化例如将净流入单位统一保留两位小数 if 主力净流入(亿) in df_top_gainers.columns: df_top_gainers[主力净流入(亿)] df_top_gainers[主力净流入(亿)].apply(lambda x: f{float(x):.2f}) df_top_losers[主力净流入(亿)] df_top_losers[主力净流入(亿)].apply(lambda x: f{float(x):.2f}) return df_top_gainers, df_top_losers # 假设这是抓取到的原始数据 mock_sector_data [ {板块名称: 半导体, 涨跌幅: 5.23%, 主力净流入(亿): 12.5}, {板块名称: 新能源车, 涨跌幅: 3.78%, 主力净流入(亿): 8.9}, {板块名称: 白酒, 涨跌幅: -1.56%, 主力净流入(亿): -3.2}, {板块名称: 银行, 涨跌幅: -0.89%, 主力净流入(亿): -5.1}, # ... 更多数据 ] top_gainers, top_losers analyze_sector_data(mock_sector_data) print(涨幅前五板块) print(top_gainers.to_string(indexFalse)) print(\n跌幅前五板块) print(top_losers.to_string(indexFalse))实操心得让数据说话关键指标计算除了简单的排序可以计算板块的平均涨幅、资金净流入总额等从整体上把握市场情绪。对比分析将当日数据与前一交易日对比计算“连续上涨/下跌天数”、“资金流入趋势变化”等能发现更持续的动向。数据持久化将每天处理好的核心数据如指数收盘价保存到本地CSV文件或轻量级数据库如SQLite中。这样你就能基于历史数据计算移动平均线、构建简单的趋势图表让日报不仅有当日快照还有历史视角。3.3 报告生成美观与实用的平衡数据准备好了下一步是把它变成人类爱看的报告。这里以HTML报告为例展示如何使用Jinja2模板。第一步设计HTML模板 (report_template.html)!DOCTYPE html html head meta charsetUTF-8 titleA股市场日报 - {{ date }}/title style body { font-family: Segoe UI, Arial, sans-serif; margin: 40px; background-color: #f5f5f5; } .container { max-width: 1000px; margin: auto; background: white; padding: 30px; border-radius: 10px; box-shadow: 0 2px 15px rgba(0,0,0,0.1); } h1 { color: #2c3e50; border-bottom: 3px solid #3498db; padding-bottom: 10px; } h2 { color: #34495e; margin-top: 30px; } .positive { color: #e74c3c; font-weight: bold; } /* 上涨用红色 */ .negative { color: #27ae60; font-weight: bold; } /* 下跌用绿色A股习惯 */ table { width: 100%; border-collapse: collapse; margin: 20px 0; } th, td { border: 1px solid #ddd; padding: 12px 15px; text-align: center; } th { background-color: #3498db; color: white; } tr:nth-child(even) { background-color: #f9f9f9; } .footer { margin-top: 40px; text-align: center; color: #7f8c8d; font-size: 0.9em; } /style /head body div classcontainer h1 A股市场日报 - {{ date }}/h1 p报告生成时间{{ generation_time }}/p h21. 大盘指数概览/h2 {{ index_table|safe }} h22. 板块热点追踪/h2 h32.1 涨幅前五板块/h3 {{ sector_gainers_table|safe }} h32.2 跌幅前五板块/h3 {{ sector_losers_table|safe }} h23. 自选股监控/h2 {{ watchlist_table|safe }} h24. 资金流向/h2 p北向资金净流入span class{{ positive if northbound_flow|float 0 else negative }}{{ northbound_flow }} 亿元/span/p h25. 重要资讯摘要/h2 ul {% for news in news_list %} listrong{{ news.time }}/strong - {{ news.title }} (来源{{ news.source }})/li {% endfor %} /ul div classfooter p本报告由自动化工具生成数据来源于公开市场信息仅供参考不构成投资建议。/p p© 2023 A股日报系统/p /div /div /body /html第二步使用Python填充模板并生成HTMLfrom jinja2 import Environment, FileSystemLoader import datetime def generate_html_report(data_dict, output_pathdaily_report.html): 使用Jinja2模板和数据字典生成HTML报告 data_dict: 包含所有需要渲染到模板的数据的字典 # 设置Jinja2环境指定模板所在目录 env Environment(loaderFileSystemLoader(.)) # 假设模板在当前目录 template env.get_template(report_template.html) # 准备数据 context { date: datetime.datetime.now().strftime(%Y年%m月%d日), generation_time: datetime.datetime.now().strftime(%H:%M:%S), index_table: data_dict[index_df].to_html(classestable table-striped, indexFalse, escapeFalse), sector_gainers_table: data_dict[sector_gainers_df].to_html(indexFalse, escapeFalse), sector_losers_table: data_dict[sector_losers_df].to_html(indexFalse, escapeFalse), watchlist_table: data_dict[watchlist_df].to_html(indexFalse, escapeFalse), northbound_flow: data_dict.get(northbound_flow, 0.00), news_list: data_dict.get(news_list, []), } # 渲染HTML html_content template.render(context) # 写入文件 with open(output_path, w, encodingutf-8) as f: f.write(html_content) print(fHTML报告已生成{output_path}) return output_path # 假设data_dict已经包含了所有需要的DataFrame和数据 # generate_html_report(data_dict)提示DataFrame.to_html()方法非常强大可以直接将表格转为HTML字符串。通过escapeFalse参数可以允许HTML样式类如我们定义的positive,negative生效。但要注意如果数据中包含用户输入需警惕XSS攻击此时应使用escapeTrue默认。3.4 任务调度与自动推送让日报“活”起来报告生成了最后一步是让它每天自动运行并送到你面前。方案一使用Python schedule库适合长期运行的脚本import schedule import time from main import generate_daily_report_and_send # 假设这是你的主函数 def job(): print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 开始生成日报...) try: generate_daily_report_and_send() print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 日报生成并发送成功) except Exception as e: print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 任务执行失败: {e}) # 设定每天上午8点30分执行 schedule.every().day.at(08:30).do(job) print(日报定时任务已启动等待执行...) while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次方案二使用系统Crontab更稳定推荐用于服务器在Linux或Mac的终端执行crontab -e添加一行30 8 * * * /usr/bin/python3 /path/to/your/report_script.py /path/to/logfile.log 21这表示每天8点30分系统会自动用Python3执行你的脚本并将所有输出包括错误记录到指定的日志文件中。Windows系统可以使用“任务计划程序”实现类似功能。邮件推送实现import smtplib from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart from email.header import Header def send_email_via_smtp(html_report_path, receiver_emails): 通过SMTP发送HTML格式的邮件报告 # 发件人邮箱配置以QQ邮箱为例需开启SMTP服务并获取授权码 smtp_server smtp.qq.com smtp_port 465 sender_email your_emailqq.com sender_password your_authorization_code # 注意是授权码不是邮箱密码 # 创建邮件 msg MIMEMultipart(alternative) msg[From] Header(A股日报机器人 %s % sender_email, utf-8) msg[To] Header(,.join(receiver_emails), utf-8) msg[Subject] Header(fA股市场日报 {datetime.date.today()}, utf-8) # 读取HTML报告内容 with open(html_report_path, r, encodingutf-8) as f: html_content f.read() # 添加HTML正文 part_html MIMEText(html_content, html, utf-8) msg.attach(part_html) # 发送邮件 try: # 使用SSL加密连接 server smtplib.SMTP_SSL(smtp_server, smtp_port) server.login(sender_email, sender_password) server.sendmail(sender_email, receiver_emails, msg.as_string()) server.quit() print(邮件发送成功) except Exception as e: print(f邮件发送失败: {e}) # 使用示例 # send_email_via_smtp(daily_report.html, [receiver1example.com, receiver2example.com])重要安全提示切勿将邮箱密码或授权码直接硬编码在脚本中并上传到GitHub等公开仓库务必使用环境变量或配置文件来管理这些敏感信息。例如可以创建一个config.ini文件加入.gitignore在脚本中读取。4. 常见问题与排查技巧实录在实际搭建和运行这个系统的过程中我踩过不少坑。这里把最常见的问题和解决方法整理出来希望能帮你节省时间。4.1 数据抓取失败问题表现脚本运行时报错ConnectionError,Timeout, 或返回的HTML内容为空/不符合预期。排查思路检查网络与目标网站首先手动在浏览器中打开目标URL确认网站可访问且数据正常显示。模拟浏览器请求查看请求头用浏览器的开发者工具F12查看获取数据时发送的HTTP请求头特别是User-Agent,Referer,Cookie。确保你的爬虫代码中包含了必要的请求头。处理动态加载如果数据是通过JavaScript动态加载的页面源代码里没有简单的requestsBeautifulSoup就无效了。这时可以考虑寻找网站提供的官方或非官方API接口通常通过抓包工具分析XHR/Fetch请求。使用Selenium或Playwright这类浏览器自动化工具来模拟真实用户操作获取渲染后的页面内容。但这会大大增加复杂性和运行时间仅作为最后手段。应对反爬IP被封这是最棘手的问题。对于个人低频使用通过添加随机延时time.sleep通常可以避免。如果频率较高可能需要考虑使用代理IP池但这超出了简单日报工具的范围。验证码一般财经网站对行情数据接口不会设验证码。如果遇到说明你的请求行为被判定为异常需要降低频率或优化请求头。代码健壮性务必用try...except包裹数据抓取代码并记录详细的错误日志。对于关键数据如大盘指数最好有备用数据源逻辑。4.2 数据解析错误问题表现能抓到数据但解析时出错比如KeyError,IndexError或者解析出的数据是乱码。排查思路打印原始响应在解析前先print(resp.text[:500])或保存到文件确认你拿到的是预期的数据格式是JSON、XML还是特定格式的文本。检查编码中文网站常见的编码问题。如果返回内容乱码尝试resp.encoding gbk或resp.encoding utf-8。也可以通过resp.apparent_encoding让requests自动判断。确认数据结构网站改版是常事。定期检查你的解析逻辑XPath、CSS选择器或字符串分割规则是否仍然匹配最新的网页结构。写解析代码时尽量使用更稳定的特征如HTML元素的id或特定的class避免使用容易变动的位置索引。使用更健壮的解析方法对于复杂的HTMLBeautifulSoup比简单的字符串处理更可靠。对于JSON数据使用json.loads()解析后通过键名访问前先用.get(key, default_value)方法避免因键不存在而报错。4.3 定时任务不执行问题表现配置了crontab或schedule但脚本没有在预定时间运行。排查思路检查crontab语法和路径crontab -l查看任务列表是否正确。使用绝对路径crontab的执行环境与用户shell环境不同。脚本路径和Python解释器路径都必须使用绝对路径如/usr/bin/python3,/home/user/project/main.py。环境变量如果你的脚本依赖某些环境变量如PATH需要在crontab任务中显式设置或者在脚本开头通过sys.path指定模块搜索路径。检查文件权限确保脚本文件有可执行权限 (chmod x your_script.py)。重定向输出查日志这是最有效的调试方法。在crontab命令末尾加上 /tmp/cron.log 21将标准输出和错误输出都重定向到一个日志文件。运行后查看该文件里面通常会有具体的错误信息如“ModuleNotFoundError”。对于Python schedule脚本确保主程序在while True循环中持续运行没有被意外终止。可以将脚本作为后台服务运行如使用systemd或supervisor管理。4.4 邮件发送失败问题表现脚本运行正常报告也生成了但收不到邮件。排查思路检查发件邮箱设置SMTP服务是否开启以QQ邮箱为例需要登录网页版邮箱在“设置”-“账户”中开启“POP3/SMTP服务”并生成一个授权码不是邮箱密码。服务器和端口确认使用的SMTP服务器地址和端口号SSL通常是465TLS通常是587是否正确。检查收件地址和网络确认收件邮箱地址拼写无误。检查运行脚本的服务器或电脑的网络是否能连接到SMTP服务器有些公司内网会屏蔽外部SMTP端口。查看错误信息smtplib库会抛出比较明确的异常根据错误信息如认证失败、连接被拒绝进行排查。警惕垃圾邮件有时邮件发送成功但被收件箱的垃圾邮件规则过滤了。可以检查垃圾邮件文件夹或者优化邮件主题和内容避免使用过于营销化的词汇。4.5 日报内容过于庞杂或简略问题表现日报信息太多看不完或者信息太少不够用。优化建议模块化与可配置在代码中设计一个配置文件如config.yaml让用户可以选择启用或禁用哪些模块如“是否包含北向资金”、“是否包含新闻”甚至可以自定义监控的股票列表。信息分级将信息分为“核心摘要”和“详细数据”。在邮件正文或推送消息中只放核心摘要如大盘涨跌、最强最弱板块详细报告以HTML附件或链接形式提供。个性化预警增加阈值预警功能。例如在配置文件中设定“自选股涨跌幅超过±5%时高亮显示”、“北向资金净流出超50亿时发送特别提醒”。这样日报就从“信息罗列”升级为“决策辅助”。5. 进阶优化与扩展方向一个能稳定运行的基础版日报系统搭建完成后你可以根据自身需求对它进行各种“升级改造”。5.1 数据持久化与简单回测目前我们的日报只关注当日数据。如果我们将每天的关键数据如指数收盘价、自选股价格保存下来就能做很多有趣的分析。import sqlite3 import pandas as pd def save_daily_data_to_db(data_dict, db_pathstock_data.db): 将当日数据存入SQLite数据库 conn sqlite3.connect(db_path) today datetime.date.today().isoformat() # 保存指数数据 df_index data_dict[index_df].copy() df_index[date] today df_index.to_sql(index_daily, conn, if_existsappend, indexFalse) # 保存自选股数据 df_watchlist data_dict[watchlist_df].copy() df_watchlist[date] today df_watchlist.to_sql(watchlist_daily, conn, if_existsappend, indexFalse) conn.close() def generate_simple_trend_report(db_pathstock_data.db, days30): 生成近期趋势报告例如上证指数近30日的收盘价走势 conn sqlite3.connect(db_path) query SELECT date, 最新价 as close_price FROM index_daily WHERE 指数名称上证指数 ORDER BY date DESC LIMIT ? df_trend pd.read_sql_query(query, conn, params(days,)) conn.close() # 计算简单移动平均线 df_trend[MA5] df_trend[close_price].rolling(window5).mean() df_trend[MA20] df_trend[close_price].rolling(window20).mean() # 这里可以进一步将df_trend用matplotlib画图并保存为图片嵌入日报 return df_trend有了历史数据你可以在日报中加入一个小节“近期趋势”用文字描述当前价格与5日、20日均线的位置关系或者直接生成一个简单的趋势图图片插入HTML报告中。5.2 接入更多数据源与指标财务数据可以定期爬取个股的市盈率PE、市净率PB、每股收益EPS等基本面数据在日报中标记出估值处于历史低位的股票。情绪指标爬取股吧、雪球等平台的讨论热词或舆情分析这需要更复杂的文本处理甚至NLP技术作为市场情绪的辅助参考。宏观数据整合一些宏观经济数据的发布日历和简要结果如CPI、PPI、PMI帮助理解大的市场背景。5.3 部署到云服务器与监控为了让日报系统真正实现7x24小时无人值守运行最好将它部署到一台云服务器上。选择服务器腾讯云、阿里云等提供有低成本的轻量应用服务器或函数计算服务足够运行这样的Python脚本。环境部署在服务器上安装Python环境、项目依赖使用requirements.txt文件管理。使用进程守护如果你用schedule最好用supervisor或systemd来管理Python进程确保脚本崩溃后能自动重启。添加监控告警为脚本添加运行状态监控。最简单的方式是在脚本成功运行后向一个特定的监控邮箱或聊天群发送一条“今日日报任务执行成功”的消息。如果长时间没收到成功消息就说明系统可能出问题了。5.4 生成更专业的分析图表文字和表格虽然直观但图表更能揭示趋势和模式。你可以用matplotlib或plotly库生成图表然后嵌入报告。import matplotlib.pyplot as plt import io import base64 def plot_index_trend(df_trend): 生成指数趋势图并返回base64编码的图片字符串用于嵌入HTML plt.figure(figsize(10, 6)) plt.plot(df_trend[date], df_trend[close_price], label收盘价, linewidth2) plt.plot(df_trend[date], df_trend[MA5], label5日均线, linestyle--) plt.plot(df_trend[date], df_trend[MA20], label20日均线, linestyle:) plt.title(上证指数近期走势) plt.xlabel(日期) plt.ylabel(点数) plt.legend() plt.grid(True, alpha0.3) plt.xticks(rotation45) plt.tight_layout() # 将图片保存到内存缓冲区并转为base64 buf io.BytesIO() plt.savefig(buf, formatpng, dpi100) buf.seek(0) img_base64 base64.b64encode(buf.read()).decode(utf-8) plt.close() # 关闭图形释放内存 return img_base64 # 在Jinja2模板中可以这样嵌入图片 # img srcdata:image/png;base64,{{ trend_image_base64 }} alt指数趋势图这个项目从简单的数据抓取开始可以像搭积木一样根据你的投资风格和知识储备不断添加新的功能模块。它不仅是你的自动化投资助手也是一个绝佳的Python实战项目涵盖了爬虫、数据分析、Web开发、自动化运维等多个领域。最重要的是通过亲手搭建它你会对市场的运行和数据本身有更深刻、更理性的认识。
Python自动化A股日报：数据抓取、分析与邮件推送实战
1. 项目概述一个为A股投资者打造的自动化日报工具如果你和我一样每天开盘前都要花上十几二十分钟手动去翻看各种财经网站、股票软件把大盘指数、板块涨跌、自选股异动、新闻公告等信息拼凑在一起才能对当天的市场有个初步判断那你一定会觉得这个过程既繁琐又低效。尤其是在信息爆炸的今天如何从海量数据中快速提取出对自己决策有用的核心信息是每个个人投资者都面临的痛点。“Shoukuan/a-share-daily-report”这个项目正是为了解决这个痛点而生。它本质上是一个自动化脚本工具通过程序化的方式每天定时从公开的财经数据源如新浪财经、东方财富等抓取A股市场的关键数据经过清洗、分析和格式化最终生成一份结构清晰、重点突出的HTML或Markdown格式的日报并通过邮件或消息推送的方式发送给你。想象一下每天早上开盘前一份包含昨日市场回顾、今日重要资讯、自选股表现、技术指标预警的简报已经静静地躺在你的邮箱或手机里这能为你节省多少宝贵的时间和精力。这个项目特别适合以下几类人首先是像我这样的个人投资者尤其是偏向量化或技术分析需要稳定、客观数据输入的人群其次是金融相关行业的研究员或从业者可以用它作为辅助工具快速了解市场概貌最后任何对Python爬虫、数据分析自动化感兴趣的技术爱好者也能通过这个项目学习到数据获取、处理和邮件推送的完整链路。它的核心价值在于将重复、机械的信息收集工作自动化让你能把精力更聚焦于分析和决策本身。2. 核心需求与设计思路拆解2.1 为什么需要自动化日报在深入代码之前我们先聊聊需求。一个理想的A股日报应该包含什么根据我多年的盯盘经验至少需要以下几个模块大盘概览上证、深证、创业板、科创50等核心指数的涨跌幅、成交量、成交额。这是市场的“体温计”。板块热点当日领涨和领跌的行业板块这是发现市场资金流向和热点的关键。个股监控自己持仓或重点关注的股票列表的涨跌情况、成交额、是否有异常波动如涨跌停、放量等。资金流向北向资金沪股通、深股通的净流入流出情况这是影响市场情绪的重要指标。重要资讯前一交易日盘后及当日盘前发布的、可能影响市场的公司公告、行业政策、宏观经济新闻摘要。技术信号基于一些简单的技术指标如均线、MACD金叉死叉、RSI超买超卖对大盘或个股进行的预警。手动完成这些信息的收集意味着你需要打开多个网页或APP在不同界面间切换、复制粘贴、整理格式不仅容易出错而且情绪容易受到各种弹窗消息、夸张标题的影响。自动化日报的核心思路就是用代码模拟这个“打开-查看-记录”的过程但更快、更准、更冷静。2.2 技术选型与架构设计基于上述需求这个项目的技术栈选择非常经典和务实数据获取层爬虫使用requests库发起HTTP请求配合BeautifulSoup或lxml进行HTML解析。对于结构更清晰的API接口数据直接使用requests.get().json()解析。选择它们是因为足够轻量、灵活社区资源丰富能应对大部分财经网站的反爬策略如简单的请求头校验。数据处理层核心是pandas。抓取到的原始数据往往是列表或字典形式用pandas.DataFrame可以极其方便地进行清洗去重、处理缺失值、计算涨跌幅、成交额排名、筛选Top N板块和格式化。numpy可以作为辅助进行一些数值计算。报告生成层将处理好的DataFrame转换为可视化的报告。这里有两种主流选择HTML CSS使用Jinja2模板引擎。我们可以预先写好一个漂亮的HTML模板template.html里面留好“占位符”然后用Jinja2将数据填充进去。这种方式生成的报告最美观可以嵌入图表通过matplotlib或plotly生成图片base64编码后嵌入适合邮件发送。Markdown直接使用Python字符串拼接或模板生成.md文件。Markdown格式简洁兼容性好可以轻松粘贴到笔记软件如Notion、Obsidian或支持Markdown的聊天工具中也非常适合在GitHub等平台展示项目成果。任务调度与交付层调度在服务器或本地电脑上使用schedule库或操作系统的定时任务Linux的crontabWindows的任务计划程序来让脚本每天在固定时间如早上8点自动运行。交付生成报告后需要发送给用户。常用smtplib和email库通过SMTP协议发送邮件。对于更即时的方式可以考虑接入企业微信、钉钉、Telegram等机器人的Webhook接口通过requests发送消息。整个架构是典型的数据管道Data Pipeline思想采集 - 解析 - 清洗 - 分析 - 呈现 - 推送。每个环节相对独立通过函数或类进行封装使得后续维护和扩展比如增加新的数据源或分析指标非常清晰。3. 核心模块实现与实操要点3.1 数据抓取稳、准、快的秘诀数据是日报的基石。抓取环节最怕不稳定被反爬、不准确解析错误和速度慢。实战代码示例获取沪深指数行情import requests import pandas as pd from bs4 import BeautifulSoup import time def fetch_index_data(): 从新浪财经获取主要指数行情 返回一个包含指数名称、最新价、涨跌幅、涨跌额、成交量的DataFrame headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://finance.sina.com.cn/ } url https://hq.sinajs.cn/lists_sh000001,s_sz399001,s_sz399006,s_sh000688 # 上证深证创业板科创50 try: # 注意新浪这个接口返回的是gbk编码的文本格式特殊 resp requests.get(url, headersheaders, timeout10) resp.encoding gbk data_text resp.text index_list [] for line in data_text.strip().split(;): if not line: continue # 每行格式如var hq_str_s_sh000001上证指数,3234.1234,12.34,0.38,1234567,123456789; parts line.split() if len(parts) ! 2: continue code parts[0].split(_)[-1] # s_sh000001 - sh000001 values parts[1].strip().split(,) if len(values) 6: continue name, current, change, pct_change, volume, amount values[0], values[1], values[2], values[3], values[4], values[5] index_list.append({ 指数代码: code, 指数名称: name, 最新价: float(current) if current else 0, 涨跌额: float(change) if change else 0, 涨跌幅: f{float(pct_change) if pct_change else 0:.2f}%, 成交量(手): int(volume) if volume.isdigit() else 0, }) df_index pd.DataFrame(index_list) return df_index except Exception as e: print(f获取指数数据失败: {e}) return pd.DataFrame() # 使用示例 index_df fetch_index_data() print(index_df)注意财经网站的数据接口和页面结构可能会频繁变动这是写爬虫最头疼的地方。上述代码中的URL和解析逻辑仅作示例实际使用时需要根据目标网站的实时情况进行调整。务必在代码中加入充分的异常处理try-except和日志记录以便在接口失效时能快速发现问题。实操心得应对反爬策略伪装请求头User-Agent必须设置为常见的浏览器标识Referer有时也需要设置成目标网站的域名。控制请求频率在循环抓取多个股票或页面时一定要在请求间加入随机延时如time.sleep(random.uniform(1, 3))避免给服务器造成过大压力也降低被封IP的风险。使用Session对于需要维护Cookie的网站使用requests.Session()对象它可以自动处理Cookie模拟更真实的浏览器会话。考虑备用数据源不要只依赖一个数据源。可以为关键数据如指数行情准备1-2个备用接口如东方财富、腾讯财经的API当主数据源失效时能自动切换提高日报系统的鲁棒性。3.2 数据处理与分析从杂乱数据到清晰洞察抓取到的原始数据往往是文本、数字混杂的列表我们需要用pandas将其变成有意义的表格。实战代码示例板块热度分析假设我们从一个接口获取到了板块涨跌数据现在要找出当日涨幅前5和跌幅前5的板块。def analyze_sector_data(raw_sector_list): 分析板块数据计算涨幅排名并格式化输出 raw_sector_list: 列表每个元素是一个包含板块名、涨跌幅等信息的字典 df_sector pd.DataFrame(raw_sector_list) # 数据清洗确保涨跌幅是数值类型 # 假设原始数据中涨跌幅是字符串如 “2.35%” df_sector[涨跌幅_数值] df_sector[涨跌幅].str.strip(%).astype(float) # 排序 df_top_gainers df_sector.nlargest(5, 涨跌幅_数值)[[板块名称, 涨跌幅, 主力净流入(亿)]] df_top_losers df_sector.nsmallest(5, 涨跌幅_数值)[[板块名称, 涨跌幅, 主力净流入(亿)]] # 格式化例如将净流入单位统一保留两位小数 if 主力净流入(亿) in df_top_gainers.columns: df_top_gainers[主力净流入(亿)] df_top_gainers[主力净流入(亿)].apply(lambda x: f{float(x):.2f}) df_top_losers[主力净流入(亿)] df_top_losers[主力净流入(亿)].apply(lambda x: f{float(x):.2f}) return df_top_gainers, df_top_losers # 假设这是抓取到的原始数据 mock_sector_data [ {板块名称: 半导体, 涨跌幅: 5.23%, 主力净流入(亿): 12.5}, {板块名称: 新能源车, 涨跌幅: 3.78%, 主力净流入(亿): 8.9}, {板块名称: 白酒, 涨跌幅: -1.56%, 主力净流入(亿): -3.2}, {板块名称: 银行, 涨跌幅: -0.89%, 主力净流入(亿): -5.1}, # ... 更多数据 ] top_gainers, top_losers analyze_sector_data(mock_sector_data) print(涨幅前五板块) print(top_gainers.to_string(indexFalse)) print(\n跌幅前五板块) print(top_losers.to_string(indexFalse))实操心得让数据说话关键指标计算除了简单的排序可以计算板块的平均涨幅、资金净流入总额等从整体上把握市场情绪。对比分析将当日数据与前一交易日对比计算“连续上涨/下跌天数”、“资金流入趋势变化”等能发现更持续的动向。数据持久化将每天处理好的核心数据如指数收盘价保存到本地CSV文件或轻量级数据库如SQLite中。这样你就能基于历史数据计算移动平均线、构建简单的趋势图表让日报不仅有当日快照还有历史视角。3.3 报告生成美观与实用的平衡数据准备好了下一步是把它变成人类爱看的报告。这里以HTML报告为例展示如何使用Jinja2模板。第一步设计HTML模板 (report_template.html)!DOCTYPE html html head meta charsetUTF-8 titleA股市场日报 - {{ date }}/title style body { font-family: Segoe UI, Arial, sans-serif; margin: 40px; background-color: #f5f5f5; } .container { max-width: 1000px; margin: auto; background: white; padding: 30px; border-radius: 10px; box-shadow: 0 2px 15px rgba(0,0,0,0.1); } h1 { color: #2c3e50; border-bottom: 3px solid #3498db; padding-bottom: 10px; } h2 { color: #34495e; margin-top: 30px; } .positive { color: #e74c3c; font-weight: bold; } /* 上涨用红色 */ .negative { color: #27ae60; font-weight: bold; } /* 下跌用绿色A股习惯 */ table { width: 100%; border-collapse: collapse; margin: 20px 0; } th, td { border: 1px solid #ddd; padding: 12px 15px; text-align: center; } th { background-color: #3498db; color: white; } tr:nth-child(even) { background-color: #f9f9f9; } .footer { margin-top: 40px; text-align: center; color: #7f8c8d; font-size: 0.9em; } /style /head body div classcontainer h1 A股市场日报 - {{ date }}/h1 p报告生成时间{{ generation_time }}/p h21. 大盘指数概览/h2 {{ index_table|safe }} h22. 板块热点追踪/h2 h32.1 涨幅前五板块/h3 {{ sector_gainers_table|safe }} h32.2 跌幅前五板块/h3 {{ sector_losers_table|safe }} h23. 自选股监控/h2 {{ watchlist_table|safe }} h24. 资金流向/h2 p北向资金净流入span class{{ positive if northbound_flow|float 0 else negative }}{{ northbound_flow }} 亿元/span/p h25. 重要资讯摘要/h2 ul {% for news in news_list %} listrong{{ news.time }}/strong - {{ news.title }} (来源{{ news.source }})/li {% endfor %} /ul div classfooter p本报告由自动化工具生成数据来源于公开市场信息仅供参考不构成投资建议。/p p© 2023 A股日报系统/p /div /div /body /html第二步使用Python填充模板并生成HTMLfrom jinja2 import Environment, FileSystemLoader import datetime def generate_html_report(data_dict, output_pathdaily_report.html): 使用Jinja2模板和数据字典生成HTML报告 data_dict: 包含所有需要渲染到模板的数据的字典 # 设置Jinja2环境指定模板所在目录 env Environment(loaderFileSystemLoader(.)) # 假设模板在当前目录 template env.get_template(report_template.html) # 准备数据 context { date: datetime.datetime.now().strftime(%Y年%m月%d日), generation_time: datetime.datetime.now().strftime(%H:%M:%S), index_table: data_dict[index_df].to_html(classestable table-striped, indexFalse, escapeFalse), sector_gainers_table: data_dict[sector_gainers_df].to_html(indexFalse, escapeFalse), sector_losers_table: data_dict[sector_losers_df].to_html(indexFalse, escapeFalse), watchlist_table: data_dict[watchlist_df].to_html(indexFalse, escapeFalse), northbound_flow: data_dict.get(northbound_flow, 0.00), news_list: data_dict.get(news_list, []), } # 渲染HTML html_content template.render(context) # 写入文件 with open(output_path, w, encodingutf-8) as f: f.write(html_content) print(fHTML报告已生成{output_path}) return output_path # 假设data_dict已经包含了所有需要的DataFrame和数据 # generate_html_report(data_dict)提示DataFrame.to_html()方法非常强大可以直接将表格转为HTML字符串。通过escapeFalse参数可以允许HTML样式类如我们定义的positive,negative生效。但要注意如果数据中包含用户输入需警惕XSS攻击此时应使用escapeTrue默认。3.4 任务调度与自动推送让日报“活”起来报告生成了最后一步是让它每天自动运行并送到你面前。方案一使用Python schedule库适合长期运行的脚本import schedule import time from main import generate_daily_report_and_send # 假设这是你的主函数 def job(): print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 开始生成日报...) try: generate_daily_report_and_send() print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 日报生成并发送成功) except Exception as e: print(f[{time.strftime(%Y-%m-%d %H:%M:%S)}] 任务执行失败: {e}) # 设定每天上午8点30分执行 schedule.every().day.at(08:30).do(job) print(日报定时任务已启动等待执行...) while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次方案二使用系统Crontab更稳定推荐用于服务器在Linux或Mac的终端执行crontab -e添加一行30 8 * * * /usr/bin/python3 /path/to/your/report_script.py /path/to/logfile.log 21这表示每天8点30分系统会自动用Python3执行你的脚本并将所有输出包括错误记录到指定的日志文件中。Windows系统可以使用“任务计划程序”实现类似功能。邮件推送实现import smtplib from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart from email.header import Header def send_email_via_smtp(html_report_path, receiver_emails): 通过SMTP发送HTML格式的邮件报告 # 发件人邮箱配置以QQ邮箱为例需开启SMTP服务并获取授权码 smtp_server smtp.qq.com smtp_port 465 sender_email your_emailqq.com sender_password your_authorization_code # 注意是授权码不是邮箱密码 # 创建邮件 msg MIMEMultipart(alternative) msg[From] Header(A股日报机器人 %s % sender_email, utf-8) msg[To] Header(,.join(receiver_emails), utf-8) msg[Subject] Header(fA股市场日报 {datetime.date.today()}, utf-8) # 读取HTML报告内容 with open(html_report_path, r, encodingutf-8) as f: html_content f.read() # 添加HTML正文 part_html MIMEText(html_content, html, utf-8) msg.attach(part_html) # 发送邮件 try: # 使用SSL加密连接 server smtplib.SMTP_SSL(smtp_server, smtp_port) server.login(sender_email, sender_password) server.sendmail(sender_email, receiver_emails, msg.as_string()) server.quit() print(邮件发送成功) except Exception as e: print(f邮件发送失败: {e}) # 使用示例 # send_email_via_smtp(daily_report.html, [receiver1example.com, receiver2example.com])重要安全提示切勿将邮箱密码或授权码直接硬编码在脚本中并上传到GitHub等公开仓库务必使用环境变量或配置文件来管理这些敏感信息。例如可以创建一个config.ini文件加入.gitignore在脚本中读取。4. 常见问题与排查技巧实录在实际搭建和运行这个系统的过程中我踩过不少坑。这里把最常见的问题和解决方法整理出来希望能帮你节省时间。4.1 数据抓取失败问题表现脚本运行时报错ConnectionError,Timeout, 或返回的HTML内容为空/不符合预期。排查思路检查网络与目标网站首先手动在浏览器中打开目标URL确认网站可访问且数据正常显示。模拟浏览器请求查看请求头用浏览器的开发者工具F12查看获取数据时发送的HTTP请求头特别是User-Agent,Referer,Cookie。确保你的爬虫代码中包含了必要的请求头。处理动态加载如果数据是通过JavaScript动态加载的页面源代码里没有简单的requestsBeautifulSoup就无效了。这时可以考虑寻找网站提供的官方或非官方API接口通常通过抓包工具分析XHR/Fetch请求。使用Selenium或Playwright这类浏览器自动化工具来模拟真实用户操作获取渲染后的页面内容。但这会大大增加复杂性和运行时间仅作为最后手段。应对反爬IP被封这是最棘手的问题。对于个人低频使用通过添加随机延时time.sleep通常可以避免。如果频率较高可能需要考虑使用代理IP池但这超出了简单日报工具的范围。验证码一般财经网站对行情数据接口不会设验证码。如果遇到说明你的请求行为被判定为异常需要降低频率或优化请求头。代码健壮性务必用try...except包裹数据抓取代码并记录详细的错误日志。对于关键数据如大盘指数最好有备用数据源逻辑。4.2 数据解析错误问题表现能抓到数据但解析时出错比如KeyError,IndexError或者解析出的数据是乱码。排查思路打印原始响应在解析前先print(resp.text[:500])或保存到文件确认你拿到的是预期的数据格式是JSON、XML还是特定格式的文本。检查编码中文网站常见的编码问题。如果返回内容乱码尝试resp.encoding gbk或resp.encoding utf-8。也可以通过resp.apparent_encoding让requests自动判断。确认数据结构网站改版是常事。定期检查你的解析逻辑XPath、CSS选择器或字符串分割规则是否仍然匹配最新的网页结构。写解析代码时尽量使用更稳定的特征如HTML元素的id或特定的class避免使用容易变动的位置索引。使用更健壮的解析方法对于复杂的HTMLBeautifulSoup比简单的字符串处理更可靠。对于JSON数据使用json.loads()解析后通过键名访问前先用.get(key, default_value)方法避免因键不存在而报错。4.3 定时任务不执行问题表现配置了crontab或schedule但脚本没有在预定时间运行。排查思路检查crontab语法和路径crontab -l查看任务列表是否正确。使用绝对路径crontab的执行环境与用户shell环境不同。脚本路径和Python解释器路径都必须使用绝对路径如/usr/bin/python3,/home/user/project/main.py。环境变量如果你的脚本依赖某些环境变量如PATH需要在crontab任务中显式设置或者在脚本开头通过sys.path指定模块搜索路径。检查文件权限确保脚本文件有可执行权限 (chmod x your_script.py)。重定向输出查日志这是最有效的调试方法。在crontab命令末尾加上 /tmp/cron.log 21将标准输出和错误输出都重定向到一个日志文件。运行后查看该文件里面通常会有具体的错误信息如“ModuleNotFoundError”。对于Python schedule脚本确保主程序在while True循环中持续运行没有被意外终止。可以将脚本作为后台服务运行如使用systemd或supervisor管理。4.4 邮件发送失败问题表现脚本运行正常报告也生成了但收不到邮件。排查思路检查发件邮箱设置SMTP服务是否开启以QQ邮箱为例需要登录网页版邮箱在“设置”-“账户”中开启“POP3/SMTP服务”并生成一个授权码不是邮箱密码。服务器和端口确认使用的SMTP服务器地址和端口号SSL通常是465TLS通常是587是否正确。检查收件地址和网络确认收件邮箱地址拼写无误。检查运行脚本的服务器或电脑的网络是否能连接到SMTP服务器有些公司内网会屏蔽外部SMTP端口。查看错误信息smtplib库会抛出比较明确的异常根据错误信息如认证失败、连接被拒绝进行排查。警惕垃圾邮件有时邮件发送成功但被收件箱的垃圾邮件规则过滤了。可以检查垃圾邮件文件夹或者优化邮件主题和内容避免使用过于营销化的词汇。4.5 日报内容过于庞杂或简略问题表现日报信息太多看不完或者信息太少不够用。优化建议模块化与可配置在代码中设计一个配置文件如config.yaml让用户可以选择启用或禁用哪些模块如“是否包含北向资金”、“是否包含新闻”甚至可以自定义监控的股票列表。信息分级将信息分为“核心摘要”和“详细数据”。在邮件正文或推送消息中只放核心摘要如大盘涨跌、最强最弱板块详细报告以HTML附件或链接形式提供。个性化预警增加阈值预警功能。例如在配置文件中设定“自选股涨跌幅超过±5%时高亮显示”、“北向资金净流出超50亿时发送特别提醒”。这样日报就从“信息罗列”升级为“决策辅助”。5. 进阶优化与扩展方向一个能稳定运行的基础版日报系统搭建完成后你可以根据自身需求对它进行各种“升级改造”。5.1 数据持久化与简单回测目前我们的日报只关注当日数据。如果我们将每天的关键数据如指数收盘价、自选股价格保存下来就能做很多有趣的分析。import sqlite3 import pandas as pd def save_daily_data_to_db(data_dict, db_pathstock_data.db): 将当日数据存入SQLite数据库 conn sqlite3.connect(db_path) today datetime.date.today().isoformat() # 保存指数数据 df_index data_dict[index_df].copy() df_index[date] today df_index.to_sql(index_daily, conn, if_existsappend, indexFalse) # 保存自选股数据 df_watchlist data_dict[watchlist_df].copy() df_watchlist[date] today df_watchlist.to_sql(watchlist_daily, conn, if_existsappend, indexFalse) conn.close() def generate_simple_trend_report(db_pathstock_data.db, days30): 生成近期趋势报告例如上证指数近30日的收盘价走势 conn sqlite3.connect(db_path) query SELECT date, 最新价 as close_price FROM index_daily WHERE 指数名称上证指数 ORDER BY date DESC LIMIT ? df_trend pd.read_sql_query(query, conn, params(days,)) conn.close() # 计算简单移动平均线 df_trend[MA5] df_trend[close_price].rolling(window5).mean() df_trend[MA20] df_trend[close_price].rolling(window20).mean() # 这里可以进一步将df_trend用matplotlib画图并保存为图片嵌入日报 return df_trend有了历史数据你可以在日报中加入一个小节“近期趋势”用文字描述当前价格与5日、20日均线的位置关系或者直接生成一个简单的趋势图图片插入HTML报告中。5.2 接入更多数据源与指标财务数据可以定期爬取个股的市盈率PE、市净率PB、每股收益EPS等基本面数据在日报中标记出估值处于历史低位的股票。情绪指标爬取股吧、雪球等平台的讨论热词或舆情分析这需要更复杂的文本处理甚至NLP技术作为市场情绪的辅助参考。宏观数据整合一些宏观经济数据的发布日历和简要结果如CPI、PPI、PMI帮助理解大的市场背景。5.3 部署到云服务器与监控为了让日报系统真正实现7x24小时无人值守运行最好将它部署到一台云服务器上。选择服务器腾讯云、阿里云等提供有低成本的轻量应用服务器或函数计算服务足够运行这样的Python脚本。环境部署在服务器上安装Python环境、项目依赖使用requirements.txt文件管理。使用进程守护如果你用schedule最好用supervisor或systemd来管理Python进程确保脚本崩溃后能自动重启。添加监控告警为脚本添加运行状态监控。最简单的方式是在脚本成功运行后向一个特定的监控邮箱或聊天群发送一条“今日日报任务执行成功”的消息。如果长时间没收到成功消息就说明系统可能出问题了。5.4 生成更专业的分析图表文字和表格虽然直观但图表更能揭示趋势和模式。你可以用matplotlib或plotly库生成图表然后嵌入报告。import matplotlib.pyplot as plt import io import base64 def plot_index_trend(df_trend): 生成指数趋势图并返回base64编码的图片字符串用于嵌入HTML plt.figure(figsize(10, 6)) plt.plot(df_trend[date], df_trend[close_price], label收盘价, linewidth2) plt.plot(df_trend[date], df_trend[MA5], label5日均线, linestyle--) plt.plot(df_trend[date], df_trend[MA20], label20日均线, linestyle:) plt.title(上证指数近期走势) plt.xlabel(日期) plt.ylabel(点数) plt.legend() plt.grid(True, alpha0.3) plt.xticks(rotation45) plt.tight_layout() # 将图片保存到内存缓冲区并转为base64 buf io.BytesIO() plt.savefig(buf, formatpng, dpi100) buf.seek(0) img_base64 base64.b64encode(buf.read()).decode(utf-8) plt.close() # 关闭图形释放内存 return img_base64 # 在Jinja2模板中可以这样嵌入图片 # img srcdata:image/png;base64,{{ trend_image_base64 }} alt指数趋势图这个项目从简单的数据抓取开始可以像搭积木一样根据你的投资风格和知识储备不断添加新的功能模块。它不仅是你的自动化投资助手也是一个绝佳的Python实战项目涵盖了爬虫、数据分析、Web开发、自动化运维等多个领域。最重要的是通过亲手搭建它你会对市场的运行和数据本身有更深刻、更理性的认识。
