Python爬虫数据清洗后的人脸分析集成MogFace-large进行智能处理1. 引言你有没有想过每天浏览的新闻网站里哪些类型的内容更偏爱使用人物图片是财经新闻里西装革履的企业家更多还是娱乐版块里明星的面孔更常见对于媒体分析、市场研究甚至是内容创作者来说理解这种视觉元素的分布规律往往能揭示出一些有趣的洞察。传统上这类分析需要人工一张张图片去查看、统计既耗时又容易出错。但现在我们可以用技术让这个过程变得自动化且智能。这篇文章我就想和你分享一个我最近实践的完整方案用Python爬虫抓取新闻网站的图片然后利用一个叫MogFace-large的先进人脸检测模型自动分析这些图片里有多少张人脸最后再把这些数据变成一目了然的图表。整个过程就像搭建一条数据流水线从源头采集到中间处理再到最终呈现全部由代码自动完成。这不仅大大提升了效率也让分析结果更加客观和可量化。接下来我就带你一步步走通这条流水线看看技术如何帮助我们更聪明地“看”新闻。2. 方案全景从图片到洞察的三步走在深入代码细节之前我们先从整体上把握这个项目要做什么。你可以把它想象成一个三步走的自动化工厂流水线。第一步是原料采集。我们需要从目标新闻网站比如某个大型新闻门户上自动、批量地下载图片。这一步的核心是Python爬虫它会模拟浏览器访问网页定位到图片链接并把它们保存到我们的本地仓库。我们会针对不同的新闻类别如政治、经济、娱乐、体育分别抓取为后续的分类分析打好基础。第二步是智能加工。采集来的图片“原料”质量参差不齐有的可能根本不是人物照片有的可能包含多张脸。这一步就需要MogFace-large登场了。它是一个专门用于检测图片中人脸的深度学习模型特点是精度高尤其擅长处理复杂场景下的小尺寸人脸。我们的脚本会读取每一张图片交给MogFace-large去“看一看”然后准确地告诉我们图片里有多少张脸以及每张脸的位置。第三步是成品包装与展示。拿到了每张图片的人脸数量数据以及它们所属的新闻类别最后一步就是做统计分析并可视化。我们会计算每个新闻类别下图片中出现人脸的平均频率、分布情况等然后用柱状图、饼图等图表直观地展示出来。一份清晰的数据报告就此生成。整个方案的魅力在于它的端到端自动化。你只需要设定好目标网站和分类规则运行脚本就可以坐等一份详尽的视觉内容分析报告。下面我们就来拆解每一个环节的具体实现。3. 第一步用Python爬虫构建图片仓库首先我们来解决“原料”问题。这里我以一个有清晰分类结构的新闻门户网站为例进行说明。在实际操作中请务必遵守目标网站的robots.txt协议并控制请求频率避免对服务器造成压力。3.1 环境准备与基础爬取我们需要安装几个关键的Python库requests用于网络请求BeautifulSoup4用于解析HTMLPillow用于后续可能的图片处理。pip install requests beautifulsoup4 Pillow假设我们要爬取“财经”、“娱乐”、“体育”、“科技”四个栏目的图片。核心思路是遍历每个栏目的页面列表提取文章详情页链接再进入详情页定位并下载图片。import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin import time # 基础配置 BASE_URL “https://example-news-site.com” # 替换为实际网址 CATEGORIES [‘finance’ ‘entertainment’ ‘sports’ ‘tech’] HEADERS { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’ } DOWNLOAD_DIR “./news_images” # 为每个类别创建文件夹 for category in CATEGORIES: os.makedirs(os.path.join(DOWNLOAD_DIR category) exist_okTrue) def download_image(img_url save_path): “”“下载单张图片”“” try: resp requests.get(img_url headersHEADERS timeout10) resp.raise_for_status() with open(save_path ‘wb’) as f: f.write(resp.content) print(f”成功下载: {save_path}“) return True except Exception as e: print(f”下载失败 {img_url}: {e}“) return False def crawl_category(category_name max_pages5): “”“爬取单个栏目的图片”“” print(f”开始爬取栏目: {category_name}“) for page in range(1 max_pages1): # 构建栏目列表页URL此处URL结构需根据实际网站调整 list_url f”{BASE_URL}/{category_name}/page/{page}“ try: list_resp requests.get(list_url headersHEADERS) soup BeautifulSoup(list_resp.text ‘html.parser’) # 假设文章链接在class为‘article-link’的a标签里 article_links soup.find_all(‘a’ class_‘article-link’ hrefTrue) for link in article_links[:10]: # 每页只处理前10篇文章避免过量 article_url urljoin(BASE_URL link[‘href’]) crawl_article_for_images(article_url category_name) time.sleep(1) # 礼貌性延迟 except Exception as e: print(f”爬取列表页 {list_url} 时出错: {e}“) time.sleep(2) # 页面间延迟 def crawl_article_for_images(article_url category): “”“从文章详情页提取并下载图片”“” try: resp requests.get(article_url headersHEADERS) soup BeautifulSoup(resp.text ‘html.parser’) # 假设正文图片在img标签中且class包含‘content-img’ img_tags soup.find_all(‘img’ class_lambda c: c and ‘content-img’ in c) for idx img in enumerate(img_tags): img_src img.get(‘src’) if img_src: # 处理可能的相对路径 full_img_url urljoin(article_url img_src) # 生成文件名 filename f”{category}_{int(time.time())}_{idx}.jpg“ save_path os.path.join(DOWNLOAD_DIR category filename) download_image(full_img_url save_path) except Exception as e: print(f”处理文章 {article_url} 时出错: {e}“) if __name__ “__main__”: for cat in CATEGORIES: crawl_category(cat max_pages3) # 每个栏目爬3页 print(“图片爬取任务完成”)这段代码搭建了一个基础的爬虫框架。它按照栏目分类下载图片并保存到对应的文件夹里。你需要根据目标网站的实际HTML结构调整查找文章链接和图片标签的逻辑。3.2 数据清洗与整理爬下来的图片不一定都有效可能混入了图标、Logo或者损坏的图片。在进入人脸分析前做一次简单的清洗很有必要。from PIL import Image import os def clean_image_directory(category_path): “”“清洗某个类别文件夹下的图片”“” valid_extensions (‘.jpg’ ‘.jpeg’ ‘.png’ ‘.bmp’) for filename in os.listdir(category_path): filepath os.path.join(category_path filename) try: # 检查文件扩展名 if not filename.lower().endswith(valid_extensions): os.remove(filepath) print(f”移除非图片文件: {filename}“) continue # 尝试打开图片验证是否损坏 with Image.open(filepath) as img: img.verify() # 验证完整性 # 可选过滤掉尺寸过小的图片如小于50x50 if img.size[0] 50 or img.size[1] 50: os.remove(filepath) print(f”移除尺寸过小图片: {filename}“) except (IOError SyntaxError Exception) as e: print(f”图片 {filename} 损坏或无效已删除。错误: {e}“) os.remove(filepath) # 清洗所有类别的图片 for category in CATEGORIES: cat_path os.path.join(DOWNLOAD_DIR category) if os.path.exists(cat_path): clean_image_directory(cat_path) print(“图片清洗完成”)经过这一步我们得到了一个干净、分好类的本地图片数据集可以放心地交给下一步的人脸检测模型了。4. 第二步集成MogFace-large进行人脸检测与计数现在流水线来到了最核心的智能处理环节。我们将使用MogFace-large这个人脸检测模型来“审视”每一张图片。4.1 为什么选择MogFace-large在人脸检测领域模型选择很多。我选择MogFace-large主要是看中它在复杂场景下的稳健表现。相比于一些通用模型它在检测小脸、模糊脸以及侧脸时的精度更高这对于新闻图片这种包含多人、远景、复杂背景的场景非常合适。你可以把它理解为一个眼神特别好的“质检员”能确保我们统计的人脸数量尽可能准确。4.2 环境搭建与模型加载我们使用基于PyTorch的框架来运行MogFace。首先安装依赖。pip install torch torchvision opencv-python由于MogFace-large不是直接通过pip安装的预训练模型我们需要从开源仓库如GitHub获取模型定义和权重文件。这里我假设你已经将模型文件mogface_large.pth和对应的代码工具类准备好了。import torch import cv2 import numpy as np from mogface_detector import MogFaceDetector # 假设这是封装好的检测器类 import os # 初始化检测器 device ‘cuda’ if torch.cuda.is_available() else ‘cpu’ print(f”使用设备: {device}“) # 初始化检测器需要你根据获取的模型实现此类 detector MogFaceDetector( model_path‘./models/mogface_large.pth’ devicedevice ) def detect_faces_in_image(image_path): “”“检测单张图片中的人脸返回人脸框列表和数量”“” # 读取图片 img cv2.imread(image_path) if img is None: print(f”无法读取图片: {image_path}“) return [] 0 # 转换为RGB如果模型需要 img_rgb cv2.cvtColor(img cv2.COLOR_BGR2RGB) # 进行人脸检测 # 这里detect方法返回的格式取决于你的MogFaceDetector实现 # 通常返回一个列表每个元素是[x_min y_min x_max y_max confidence] face_boxes detector.detect(img_rgb) # 过滤低置信度的检测结果例如置信度0.7 confident_faces [box for box in face_boxes if box[4] 0.7] return confident_faces len(confident_faces)4.3 批量处理与结果记录接下来我们遍历所有清洗后的图片进行批量人脸检测并把结果图片路径、人脸数量、所属类别保存下来。import pandas as pd results [] for category in CATEGORIES: cat_path os.path.join(DOWNLOAD_DIR category) if not os.path.exists(cat_path): continue image_files [f for f in os.listdir(cat_path) if f.lower().endswith((‘.jpg’ ‘.jpeg’ ‘.png’))] print(f”正在处理类别 ‘{category}’ 共 {len(image_files)} 张图片。”) for img_file in image_files: img_path os.path.join(cat_path img_file) face_boxes face_count detect_faces_in_image(img_path) # 将结果存入列表 results.append({ ‘category’: category ‘image_path’: img_path ‘face_count’: face_count ‘face_boxes’: face_boxes # 保存框信息可用于可视化校验 }) # 可选在图片上画出人脸框用于人工校验调试时使用 # if face_count 0: # img_with_boxes draw_boxes_on_image(cv2.imread(img_path) face_boxes) # cv2.imwrite(f”./debug/{category}_{img_file}” img_with_boxes) # 将结果转换为DataFrame并保存 df_results pd.DataFrame(results) df_results.to_csv(‘./face_detection_results.csv’ indexFalse) print(f”人脸检测完成共处理 {len(df_results)} 张图片结果已保存。”)运行这段代码后你会得到一个CSV文件里面清晰地记录了每张图片的“身份”以及它里面包含的人脸数量。数据已经准备就绪就等最后的分析和展示了。5. 第三步统计分析与人脸数据可视化流水线的最后一站是把冷冰冰的数字变成热乎乎的洞察。我们使用pandas进行数据分析用matplotlib和seaborn来制作图表。5.1 基础统计分析首先我们加载上一步生成的结果数据进行一些基本的统计计算。import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 设置中文字体如果需要显示中文 # plt.rcParams[‘font.sans-serif’] [‘SimHei’] # plt.rcParams[‘axes.unicode_minus’] False # 加载数据 df pd.read_csv(‘./face_detection_results.csv’) # 1. 总体情况概览 total_images len(df) total_faces df[‘face_count’].sum() avg_faces_per_image total_faces / total_images print(f”总图片数: {total_images}“) print(f”总人脸数: {total_faces}“) print(f”平均每张图片人脸数: {avg_faces_per_image:.2f}“) # 2. 按新闻类别统计 category_stats df.groupby(‘category’)[‘face_count’].agg([‘count’ ‘sum’ ‘mean’]) category_stats.columns [‘图片数量’ ‘总人脸数’ ‘平均人脸数’] print(“\n按类别统计:”) print(category_stats)5.2 生成可视化报告数字表格不够直观我们通过图表来讲述数据故事。# 创建可视化图表 fig axes plt.subplots(2 2 figsize(14 10)) fig.suptitle(‘新闻图片人脸分析报告’ fontsize16) # 图表1各类别图片数量分布 ax1 axes[0 0] category_stats[‘图片数量’].plot(kind‘bar’ axax1 color‘skyblue’) ax1.set_title(‘各新闻类别图片数量’) ax1.set_ylabel(‘图片数量’) ax1.tick_params(axis‘x’ rotation45) # 图表2各类别平均每张图片人脸数 ax2 axes[0 1] category_stats[‘平均人脸数’].plot(kind‘bar’ axax2 color‘lightcoral’) ax2.set_title(‘各新闻类别平均人脸数’) ax2.set_ylabel(‘平均人脸数’) ax2.axhline(yavg_faces_per_image color‘r’ linestyle‘--’ labelf’全局平均 ({avg_faces_per_image:.2f})‘) ax2.legend() ax2.tick_params(axis‘x’ rotation45) # 图表3人脸数量分布直方图所有图片 ax3 axes[1 0] # 查看人脸数量的分布范围合理设置bins max_faces df[‘face_count’].max() bins range(0 min(max_faces 10) 2) # 假设我们关注0-10张脸的分布 df[‘face_count’].plot(kind‘hist’ binsbins axax3 edgecolor‘black’ alpha0.7) ax3.set_title(‘所有图片中人脸数量分布’) ax3.set_xlabel(‘单张图片中人脸数量’) ax3.set_ylabel(‘图片数量’) # 图表4带人脸 vs 无人脸图片比例饼图 ax4 axes[1 1] has_face (df[‘face_count’] 0).sum() no_face total_images - has_face sizes [has_face no_face] labels [f’含人脸 ({has_face})‘ f’无人脸 ({no_face})‘] colors [‘gold’ ‘lightgray’] ax4.pie(sizes labelslabels colorscolors autopct‘%1.1f%%’ startangle90) ax4.set_title(‘含人脸图片比例’) plt.tight_layout() plt.savefig(‘./news_face_analysis_report.png’ dpi300 bbox_inches‘tight’) plt.show()运行这段代码你会得到一张包含四个子图的分析报告。从这些图表中你可以快速得到一些洞察比如“娱乐”类新闻的图片平均人脸数可能最高且单人特写居多人脸数量为1的图片占比大而“财经”类新闻可能更多是无人物的图表或场景图。这些发现对于理解不同新闻版块的视觉内容策略非常有价值。6. 总结走完这一整套流程你会发现将Python爬虫、MogFace-large这样的人工智能模型以及数据可视化技术串联起来能够构建出一个非常实用的分析工具。它把原本需要人工肉眼筛查的繁琐工作变成了自动、快速、可重复的数据流水线。实际跑下来这个方案最让我满意的地方是它的灵活性和扩展性。今天我们是分析新闻图片的人脸明天你完全可以换个目标网站或者换个分析维度比如检测图片中的特定物体车、logo、分析图片色彩情绪等只需要替换爬虫规则和AI模型即可。MogFace-large的检测精度在新闻图片这种多样化的数据集上表现可靠为后续的统计分析打下了扎实的基础。当然在实际操作中你可能会遇到一些挑战比如网站反爬机制、图片格式异常、模型在极端情况下的误检等。这时就需要你在爬虫部分增加更完善的错误处理和伪装策略在数据分析部分加入一些人工抽样校验的环节。但整体框架是经得起考验的。如果你对媒体内容分析、市场趋势研究或者单纯是对用技术解决实际问题感兴趣我非常建议你动手试试这个项目。从选择一个你感兴趣的网站开始一步步实现这条流水线亲眼看看数据如何被采集、清洗、分析最终变成有意义的图表这个过程本身就充满了乐趣和成就感。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Python爬虫数据清洗后的人脸分析：集成MogFace-large进行智能处理
Python爬虫数据清洗后的人脸分析集成MogFace-large进行智能处理1. 引言你有没有想过每天浏览的新闻网站里哪些类型的内容更偏爱使用人物图片是财经新闻里西装革履的企业家更多还是娱乐版块里明星的面孔更常见对于媒体分析、市场研究甚至是内容创作者来说理解这种视觉元素的分布规律往往能揭示出一些有趣的洞察。传统上这类分析需要人工一张张图片去查看、统计既耗时又容易出错。但现在我们可以用技术让这个过程变得自动化且智能。这篇文章我就想和你分享一个我最近实践的完整方案用Python爬虫抓取新闻网站的图片然后利用一个叫MogFace-large的先进人脸检测模型自动分析这些图片里有多少张人脸最后再把这些数据变成一目了然的图表。整个过程就像搭建一条数据流水线从源头采集到中间处理再到最终呈现全部由代码自动完成。这不仅大大提升了效率也让分析结果更加客观和可量化。接下来我就带你一步步走通这条流水线看看技术如何帮助我们更聪明地“看”新闻。2. 方案全景从图片到洞察的三步走在深入代码细节之前我们先从整体上把握这个项目要做什么。你可以把它想象成一个三步走的自动化工厂流水线。第一步是原料采集。我们需要从目标新闻网站比如某个大型新闻门户上自动、批量地下载图片。这一步的核心是Python爬虫它会模拟浏览器访问网页定位到图片链接并把它们保存到我们的本地仓库。我们会针对不同的新闻类别如政治、经济、娱乐、体育分别抓取为后续的分类分析打好基础。第二步是智能加工。采集来的图片“原料”质量参差不齐有的可能根本不是人物照片有的可能包含多张脸。这一步就需要MogFace-large登场了。它是一个专门用于检测图片中人脸的深度学习模型特点是精度高尤其擅长处理复杂场景下的小尺寸人脸。我们的脚本会读取每一张图片交给MogFace-large去“看一看”然后准确地告诉我们图片里有多少张脸以及每张脸的位置。第三步是成品包装与展示。拿到了每张图片的人脸数量数据以及它们所属的新闻类别最后一步就是做统计分析并可视化。我们会计算每个新闻类别下图片中出现人脸的平均频率、分布情况等然后用柱状图、饼图等图表直观地展示出来。一份清晰的数据报告就此生成。整个方案的魅力在于它的端到端自动化。你只需要设定好目标网站和分类规则运行脚本就可以坐等一份详尽的视觉内容分析报告。下面我们就来拆解每一个环节的具体实现。3. 第一步用Python爬虫构建图片仓库首先我们来解决“原料”问题。这里我以一个有清晰分类结构的新闻门户网站为例进行说明。在实际操作中请务必遵守目标网站的robots.txt协议并控制请求频率避免对服务器造成压力。3.1 环境准备与基础爬取我们需要安装几个关键的Python库requests用于网络请求BeautifulSoup4用于解析HTMLPillow用于后续可能的图片处理。pip install requests beautifulsoup4 Pillow假设我们要爬取“财经”、“娱乐”、“体育”、“科技”四个栏目的图片。核心思路是遍历每个栏目的页面列表提取文章详情页链接再进入详情页定位并下载图片。import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin import time # 基础配置 BASE_URL “https://example-news-site.com” # 替换为实际网址 CATEGORIES [‘finance’ ‘entertainment’ ‘sports’ ‘tech’] HEADERS { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’ } DOWNLOAD_DIR “./news_images” # 为每个类别创建文件夹 for category in CATEGORIES: os.makedirs(os.path.join(DOWNLOAD_DIR category) exist_okTrue) def download_image(img_url save_path): “”“下载单张图片”“” try: resp requests.get(img_url headersHEADERS timeout10) resp.raise_for_status() with open(save_path ‘wb’) as f: f.write(resp.content) print(f”成功下载: {save_path}“) return True except Exception as e: print(f”下载失败 {img_url}: {e}“) return False def crawl_category(category_name max_pages5): “”“爬取单个栏目的图片”“” print(f”开始爬取栏目: {category_name}“) for page in range(1 max_pages1): # 构建栏目列表页URL此处URL结构需根据实际网站调整 list_url f”{BASE_URL}/{category_name}/page/{page}“ try: list_resp requests.get(list_url headersHEADERS) soup BeautifulSoup(list_resp.text ‘html.parser’) # 假设文章链接在class为‘article-link’的a标签里 article_links soup.find_all(‘a’ class_‘article-link’ hrefTrue) for link in article_links[:10]: # 每页只处理前10篇文章避免过量 article_url urljoin(BASE_URL link[‘href’]) crawl_article_for_images(article_url category_name) time.sleep(1) # 礼貌性延迟 except Exception as e: print(f”爬取列表页 {list_url} 时出错: {e}“) time.sleep(2) # 页面间延迟 def crawl_article_for_images(article_url category): “”“从文章详情页提取并下载图片”“” try: resp requests.get(article_url headersHEADERS) soup BeautifulSoup(resp.text ‘html.parser’) # 假设正文图片在img标签中且class包含‘content-img’ img_tags soup.find_all(‘img’ class_lambda c: c and ‘content-img’ in c) for idx img in enumerate(img_tags): img_src img.get(‘src’) if img_src: # 处理可能的相对路径 full_img_url urljoin(article_url img_src) # 生成文件名 filename f”{category}_{int(time.time())}_{idx}.jpg“ save_path os.path.join(DOWNLOAD_DIR category filename) download_image(full_img_url save_path) except Exception as e: print(f”处理文章 {article_url} 时出错: {e}“) if __name__ “__main__”: for cat in CATEGORIES: crawl_category(cat max_pages3) # 每个栏目爬3页 print(“图片爬取任务完成”)这段代码搭建了一个基础的爬虫框架。它按照栏目分类下载图片并保存到对应的文件夹里。你需要根据目标网站的实际HTML结构调整查找文章链接和图片标签的逻辑。3.2 数据清洗与整理爬下来的图片不一定都有效可能混入了图标、Logo或者损坏的图片。在进入人脸分析前做一次简单的清洗很有必要。from PIL import Image import os def clean_image_directory(category_path): “”“清洗某个类别文件夹下的图片”“” valid_extensions (‘.jpg’ ‘.jpeg’ ‘.png’ ‘.bmp’) for filename in os.listdir(category_path): filepath os.path.join(category_path filename) try: # 检查文件扩展名 if not filename.lower().endswith(valid_extensions): os.remove(filepath) print(f”移除非图片文件: {filename}“) continue # 尝试打开图片验证是否损坏 with Image.open(filepath) as img: img.verify() # 验证完整性 # 可选过滤掉尺寸过小的图片如小于50x50 if img.size[0] 50 or img.size[1] 50: os.remove(filepath) print(f”移除尺寸过小图片: {filename}“) except (IOError SyntaxError Exception) as e: print(f”图片 {filename} 损坏或无效已删除。错误: {e}“) os.remove(filepath) # 清洗所有类别的图片 for category in CATEGORIES: cat_path os.path.join(DOWNLOAD_DIR category) if os.path.exists(cat_path): clean_image_directory(cat_path) print(“图片清洗完成”)经过这一步我们得到了一个干净、分好类的本地图片数据集可以放心地交给下一步的人脸检测模型了。4. 第二步集成MogFace-large进行人脸检测与计数现在流水线来到了最核心的智能处理环节。我们将使用MogFace-large这个人脸检测模型来“审视”每一张图片。4.1 为什么选择MogFace-large在人脸检测领域模型选择很多。我选择MogFace-large主要是看中它在复杂场景下的稳健表现。相比于一些通用模型它在检测小脸、模糊脸以及侧脸时的精度更高这对于新闻图片这种包含多人、远景、复杂背景的场景非常合适。你可以把它理解为一个眼神特别好的“质检员”能确保我们统计的人脸数量尽可能准确。4.2 环境搭建与模型加载我们使用基于PyTorch的框架来运行MogFace。首先安装依赖。pip install torch torchvision opencv-python由于MogFace-large不是直接通过pip安装的预训练模型我们需要从开源仓库如GitHub获取模型定义和权重文件。这里我假设你已经将模型文件mogface_large.pth和对应的代码工具类准备好了。import torch import cv2 import numpy as np from mogface_detector import MogFaceDetector # 假设这是封装好的检测器类 import os # 初始化检测器 device ‘cuda’ if torch.cuda.is_available() else ‘cpu’ print(f”使用设备: {device}“) # 初始化检测器需要你根据获取的模型实现此类 detector MogFaceDetector( model_path‘./models/mogface_large.pth’ devicedevice ) def detect_faces_in_image(image_path): “”“检测单张图片中的人脸返回人脸框列表和数量”“” # 读取图片 img cv2.imread(image_path) if img is None: print(f”无法读取图片: {image_path}“) return [] 0 # 转换为RGB如果模型需要 img_rgb cv2.cvtColor(img cv2.COLOR_BGR2RGB) # 进行人脸检测 # 这里detect方法返回的格式取决于你的MogFaceDetector实现 # 通常返回一个列表每个元素是[x_min y_min x_max y_max confidence] face_boxes detector.detect(img_rgb) # 过滤低置信度的检测结果例如置信度0.7 confident_faces [box for box in face_boxes if box[4] 0.7] return confident_faces len(confident_faces)4.3 批量处理与结果记录接下来我们遍历所有清洗后的图片进行批量人脸检测并把结果图片路径、人脸数量、所属类别保存下来。import pandas as pd results [] for category in CATEGORIES: cat_path os.path.join(DOWNLOAD_DIR category) if not os.path.exists(cat_path): continue image_files [f for f in os.listdir(cat_path) if f.lower().endswith((‘.jpg’ ‘.jpeg’ ‘.png’))] print(f”正在处理类别 ‘{category}’ 共 {len(image_files)} 张图片。”) for img_file in image_files: img_path os.path.join(cat_path img_file) face_boxes face_count detect_faces_in_image(img_path) # 将结果存入列表 results.append({ ‘category’: category ‘image_path’: img_path ‘face_count’: face_count ‘face_boxes’: face_boxes # 保存框信息可用于可视化校验 }) # 可选在图片上画出人脸框用于人工校验调试时使用 # if face_count 0: # img_with_boxes draw_boxes_on_image(cv2.imread(img_path) face_boxes) # cv2.imwrite(f”./debug/{category}_{img_file}” img_with_boxes) # 将结果转换为DataFrame并保存 df_results pd.DataFrame(results) df_results.to_csv(‘./face_detection_results.csv’ indexFalse) print(f”人脸检测完成共处理 {len(df_results)} 张图片结果已保存。”)运行这段代码后你会得到一个CSV文件里面清晰地记录了每张图片的“身份”以及它里面包含的人脸数量。数据已经准备就绪就等最后的分析和展示了。5. 第三步统计分析与人脸数据可视化流水线的最后一站是把冷冰冰的数字变成热乎乎的洞察。我们使用pandas进行数据分析用matplotlib和seaborn来制作图表。5.1 基础统计分析首先我们加载上一步生成的结果数据进行一些基本的统计计算。import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 设置中文字体如果需要显示中文 # plt.rcParams[‘font.sans-serif’] [‘SimHei’] # plt.rcParams[‘axes.unicode_minus’] False # 加载数据 df pd.read_csv(‘./face_detection_results.csv’) # 1. 总体情况概览 total_images len(df) total_faces df[‘face_count’].sum() avg_faces_per_image total_faces / total_images print(f”总图片数: {total_images}“) print(f”总人脸数: {total_faces}“) print(f”平均每张图片人脸数: {avg_faces_per_image:.2f}“) # 2. 按新闻类别统计 category_stats df.groupby(‘category’)[‘face_count’].agg([‘count’ ‘sum’ ‘mean’]) category_stats.columns [‘图片数量’ ‘总人脸数’ ‘平均人脸数’] print(“\n按类别统计:”) print(category_stats)5.2 生成可视化报告数字表格不够直观我们通过图表来讲述数据故事。# 创建可视化图表 fig axes plt.subplots(2 2 figsize(14 10)) fig.suptitle(‘新闻图片人脸分析报告’ fontsize16) # 图表1各类别图片数量分布 ax1 axes[0 0] category_stats[‘图片数量’].plot(kind‘bar’ axax1 color‘skyblue’) ax1.set_title(‘各新闻类别图片数量’) ax1.set_ylabel(‘图片数量’) ax1.tick_params(axis‘x’ rotation45) # 图表2各类别平均每张图片人脸数 ax2 axes[0 1] category_stats[‘平均人脸数’].plot(kind‘bar’ axax2 color‘lightcoral’) ax2.set_title(‘各新闻类别平均人脸数’) ax2.set_ylabel(‘平均人脸数’) ax2.axhline(yavg_faces_per_image color‘r’ linestyle‘--’ labelf’全局平均 ({avg_faces_per_image:.2f})‘) ax2.legend() ax2.tick_params(axis‘x’ rotation45) # 图表3人脸数量分布直方图所有图片 ax3 axes[1 0] # 查看人脸数量的分布范围合理设置bins max_faces df[‘face_count’].max() bins range(0 min(max_faces 10) 2) # 假设我们关注0-10张脸的分布 df[‘face_count’].plot(kind‘hist’ binsbins axax3 edgecolor‘black’ alpha0.7) ax3.set_title(‘所有图片中人脸数量分布’) ax3.set_xlabel(‘单张图片中人脸数量’) ax3.set_ylabel(‘图片数量’) # 图表4带人脸 vs 无人脸图片比例饼图 ax4 axes[1 1] has_face (df[‘face_count’] 0).sum() no_face total_images - has_face sizes [has_face no_face] labels [f’含人脸 ({has_face})‘ f’无人脸 ({no_face})‘] colors [‘gold’ ‘lightgray’] ax4.pie(sizes labelslabels colorscolors autopct‘%1.1f%%’ startangle90) ax4.set_title(‘含人脸图片比例’) plt.tight_layout() plt.savefig(‘./news_face_analysis_report.png’ dpi300 bbox_inches‘tight’) plt.show()运行这段代码你会得到一张包含四个子图的分析报告。从这些图表中你可以快速得到一些洞察比如“娱乐”类新闻的图片平均人脸数可能最高且单人特写居多人脸数量为1的图片占比大而“财经”类新闻可能更多是无人物的图表或场景图。这些发现对于理解不同新闻版块的视觉内容策略非常有价值。6. 总结走完这一整套流程你会发现将Python爬虫、MogFace-large这样的人工智能模型以及数据可视化技术串联起来能够构建出一个非常实用的分析工具。它把原本需要人工肉眼筛查的繁琐工作变成了自动、快速、可重复的数据流水线。实际跑下来这个方案最让我满意的地方是它的灵活性和扩展性。今天我们是分析新闻图片的人脸明天你完全可以换个目标网站或者换个分析维度比如检测图片中的特定物体车、logo、分析图片色彩情绪等只需要替换爬虫规则和AI模型即可。MogFace-large的检测精度在新闻图片这种多样化的数据集上表现可靠为后续的统计分析打下了扎实的基础。当然在实际操作中你可能会遇到一些挑战比如网站反爬机制、图片格式异常、模型在极端情况下的误检等。这时就需要你在爬虫部分增加更完善的错误处理和伪装策略在数据分析部分加入一些人工抽样校验的环节。但整体框架是经得起考验的。如果你对媒体内容分析、市场趋势研究或者单纯是对用技术解决实际问题感兴趣我非常建议你动手试试这个项目。从选择一个你感兴趣的网站开始一步步实现这条流水线亲眼看看数据如何被采集、清洗、分析最终变成有意义的图表这个过程本身就充满了乐趣和成就感。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
