# 比亚迪汽车视频评论情感分析项目

## 1. 项目说明

本项目按实验流程完成以下任务：

- 评论清洗、去重、分词与停用词过滤
- SnowNLP情感标注与可视化分析
- 两种TF-IDF方案+朴素贝叶斯建模对比
- 加入时间与点赞特征后再次训练评估

- src/byd_sentiment_pipeline.py: 主流程脚本
- cn_stopwords.txt: 停用词表
- .env.example: 环境变量模板
- data/: 中间数据与结果CSV
- outputs/: 图像与分析报告

## 2. 环境准备

1. 创建并激活虚拟环境

2. 安装依赖

```bash
pip install -r requirements.txt
```

## 3. Cookie配置

复制模板生成.env文件：

```bash
cp .env.example .env
```

在.env中填写真实Cookie。Cookie不会写进代码。

推荐按下面步骤获取，成功率更高：

1. 浏览器登录B站账号，打开任意一个目标视频页面并停留10秒。
2. 按F12打开开发者工具，切到Network。
3. 刷新页面后，在请求列表中选中任意一个发往api.bilibili.com的请求（常见如x/v2/reply、x/web-interface/view）。
4. 在Headers里复制两项：
   - Request Headers -> Cookie 整段值，粘贴到BILI_COOKIE。
   - Request Headers -> User-Agent，粘贴到BILI_USER_AGENT。
5. 确保Cookie是一整行，不要换行，不要多余引号。

示例（仅演示格式）：

```env
BILI_COOKIE=SESSDATA=xxxx; bili_jct=xxxx; DedeUserID=xxxx; DedeUserID__ckMd5=xxxx; buvid3=xxxx; buvid4=xxxx;
BILI_USER_AGENT=Mozilla/5.0 (...) Chrome/124.0.0.0 Safari/537.36
```

先做自检再爬取：

```bash
python - <<'PY'
import os
from dotenv import load_dotenv
load_dotenv('.env')
cookie = os.getenv('BILI_COOKIE', '')
ua = os.getenv('BILI_USER_AGENT', '')
print('Cookie已配置:', bool(cookie), '长度:', len(cookie))
print('UA已配置:', bool(ua), '长度:', len(ua))
PY
```

如果出现412或-352：

1. 重新复制一次最新Cookie（过期很常见）。
2. 降低抓取频率（增大sleep参数）。
3. 避免同一时间多终端并发跑爬虫。

## 5. 运行方式

全流程执行：

```bash
python src/byd_sentiment_pipeline.py all --target-comments 4500 --min-comments 4000
```

分阶段执行：

```bash
python src/byd_sentiment_pipeline.py crawl --target-comments 4500 --min-comments 4000
python src/byd_sentiment_pipeline.py preprocess
python src/byd_sentiment_pipeline.py explore
python src/byd_sentiment_pipeline.py model
```

说明：

1. crawl阶段默认支持断点续抓。若data/byd_comments_raw.csv已存在，会自动读取并按评论ID/评论内容+时间+BV号去重后继续抓取。
2. 因为B站接口可能间歇返回412，建议多轮执行crawl累积到目标条数，不会重复叠加历史评论。

爬虫建议使用更慢参数，减少412概率：

```bash
python src/byd_sentiment_pipeline.py crawl --target-comments 4500 --min-comments 4000 --sleep-min 1.2 --sleep-max 2.5
```

如果想自动多轮累积（每轮都会基于历史CSV去重后续抓），可使用：

```bash
python src/byd_sentiment_pipeline.py crawl --target-comments 4500 --min-comments 4000 --sleep-min 1.2 --sleep-max 2.5 --rounds 6 --round-cooldown 90
```

## 5.1 B站场景停用词补充

如果词云或top_words中出现“回复、展开、置顶”等平台噪声词，可直接在cn_stopwords.txt中每行追加一个词，然后重新执行：

```bash
python src/byd_sentiment_pipeline.py preprocess
python src/byd_sentiment_pipeline.py explore
```

## 6. 输出文件

- data/byd_comments_raw.csv
- data/byd_comments_preprocessed.csv
- data/byd_comments_labeled.csv
- outputs/overall_wordcloud.png
- outputs/负面\_wordcloud.png
- outputs/中性\_wordcloud.png
- outputs/正面\_wordcloud.png
- outputs/sentiment_pie.png
- outputs/monthly_trend.png
- outputs/top10_likes_bar.png
- outputs/confusion_method1_default.png
- outputs/confusion_method2_improved.png
- outputs/confusion_method2_plus_features.png
- outputs/model_metrics_summary.csv
- outputs/exploration_report.md
- outputs/model_report.md