Newspaper
这是一个用大模型来收集资讯的agent。基本使用方式如下：
pip install ms-agent -U
TAVILY_API_KEY=xxx ms-agent run --config "ms-agent/newspaper" --modelscope_api_key your-sdk-key-here --query "搜索列举今天AI技术的热点新闻，以及出色的算法和框架工作" --trust_remote_code true --load_cache true
结果可以参见AI技术热点-2025-08-06.md。
本方案流程是：
- 一个规划者会指定当前主题需要搜索哪些信息流站点
- 若干个worker会开始并行（目前是串行执行）工作，负责各自站点的信息收集
- 每个worker都会将自己的采集结果放入output文件夹中，并以md尾缀命名
- 一个Summarizer会根据所有的结果，整合重复消息，去掉过时消息，并给出一个完整的简报
- 后面会有一个发送钉钉群的机器人流程
一些重要技术点：
- 为了减少tokens，search和fetch会根据
\n\n切分，并使用rag进行召回前N个，并且对于github trending进行了特殊处理- 在这一步仅做了中文支持，代码在summary_callback.py中
- RAG使用了Qwen/Qwen3-Embedding-0.6B做retrieve
- 搜索和fetch使用了tavily
- 任务拆分使用了ms-agent默认的任务分发工具
- 每个worker限定20轮
建议使用魔搭API来进行实验，并欢迎二次开发并将你的工作写入我们的awesome works中，希望你玩得开心！