Makinami是为VirtualJudge程序中的主要子系统 Ayanami 提供微服务的爬虫子系统，采用RESTful设计，可以独立运行，也可以认为是一个独立完整的程序。既使得VJ主程序可以与爬虫模块分离，多地部署，也方便众OJ爱好者直接使用，不必再重复造轮子。
- flask
- scrapy
- mongodb
- 安装mongodb（省略）
- 安装依赖
pip install -r requirenments.txt
- 启动命令
python manage.py start
| OJ Name | OJ Code | Language |
|---|---|---|
| PKU JudgeOnline | poj | g++ gcc java pascal c++ c fortran |
oj_code参照上面OJ支持列表，参数传递使用json格式
URI: /<string:oj_code>/problem/<int:problem_id>
method: GET
URI /<string:oj_code>/problems
method: GET
URI: /<string:oj_code>/problem/<int:problem_id>
method: POST
| 参数名 | 说明 |
|---|---|
| username | 登录用户名 |
| password | 登录密码 |
| language | 语言类型（见OJ支持列表中的Language） |
| code | 提交的代码（需要已被base64加密） |
URI: /<string:oj_code>/status/<int:run_id>
method: GET
URI: /<string:oj_code>/user/<string:username>
method: POST
| 参数名 | 说明 |
|---|---|
| password | 登录密码 |
- 在config的ojs中添加对应的
oj_code - 在/app/api中添加对应的API文件，提供api规范的实现
- 在/app/illustrious/spiders添加对应的爬虫文件，实现：
- init爬虫： 爬取所有的题目
- problem爬虫： 根据 problemid 爬取单个题目
- submit爬虫： 提交代码并返回runid等信息
- result爬虫： 根据 runid 爬取运行结果
- user爬虫： 根据 username ， password 爬取用户信息
参考样例文件：
- API文件：/app/api/poj.py
- 爬虫文件：/app/illustrious/spiders/poj.py
- 如果原OJ中增添的新题目怎么及时更新？
本来打算每日把原OJ所有的题目更新，但感觉做的无用功更多。因此init爬虫只在服务启动时使用，之后的新增题目和更新题目都采用“用后更新”的方式。
对于原OJ添加了新的题目。因为Makinami对于外部请求只会返回数据库中的信息，因此，对于数据库中没有的内容，将会返回 status: 404，然后运行爬虫尝试爬取，如果有新题目，就入库保存。
- 如果原OJ中题目有变动，怎么处理？
首先，在项目启动后，会立刻更新爬取所支持OJ的所有题目。在外部每次请求获得题目信息时，先将数据库中的题目信息返回，然后验证爬取时间，如果已经超过 7d 则新开辟进程，重新爬取该题目（用后爬取）。
- 如果提交题目后，运行结果未及时得出怎么处理？
爬虫会把未得到结果的runid开辟新进程，循环爬取，直到得到结果（持久化）或超时（30min），持久化后将保存在数据库中。 外部根据runid查询结果的请求，以数据库优先，如果数据库中不存在，则再将该runid开辟进程，循环爬取。
