Update message counts when finished crawling lists
authorMagnus Hagander <magnus@hagander.net>
Sun, 22 Jan 2012 20:58:03 +0000 (21:58 +0100)
committerMagnus Hagander <magnus@hagander.net>
Sun, 22 Jan 2012 20:58:03 +0000 (21:58 +0100)
tools/search/crawler/listcrawler.py

index 02091284d141f040b545f6bfad927dd1020d1b13..03621f3a871f77e30e2ae1e20317362b752ed5d3 100755 (executable)
@@ -29,6 +29,9 @@ def doit(opt):
        listinfo = [(id,name) for id,name in curs.fetchall()]
        c = MultiListCrawler(listinfo, conn, opt.status_interval, opt.commit_interval)
        n = c.crawl(opt.full, opt.month)
+
+       # Update total counts
+       curs.execute("WITH t AS (SELECT list,count(*) AS c FROM messages GROUP BY list) UPDATE lists SET pagecount=t.c FROM t WHERE id=t.list")
        conn.commit()
 
        log("Indexed %s messages" % n)