百度站长链接提交-主动推送（Python版）

前言

在加速百度搜索引擎收录站点方面，百度站长目前提供自动提交链接和手动提交链接两种方式，其中自动提交又分为主动推送、自动推送和 sitemap 三种形式。按百度的说法，主动推送的效果最好，百度站长平台后台提供了 Curl、PHP、Ruby 的推送示例代码，但唯独没有提供 Python 代码，本文会贴出现成的 Python 版本主动推送代码，运行环境依赖 Python3、Curl。

Python3 代码

以下代码会读取特定域名下的 sitemap 站点地图文件，然后通过 Curl 命令将站点地图文件中合法（结尾为 .html）的 URL批量提交给百度站长平台，请自行替换代码中的 domain、token、site_map_url 变量值。

# -*- coding: utf-8 -*-

import re
import logging
import subprocess
from io import StringIO
from urllib import request

# 站点域名
domain = 'www.example.com'

# 在百度站长申请的推送用的准入密钥
token = 'xxxxxxxxxxxxxxxxx'

# 站点地图的URL
site_map_url = 'https://www.example.com/sitemap.xml'

# 最大的链接推送数量
push_max_lines = 1000

# 推送的URL链接文件
push_urls_file = "/tmp/baidu_zhanzhang_push_url.txt"

# 数据推送的接口
push_url = 'http://data.zz.baidu.com/urls?site={domain}&token={token}'.format(domain=domain, token=token)

# 日志文件
log_file = "/tmp/baidu/baidu_zhanzhang_push.log"

def regexpMatchUrl(content):
    pattern = re.findall(r'(http|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])?', content, re.IGNORECASE)
    if pattern:
        return True
    else:
        return False

def regexpMatchWebSite(content):
    pattern = re.findall(r''.join(domain), content, re.IGNORECASE)
    if pattern:
        return True
    else:
        return False

def getUrl(content):
    pattern = re.findall(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+.html', content, re.IGNORECASE)
    if pattern:
        return pattern[0]
    else:
        return ''

def createUrlFile(url_file_path, max_lines):
    content = request.urlopen(site_map_url).read().decode('utf8')
    website_map_file = StringIO(content)
    url_file = open(url_file_path, 'w')
    index = 0
    for line in website_map_file:
        if(regexpMatchUrl(line) and regexpMatchWebSite(line)):
            url = getUrl(line)
            if(url != ''):
                index = index + 1
                url_file.writelines(url + "\n")
                if(index >= max_lines):
                    break
    url_file.close()
    website_map_file.close()

def pushUrlFile(url, url_file_path, log_file):
    shell_cmd_line = "curl -H 'Content-Type:text/plain' --data-binary @" + url_file_path + " " + '\"' + url + '\"'
    (status, output) = subprocess.getstatusoutput(shell_cmd_line)
    logging.info(output + "\n")
    # print(shell_cmd_line)

if __name__ == "__main__":
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', filename=log_file)
    createUrlFile(push_urls_file, push_max_lines)
    pushUrlFile(push_url, push_urls_file, log_file)

Crontab 表达式

Linux 系统环境下，配合 Python 脚本 + Cron 定时任务，即可定时主动提交链接到百度站长平台。

1 2	# 每隔两小时主动提交一次链接 0 /2 * * /usr/bin/python3 /usr/local/scripts/baidu_zhanzhang_push.py

日志输出信息

$ cat /tmp/baidu/baidu_zhanzhang_push.log

2019-02-18 23:15:20,985 - www - INFO -   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100  6092  100    30  100  6062     82  16671 --:--:-- --:--:-- --:--:-- 16653
{"remain":98069,"success":138}

本文作者： Clay
发布时间： 2019-11-15 22:35:41
最后更新： 2020-02-15 21:15:41
本文链接： https://www.techgrow.cn/posts/920b584b.html
版权声明： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！