پیتوین: ستاسو د نیچ لټون کلیدي ټکي لپاره د ګوګل اتومات استخراج رجحاناتو سکریپټ

د اتومات وسیلې رجحاناتو نیول لپاره د پایتون سکریپټ

هرڅوک د ګوګل رجحانونه خوښوي ، مګر دا یو څه ستونزمن دی کله چې د لنګ ټیل کلیدي ټکي ته راځي. موږ ټول چارواکي خوښوو د ګوګل رجحاناتو خدمت د لټون چلند باندې بصیرت ترلاسه کولو لپاره. په هرصورت ، دوه شیان ډیری د دې د ټینګ کار لپاره کارولو څخه مخنیوی کوي؛

  1. کله چې تاسو اړتیا لرئ ومومئ نوې ځانګړې ټکي، هلته د ګوګل په رجحاناتو کې کافي معلومات ندي 
  2. د ګوګل رجحاناتو ته د غوښتنو جوړولو لپاره د رسمي API نشتون: کله چې موږ د ماډلونو په څیر کاروو ګیډۍ، بیا موږ باید د پراکسي سرورونه وکاروو ، یا موږ بند شو. 

پدې مقاله کې ، زه به د Python سکریپټ شریک کړم چې موږ د ګوګل اوټوماګیسټ له لارې د ټرینینګ کلیدي صادرولو لپاره لیکلي دي.

د وخت په تیریدو د اتومات پایلو راوستل او پلورل 

فرض کړئ چې موږ د 1,000 تخم کلیدي کلمې لرو چې د ګوګل اوټوګوسټ ته واستول شي. په بدل کې ، موږ شاید شاوخوا 200,000،XNUMX ترلاسه کړو اوږده لکۍ کلیدي ټکي. بیا ، موږ اړتیا لرو چې ورته یوه اونۍ وروسته وکړو او دا ډیټاسیټونه پرتله کړو چې دوه پوښتنو ته ځواب ووایو:

  • کومې پوښتنې دي نوې ټکي د وروستي وخت په پرتله؟ دا شاید هغه قضیه وي چې موږ ورته اړتیا لرو. ګوګل فکر کوي چې دا پوښتنې لا د پام وړ کیږي - د دې کولو په واسطه ، موږ کولی شو خپل ځان د ګوګل اتومات حل ومومو! 
  • کومې پوښتنې دي کلیدي ټکي نور نشته تمرین؟

سکریپټ خورا اسانه دی ، او ډیری کوډ چې ما شریک کړی دلته. تازه شوی کوډ د تیرو وختونو څخه معلومات خوندي کوي او د وخت سره د وړاندیزونو پرتله کول. موږ د SQLite په څیر د فایل پر اساس ډیټابیسز مخنیوی کړی ترڅو دا ساده کړي - نو د معلوماتو ټول ذخیره لاندې CSV فایلونه کاروي. دا تاسو ته وړتیا ورکوي چې فایل په ایکسل کې وارد کړئ او ستاسو د سوداګرۍ لپاره د کلیدي ټکي ټکي وپلټئ.

د دې ازمي سکریپټ کارول

  1. خپل د تخم د کلیدي ټکي ټکي داخل کړئ چې باید خپل ځان ته ولېږل شي: Keywords.csv
  2. د خپلې اړتیا لپاره د سکریپټ تنظیمات تنظیم کړئ:
    • ژبه: اصلي "ان"
    • هېواد: ډیفالټ "موږ"
  3. په اونۍ کې یو ځل چلولو لپاره سکریپټ مهالویش کړئ. تاسو کولی شئ دا پخپله هم پرمخ بوځي لکه څنګه چې تاسو غواړئ.
  4. د نورو تحلیلونو لپاره keyword_suggestions.csv وکاروئ:
    • لومړی_سین: دا هغه نیټه ده چیرې چې پوښتنه د لومړي ځل لپاره په اوتوسګیسټ کې څرګند شوه
    • وروستی ځل لیدل شوی: هغه نیټه چیرې چې پوښتنه د وروستي ځل لپاره لیدل شوې وه
    • نوی_ دی: که لومړی_سن == اخري_حسين موږ دا ته ټاکل ریښتیني د - یوازې د ګوګل په اوټوماګسټ کې د نوي تمریناتي لټونونو ترلاسه کولو لپاره پدې ارزښت فلټر کړئ.

دلته د پیتون کوډ دی

# Pemavor.com Autocomplete Trends
# Author: Stefan Neefischer (stefan.neefischer@gmail.com)
import concurrent.futures
from datetime import date
from datetime import datetime
import pandas as pd
import itertools
import requests
import string
import json
import time

charList = " " + string.ascii_lowercase + string.digits

def makeGoogleRequest(query):
    # If you make requests too quickly, you may be blocked by google 
    time.sleep(WAIT_TIME)
    URL="http://suggestqueries.google.com/complete/search"
    PARAMS = {"client":"opera",
            "hl":LANGUAGE,
            "q":query,
            "gl":COUNTRY}
    response = requests.get(URL, params=PARAMS)
    if response.status_code == 200:
        try:
            suggestedSearches = json.loads(response.content.decode('utf-8'))[1]
        except:
            suggestedSearches = json.loads(response.content.decode('latin-1'))[1]
        return suggestedSearches
    else:
        return "ERR"

def getGoogleSuggests(keyword):
    # err_count1 = 0
    queryList = [keyword + " " + char for char in charList]
    suggestions = []
    for query in queryList:
        suggestion = makeGoogleRequest(query)
        if suggestion != 'ERR':
            suggestions.append(suggestion)

    # Remove empty suggestions
    suggestions = set(itertools.chain(*suggestions))
    if "" in suggestions:
        suggestions.remove("")
    return suggestions

def autocomplete(csv_fileName):
    dateTimeObj = datetime.now().date()
    #read your csv file that contain keywords that you want to send to google autocomplete
    df = pd.read_csv(csv_fileName)
    keywords = df.iloc[:,0].tolist()
    resultList = []

    with concurrent.futures.ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        futuresGoogle = {executor.submit(getGoogleSuggests, keyword): keyword for keyword in keywords}

        for future in concurrent.futures.as_completed(futuresGoogle):
            key = futuresGoogle[future]
            for suggestion in future.result():
                resultList.append([key, suggestion])

    # Convert the results to a dataframe
    suggestion_new = pd.DataFrame(resultList, columns=['Keyword','Suggestion'])
    del resultList

    #if we have old results read them
    try:
        suggestion_df=pd.read_csv("keyword_suggestions.csv")
        
    except:
        suggestion_df=pd.DataFrame(columns=['first_seen','last_seen','Keyword','Suggestion'])
    
    suggestionCommon_list=[]
    suggestionNew_list=[]
    for keyword in suggestion_new["Keyword"].unique():
        new_df=suggestion_new[suggestion_new["Keyword"]==keyword]
        old_df=suggestion_df[suggestion_df["Keyword"]==keyword]
        newSuggestion=set(new_df["Suggestion"].to_list())
        oldSuggestion=set(old_df["Suggestion"].to_list())
        commonSuggestion=list(newSuggestion & oldSuggestion)
        new_Suggestion=list(newSuggestion - oldSuggestion)
         
        for suggest in commonSuggestion:
            suggestionCommon_list.append([dateTimeObj,keyword,suggest])
        for suggest in new_Suggestion:
            suggestionNew_list.append([dateTimeObj,dateTimeObj,keyword,suggest])
    
    #new keywords
    newSuggestion_df = pd.DataFrame(suggestionNew_list, columns=['first_seen','last_seen','Keyword','Suggestion'])
    #shared keywords with date update
    commonSuggestion_df = pd.DataFrame(suggestionCommon_list, columns=['last_seen','Keyword','Suggestion'])
    merge=pd.merge(suggestion_df, commonSuggestion_df, left_on=["Suggestion"], right_on=["Suggestion"], how='left')
    merge = merge.rename(columns={'last_seen_y': 'last_seen',"Keyword_x":"Keyword"})
    merge["last_seen"].fillna(merge["last_seen_x"], inplace=True)
    del merge["last_seen_x"]
    del merge["Keyword_y"]
    
    #merge old results with new results
    frames = [merge, newSuggestion_df]
    keywords_df =  pd.concat(frames, ignore_index=True, sort=False)
    # Save dataframe as a CSV file
    keywords_df['first_seen'] = pd.to_datetime(keywords_df['first_seen'])
    keywords_df = keywords_df.sort_values(by=['first_seen','Keyword'], ascending=[False,False])   
    keywords_df['first_seen']= pd.to_datetime(keywords_df['first_seen'])
    keywords_df['last_seen']= pd.to_datetime(keywords_df['last_seen'])
    keywords_df['is_new'] = (keywords_df['first_seen']== keywords_df['last_seen'])
    keywords_df=keywords_df[['first_seen','last_seen','Keyword','Suggestion','is_new']]
    keywords_df.to_csv('keyword_suggestions.csv', index=False)

# If you use more than 50 seed keywords you should slow down your requests - otherwise google is blocking the script
# If you have thousands of seed keywords use e.g. WAIT_TIME = 1 and MAX_WORKERS = 5
WAIT_TIME = 0.2
MAX_WORKERS = 20
# set the autocomplete language
LANGUAGE = "en"
# set the autocomplete country code - DE, US, TR, GR, etc..
COUNTRY="US"
# Keyword_seed csv file name. One column csv file.
#csv_fileName="keyword_seeds.csv"
CSV_FILE_NAME="keywords.csv"
autocomplete(CSV_FILE_NAME)
#The result will save in keyword_suggestions.csv csv file

د پایتون سکریپټ ډاونلوډ کړئ

ته څه فکر کوی؟

دا سایټ د سپیم کمولو لپاره Akismet کاروي. زده کړئ چې ستاسو د تبصرې ډاټا پراساس پروسس کیږي.