Selenium을 사용해서 백준 유저가 푼 문제 크롤링 하기

리눅스 환경에서 진행했습니다.

 

아래 명령어를 실행하여 크롬 드라이버를 설치합니다.

apt install chromium-chromedriver

 

백준 사이트에서 유저가 푼 문제를 받아오는 코드입니다.

def get_solved_problem(name='chleodnr3'):
    options = webdriver.ChromeOptions()
    options.add_argument("headless")

    # apt install chromium-chromedriver

    name = 'chleodnr3'
    driver = webdriver.Chrome(options=options)
    driver.get("https://www.acmicpc.net/user/{}".format(name))
    element = driver.find_element(By.CLASS_NAME, 'problem-list')

    problems = element.text
    problems = problems.split(' ')
    problems = list(map(int, problems))
    return problems

 

아래 함수를 호출하면 유저가 푼 문제를 list[int] 형태로 반환합니다.