二维码
微世推网

扫一扫关注

当前位置: 首页 » 快闻头条 » 科技资讯 » 正文

python爬虫学习:selenium提取数据

放大字体  缩小字体 发布日期:2023-02-17 16:39:16    作者:田昕冉    浏览次数:138
导读

知识点:了解 driver对象得常用属性和方法掌握 driver对象定位标签元素获取标签对象得方法掌握 标签对象提取文本和属性值得方法1. driver对象得常用属性和方法在使用selenium过程中,实例化driver对象后,driver对象

知识点:
  • 了解 driver对象得常用属性和方法
  • 掌握 driver对象定位标签元素获取标签对象得方法
  • 掌握 标签对象提取文本和属性值得方法1. driver对象得常用属性和方法

    在使用selenium过程中,实例化driver对象后,driver对象有一些常用得属性和方法

    1. driver.page_source 当前标签页浏览器渲染之后得网页源代码
    2. driver.current_url 当前标签页得url
    3. driver.close() 关闭当前标签页,如果只有一个标签页则关闭整个浏览器
    4. driver.quit() 关闭浏览器
    5. driver.forward() 页面前进
    6. driver.back() 页面后退
    7. driver.screen_shot(img_name) 页面截图
    知识点:了解 driver对象得常用属性和方法2. driver对象定位标签元素获取标签对象得方法

    在selenium中可以通过多种方式来定位标签,返回标签元素对象

    find_element_by_id (返回一个元素)find_element(s)_by_class_name (根据类名获取元素列表)find_element(s)_by_name (根据标签得name属性值返回包含标签对象元素得列表)find_element(s)_by_xpath (返回一个包含元素得列表)find_element(s)_by_link_text (根据连接文本获取元素列表)find_element(s)_by_partial_link_text (根据链接包含得文本获取元素列表)find_element(s)_by_tag_name (根据标签名获取元素列表)find_element(s)_by_css_selector (根据css选择器来获取元素列表)

  • 注意:
  • find_element和find_elements得区别:
  • 多了个s就返回列表,没有s就返回匹配到得第壹个标签对象
  • find_element匹配不到就抛出异常,find_elements匹配不到就返回空列表
  • by_link_text和by_partial_link_tex得区别:全部文本和包含某个文本
  • 以上函数得使用方法
  • driver.find_element_by_id('id_str')知识点:掌握 driver对象定位标签元素获取标签对象得方法3. 标签对象提取文本内容和属性值

    find_element仅仅能够获取元素,不能够直接获取其中得数据,如果需要获取数据需要使用以下方法

  • 对元素执行感谢阅读操作element.click()
  • 对定位到得标签对象进行感谢阅读操作
  • 向输入框输入数据element.send_keys(data)
  • 对定位到得标签对象输入数据
  • 获取文本element.text
  • 通过定位获取得标签对象得text属性,获取文本内容
  • 获取属性值element.get_attribute("属性名")
  • 通过定位获取得标签对象得get_attribute函数,传入属性名,来获取属性得值
  • 代码实现,如下:
  • from selenium import webdriver

    driver = webdriver.Chrome()

    driver.get('感谢分享特别itcast感谢原创分享者/')

    ret = driver.find_elements_by_tag_name('h2')
    print(ret[0].text) #

    ret = driver.find_elements_by_link_text('黑马程序员')
    print(ret[0].get_attribute('href'))

    driver.quit()知识点:掌握 元素对象得操作方法
  •  
    (文/田昕冉)
    打赏
    免责声明
    • 
    本文为田昕冉原创作品•作者: 田昕冉。欢迎转载,转载请注明原文出处:http://www.udxd.com/news/show-369860.html 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们邮件:weilaitui@qq.com。
     

    Copyright©2015-2023 粤公网安备 44030702000869号

    粤ICP备16078936号

    微信

    关注
    微信

    微信二维码

    WAP二维码

    客服

    联系
    客服

    联系客服:

    24在线QQ: 770665880

    客服电话: 020-82301567

    E_mail邮箱: weilaitui@qq.com

    微信公众号: weishitui

    韩瑞 小英 张泽

    工作时间:

    周一至周五: 08:00 - 24:00

    反馈

    用户
    反馈