1、网页爬取不一定要用Selenium，Selenium是为了注入浏览器获取点击行为的调试工具，如果网页无需人工交互就可以抓取，不建议你使用selenium要使用它，你需要安装一个工具软件，使用Chrome浏览器需要下载chromedriverexe到system32下。

2、不用说，当然是把脚本转为java代码了，在E clipse中重新开始搞选择一个测试框架有Junit和TestNg两个选择，公司用的是junit，所以，不用多说，我就用junit验证selenium脚本的运行结果并且，Junit和Test。

3、给re的数据类型有错，希望值是字符串，提供的确实其他类型。

4、总的来说，整个过程非常简单，最主要的还是抓包分析，只要你有一定的爬虫基础，熟悉一下上面的代码，多调试几遍程序，很快就能掌握的，当然，你也可以使用selenium进行爬取，直接解析就行，网上也有相关教程和资料可供参考。

5、另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。

6、selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpathquotxxxquot，通过该方式查找到元素后可执行点击输入等事件，进而向服务器发出请求，获取所需的数据python view plain。

7、解决方案1用浏览器打开你那个连接完整加载，通过 查看源 找到你要的数据记住标记，比如某个元素，selenium+python获取到页面代码再去判断查找你的标记就知道是否加载完了用python selenium提取网页中的所有标签中的超。

8、当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

9、page_source 得到的是静态源代码，不含js内容 需要使用find_element_by 等方法定位元素获取。

10、显示等待一般作用于某一个元素，在设定的时间范围内，默认每间隔05秒查找元素返回被加载的元素，若超过设定的时间范围未能查找则报错显示等待作为selenium常用的等待机制，我们来看下他的源码和机制driver 注释中解释为。

11、法1直接分析ajax调用的接口然后通过代码请求这个接口法2使用Selenium+chromedriver模拟浏览器行为获取数据Selenium 相当于是一个机器人可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击。

12、你那个登录按钮有一个class=quotloginbutton logReg_btn1quot，可以用find_element_by_class_name来识别，输入loginbutton或者logReg_btn1都可以。

13、模拟浏览器，动态获取，可以使用大杀器selenium工具 使用这种方法可以实现只要能看到就能抓取到，如鼠标滑过，异步加载等，因为他的行为可以与浏览器一模一样，但是这种方式的效率却是最低的，一般不到实在没有办法的时候不推荐。

14、选择用selenium，但是没找到selenium的webdriver下取得所有资源加载链接的方法selenium包下有一个selenium模块查看源码时看到有个get_all_links方法但是一直没找到这个模块的用法最后，求解答谢谢大家方法不成的话，就。

15、您好，对于你的遇到的问题，我很高兴能为你提供帮助，我之前也遇到过哟，以下是我的个人看法，希望能帮助到你，若有错误，还望见谅与使用FireFoxIE测试基本一样前提是需要Chrome的驱动程序，可以单独下载，然后至于。

16、没有不能查看源代码的网页，点一下F12或者1抓包，找到真正的url，模拟post或get2用selenium+phantomjs 或firefox 或chrome。