摘要:Scrapy存储爬取的数据时,提示不支持某些字段 在Item文件中,添加对应的字段即可 阅读全文
posted @ 2020-01-20 12:44 纪宇-年华 阅读 (14) 评论 (0) 编辑
摘要:pip install PyExecJS 查看执行JS的环境 返回值:JScript windows 默认执行JS的环境 返回值:Node.js (V8) 自己安装的NodeJS环境 安装NodeJS 下载: http://nodejs.cn/download/ 安装: http://www.ru 阅读全文
posted @ 2020-01-19 13:35 纪宇-年华 阅读 (33) 评论 (0) 编辑
摘要:非字典类型数据读写(reader、writer) delimiter 用于分隔字段的单字符,默认为 ',' 字典类型数据读写 fieldnames 参数 指定字典中值的顺序,csv文件中,第一行数据为键 extrasaction 参数 如果传递给 writerow() 方法的字典的某些键在 fiel 阅读全文
posted @ 2020-01-18 13:59 纪宇-年华 阅读 (36) 评论 (0) 编辑
摘要:查看分支 前面带 的为当前所在分支 创建分支 切换分支 创建并切换到此分支 合并分支 先切换到master 删除分支 阅读全文
posted @ 2020-01-17 16:02 纪宇-年华 阅读 (21) 评论 (0) 编辑
摘要:SSH公钥 生成公钥 然后按三次回车 添加公钥 查看公钥 将生成的公钥添加到仓库或个人设置中的SSH公钥 配置多个SSH Key http://gitee.com/help/articles/4229 article header0 克隆仓库到本地 推送到远程仓库 与仓库建立连接 Push 从远程 阅读全文
posted @ 2020-01-17 15:27 纪宇-年华 阅读 (22) 评论 (0) 编辑
摘要:查看提交的日志(历史版本) 不能查看已删除的commit记录 可以查看所有分支的所有操作记录,包括已删除的commit记录 版本回退 HEAD 表示当前最新版本 HEAD^ 表示当前最新版本的前一个版本 HEAD^^ 表示当前最新版本的前两个版本,以此类推 HEAD~1 表示当前最新版本的前一个版本 阅读全文
posted @ 2020-01-16 14:05 纪宇-年华 阅读 (23) 评论 (0) 编辑
摘要:显示当前工作区、暂存区、仓库的状态 当工作区的所有文件都提交到仓库,并和仓库保持一致时 有修改的文件时,会显示有改动的文件,并提示如何提交这些修改 添加到暂存区,还未提交到仓库时 将文件添加到仓库 先添加到暂存区 一次性把当前目录中所有有改动的文件都添加到暂存区 再提交到仓库 m 参数后的内容为提交 阅读全文
posted @ 2020-01-16 13:04 纪宇-年华 阅读 (36) 评论 (0) 编辑
摘要:文件种类 仓库级别(当前仓库有效) local 用户级别(当前用户有效) global 系统级别(系统全局有效) system 系统级别的配置 配置信息会保存在 Git安装目录/etc/gitconfig 文件中 用户级别的配置 配置信息会保存在 C:\Users\Administrator 目录下 阅读全文
posted @ 2020-01-15 16:45 纪宇-年华 阅读 (27) 评论 (0) 编辑
摘要:下载安装 Git 2.25.0 64 bit .exe 查看是否安装成功 创建本地仓库 创建一个文件夹用于存放项目文件 在创建好的文件中右键选择 Git Bash Here (或者在cmd窗口中 cd 到目标文件夹下) 在弹出的窗口执行以下命令(或者cmd窗口中) 会创建一个 .git 的隐藏文件, 阅读全文
posted @ 2020-01-15 13:55 纪宇-年华 阅读 (45) 评论 (0) 编辑
摘要:pip install pytesseract 报错:tesseract is not installed or it's not in your path 下载安装 Tesseract OCR http://pan.baidu.com/s/1qXumxdltxOnb0geaE_1U Q 修改 p 阅读全文
posted @ 2020-01-14 13:17 纪宇-年华 阅读 (61) 评论 (2) 编辑
摘要:pip install pillow 基本使用 阅读全文
posted @ 2020-01-13 21:40 纪宇-年华 阅读 (75) 评论 (0) 编辑
摘要:Base64编码原理: http://blog.csdn.net/wo541075754/article/details/81734770 def Enbs64(s): 编码后的结果 result = '' 二进制数据 bin_data = '' Base64编码对照表 bs64_table = 阅读全文
posted @ 2020-01-12 18:14 纪宇-年华 阅读 (28) 评论 (0) 编辑
摘要:添加或取消 Ctrl + Shift + 对应的数字(1 9) 作用 相当于标签,Ctrl + 对应的数字键,可以快速定位到做了标签的代码行 阅读全文
posted @ 2020-01-11 18:19 纪宇-年华 阅读 (39) 评论 (0) 编辑
摘要:pip install imageio 阅读全文
posted @ 2020-01-10 19:52 纪宇-年华 阅读 (61) 评论 (0) 编辑
摘要:目录 安装 下载驱动 元素选取 输入、清除、点击 关闭窗口、浏览器 窗口切换 页面(frame)切换 页面弹窗 等待加载 动作链 键盘事件 执行js(滑动滚动条) 截图 获取元素属性 获取网页源代码、刷新页面 设置窗口大小 设置代理、UA Cookie操作 跳过Selenium检测 示例 安装 元素 阅读全文
posted @ 2020-01-09 11:18 纪宇-年华 阅读 (179) 评论 (0) 编辑
摘要:``` Tracks 在第一排的方块中滑动鼠标 重置 ``` 阅读全文
posted @ 2020-01-08 17:14 纪宇-年华 阅读 (71) 评论 (0) 编辑
摘要:路径 C:\Users\Hlzy\AppData\Local\Packages\Microsoft.Windows.ContentDeliveryManager_cw5n1h2txyewy\LocalState\Assets 都是些没有后缀名的文件 添加后缀名即可看见图片 使用 ren 命名,修改全 阅读全文
posted @ 2020-01-07 12:12 纪宇-年华 阅读 (38) 评论 (0) 编辑
摘要:截百度按钮的图 先将整个窗口的图保存下来 正常情况下,直接根据图片的坐标和大小,将对应参数给到crop() 结果却是这样? 看这内容,只截到“度”字,距离目标还有这么长一截 原因是自己电脑缩放与布局(桌面右键、显示设置)用的125%为推荐设置 方法一:把这个设置调回100%即可准确截图 方法二:在给 阅读全文
posted @ 2020-01-06 12:42 纪宇-年华 阅读 (85) 评论 (0) 编辑
摘要:测试运行时间 运行时间 发现每次0.5秒,此时需要修改默认的时间 打开Python安装目录下的Lib\site packages\selenium\webdriver\common\actions\pointer_input.py 修改 DEFAULT_MOVE_DURATION 的值即可,默认为2 阅读全文
posted @ 2020-01-05 10:13 纪宇-年华 阅读 (61) 评论 (0) 编辑
摘要:pip version 阅读全文
posted @ 2020-01-04 17:04 纪宇-年华 阅读 (41) 评论 (0) 编辑
摘要:开发者工具(F12) 其中常用的有Elements(元素面板)、Console(控制台面板)、Sources(源代码面板)、Network(网络面板) 找 JS 文件的几种方法 1、找发起地址 2、设置事件触发断点 Event Listener Breakpoint 使用Sources面板上的Eve 阅读全文
posted @ 2020-01-03 18:58 纪宇-年华 阅读 (58) 评论 (0) 编辑
摘要:安装 windows pip install pycryptodomex ubuntu pip install pycryptodome 加密方式 单向加密:MD5 只能对数据进行加密,而不能解密 对称加密:DES、AES 数据加密与解密使用相同的密钥 非对称加密:RSA 比对称加密更安全、但速度慢 阅读全文
posted @ 2020-01-02 16:18 纪宇-年华 阅读 (79) 评论 (0) 编辑
摘要:简介 一个国人编写的强大的网络爬虫系统并带有强大的WebUI 采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器 官方文档:http://docs.pyspider.org/en/latest/ 安装 pip install 阅读全文
posted @ 2020-01-01 16:07 纪宇-年华 阅读 (90) 评论 (0) 编辑
摘要:美拍链接:http://www.meipai.com/ 找到视频链接的标签,源代码中没有这个div 通过Fiddler抓包,找到class="mp h5 player layer video"的div由哪个js文件生成的 打开对应的js文件,对其进行断点,找到src生成的方式 发现src参数在这个 阅读全文
posted @ 2019-12-31 15:37 纪宇-年华 阅读 (57) 评论 (0) 编辑
摘要:每次添加一行 每次添加一列 阅读全文
posted @ 2019-12-26 15:21 纪宇-年华 阅读 (102) 评论 (0) 编辑
摘要:利用推导式 阅读全文
posted @ 2019-12-22 22:34 纪宇-年华 阅读 (50) 评论 (0) 编辑
摘要:查看已经安装的虚拟环境:workon 退出虚拟环境,home目录下执行:deactivate 进入虚拟环境:workon 虚拟环境名 阅读全文
posted @ 2019-12-21 22:51 纪宇-年华 阅读 (12) 评论 (0) 编辑
摘要:报错 下载pycurl库 地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/ pycurl 选择对应的python版本 安装pycurl库 pip install 文件名 安装pyspider库 换源安装pyspider: 安装成功 此时运行pyspider 阅读全文
posted @ 2019-12-20 12:59 纪宇-年华 阅读 (172) 评论 (0) 编辑
摘要:三种模式 按 ESC 进入命令模式 命令模式下输入 Shift + ; 进入末行模式 命令模式下输入插入命令,如(i,a,o) 进入输入模式 进入 vim 文件名 vim直接编辑一个文件,如果是已经存在的文件,则是打开着文件,如果是没有的文件,就会新建文件 在Linux中,文件后缀只是一个标示,任何 阅读全文
posted @ 2019-12-19 13:48 纪宇-年华 阅读 (67) 评论 (0) 编辑
摘要:ctrl + s 的作用是暂停屏幕输出 ctrl + q 恢复屏幕输出即可 恢复之后会出现在暂停期间输入的字符 阅读全文
posted @ 2019-12-18 19:51 纪宇-年华 阅读 (33) 评论 (0) 编辑
摘要:ifconfig:查看IP ls:显示目录文件 pwd:当前所在的目录 who am i:显示当前登录时用的用户名 cd:目录跳转 mkdir:创建文件夹 rmdir:删除文件夹 touch:新建文件 rm:删除文件 cp:复制文件 mv:移动文件 cat:查看文件 clear:清屏(快捷键:Ctr 阅读全文
posted @ 2019-12-18 18:58 纪宇-年华 阅读 (76) 评论 (0) 编辑
摘要:VirtualBox设置端口转发 Xshell 新建会话 连接成功 阅读全文
posted @ 2019-12-18 17:46 纪宇-年华 阅读 (30) 评论 (0) 编辑
摘要:Ajax简介 一门异步的加载技术,局部刷新 异步加载,可以在不重载整个网页的前提下,进行局部刷新 分为原生和JQ两种 JSON数据格式 Json对象转字符串: JSON.stringify() 字符串转Json对象:JSON.parse() 前后端数据交互 html文件 py文件 Ajax局部刷新 阅读全文
posted @ 2019-12-17 22:08 纪宇-年华 阅读 (79) 评论 (0) 编辑
摘要:JQuery轮播图 阅读全文
posted @ 2019-12-16 15:56 纪宇-年华 阅读 (62) 评论 (0) 编辑
摘要:JS轮播图 阅读全文
posted @ 2019-12-15 21:18 纪宇-年华 阅读 (85) 评论 (0) 编辑
摘要:JQ与JS JQ是JS写的插件库,就是一个JS文件 凡是用JQ能实现的,JS都能实现,JS能实现的,JQ不一定能实现 引入 BootCDN:http://www.bootcdn.cn/jquery/ 本地文件引入:`` 在线引入:`` 选择元素 在JQ中使用选择器选择元素和在CSS中使用CSS选择 阅读全文
posted @ 2019-12-14 21:19 纪宇-年华 阅读 (89) 评论 (0) 编辑
摘要:Math对象 开平方:sqrt 绝对值:abs π:PI x的y次方:pow 四舍五入取整:round 向下取整:floor 向上取整:ceil 最大值:max 最小值: min 随机数:random 日期对象 获取当前时间:Date() 获取年:getFullYear 获取月:getMonth 获 阅读全文
posted @ 2019-12-13 19:00 纪宇-年华 阅读 (47) 评论 (0) 编辑
摘要:操作符 算术运算符:+ 、 、 、 / 、 %、++、 赋值运算符:= 、+=、 =、 =、/=、%= 比较运算符: 、 =、 流程控制 以下在进行判断的时候为假 0 null undefined NaN "" 空字符串 false if else switch 循环 for循环 while循环 d 阅读全文
posted @ 2019-12-12 19:44 纪宇-年华 阅读 (87) 评论 (0) 编辑
摘要:基本使用 写在Script 标签里 引入外部js文件:\ console.log(" ") 方法用于在控制台输出信息 注意事项 严格区大小写 每一行完整语句后面加分号 变量名不能使用关键字和保留字 代码要缩进,保持可读性 修改元素内容 获取元素 通过id获取元素:document.getElemen 阅读全文
posted @ 2019-12-11 16:53 纪宇-年华 阅读 (123) 评论 (2) 编辑
摘要:``` Practice 请注册 立即登录> 请登录 立即注册> 七天内自动登录 忘记密码? ``` ![](http://img2018.cnblogs.com/blog/821307/201912/821307-20191210153842909-1130015050.png) 阅读全文
posted @ 2019-12-10 21:28 纪宇-年华 阅读 (142) 评论 (0) 编辑