使用Git操作远程仓库(GitHub\码云) 本篇文章将详细介绍Git操作GitHub\码云 远程仓库的详细流程:主要包括工作流程、拷贝Git仓库代码修改并上传、首次上传代码到Git仓库、删除\修改、分支、查看信息、撤销等内容。
Centos 7 设置MySQL 最大连接数 一、查看最大连接数登录MySQL后输入以下命令show variables like 'max_connections';默认是151二、修改最大连接数临时修改登录MySQL后输入以下命令set global max_connections=200;永久修改1 > 找到MySQL的配置文件,vim编辑vim /etc/mysql/mysql.conf.d/my...
Nginx配置SSL报错 nginx:[emerg] unknown directive “ssl” 前言:配置Nginx + sll 报错`nginx: [emerg] unknown directive "ssl" in /usr/local/nginx/conf/nginx.conf:43`,本章将详细说明如何解决
CentOS 7 修改pip/pip3源 前言:由于网络有时不稳定的原因,使用pip/pip3下载会非常慢。如果使用国内镜像服务就完美的解决了下载速度慢的问题,但是Centos7默认的是国外原,所以整理出两个修改pip/pip3源的方法。
Django + uWSGI + Nginx + https项目部署,并用OpenSSL 生成https证书 **背景:**最近突然接触到了OpenSSL,突然想到貌似还没写过Django + uWSGI + Nginx + https项目部署相关的内容,所以整理出来一份资料。目录一、OpenSSL 安装二、生成证书三、Nginx配置一、OpenSSL 安装从OpenSSL官网下载最新的稳定版本,我下载的是2.0.16,官网:https://www.openssl.org/source/安装依...
Python爬虫 - 获取网页编码 前言:在我们做爬虫的时候会发现不同的网页会有不同的编码方式,但我们需要根据编码方式来获取数据,所以我们要先获取编码方式,为此我使用requests库解析当前页的编码方式。requests库是常用的网页解析库,也是我做爬虫时一直使用的库。其中的apparent_encoding方法可以正确获取当前网页的编码方式。
Python爬虫 - Requests模块 详细介绍安装Requests、多种请求方式(post和get最常见)、给URl添加参数、获取响应的内容、定制请求头和cookie信息、设置超时时间、会话对象,能够跨请求保持某些参数、IP代理等常用功能的使用
Python爬虫 - Selenium(4)配置启动项参数 前言:本章将详细介绍Selenium启动项参数的配置,其中包括`无界面模式(在服务器上运行不设置此项会报错)`、`浏览器窗口大小设置`、`浏览器User-Agent (请求头)`等等
Python爬虫 - Selenium(5)鼠标事件 前言:前边几篇文章也介绍过鼠标点击方法`click()`,但是这远远无法满足我们多样的需求,在 WebDriver 中, 关于鼠标操作的方法封装在 ActionChains 类中,其中包含右击、双击、拖动、鼠标悬停等等。
Python爬虫 - Selenium(6)键盘事件 前言:前边文章也介绍过模拟键盘输入的方法send_keys(),这个方法是很有局限性的,只能对输入框进行操作,这远远无法满足我们多样的需求,在 WebDriver 中, 关于键盘操作的方法封装在 Keys()类中,其中几乎包含了键盘所有按键。from selenium import webdriverfrom selenium.webdriver.common.keys import Ke...
Python爬虫 - Selenium(7)多窗口切换 前言:在页面操作过程中有时候点击某个链接会弹出新的窗口,但由于Selenium的所有操作都是在第一个打开的页面进行的,这时就需要主机切换到新打开的窗口上进行操作。WebDriver提供了`switch_to.window()`方法,可以实现在不同的窗口之间切换。 以百度首页和百度注册页为例,在两个窗口之间的切换。
Python爬虫 - Selenium(9)警告框(弹窗)处理 JavaScript 有三种弹窗 Alert (只有确定按钮), Confirmation (确定,取消等按钮), Prompt (有输入对话框),而且弹出的窗口是不能通过前端工具对其进行定位的,这个时候就可以通过`switch_to.alert`方法来定位这个弹窗,并进行一系列的操作。
Python爬虫 - Selenium(12)获取登录Cookies,并添加Cookies自动登录 WebDriver提供了操作Cookie的相关方法,可以读取、添加和删除cookie信息,以下将分别介绍一下`模拟登陆并获取Cookies`、`添加Cookies自动登录`两个小例子。
Python爬虫 - Selenium(13)设置元素等待 WebDriver提供了两种类型的等待:显式等待和隐式等待。显式等待是给每一个条件都单独设置等待时间,而隐式等待是设置一个统一的等待时间。个人比较推荐`隐式等待`,至于原因,大家看过就知道了。
Python爬虫 - Selenium(14)窗口截图 前言:由程序去执行的操作不允许有任何误差,有些时候在测试的时候未出现问题,但是放到服务器上就会报错,而且打印的错误信息并不十分明确。这时,我在想如果在脚本执行出错的时候能对当前窗口截图保存,那么通过图片就可以非常直观地看出出错的原因。WebDriver提供了截图函数get_screenshot_as_file()来截取当前窗口。
Python爬虫 - Selenium(1)安装和简单使用 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE,Firefox,Safari,Chrome,Opera等。在爬虫上用来模拟正常用户访问网页并获取数据。
Django时间与Mysql数据库时间相差8小时问题解决 最近在项目上开发了记录用户登录IP和登录时间的功能,通过测试未发现任何报错,然后屁颠屁颠的的进行迁移更新,在进行数据库迁移过程中无意发现我的登录时间为凌晨两点多,但我测试时间为上午10点多,整整相差8个小时,一脸蒙蔽的排查了一下Django时区和Mysql时区都没问题,于是新建一个Django项目测试一下:
Windows和Linux(Centos7)下的Redis安装及使用 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction
Centos 7 下升级 SQLite3 获取安装包下载链接下载地址:https://www.sqlite.org/download.html最好重新获取一下下载链接,否则可能不是最新版(以上截图为本人写此篇文章时候的最新版)wget下载#链接用刚才获取的,否则可能不是最新版本wget https://www.sqlite.org/2019/sqlite-autoconf-3300100.tar.gz解压并...
django-celery实现异步任务,并在后台运行(守护进程) 对于开发人员,尤其要注重用户体验,毕竟没有用户使用,那么开发将毫无意义。Celery异步处理框架,可用于执行耗时任务,比如发送邮件、文件上传,图像处理等等比较耗时的操作,这样用户不需要等待很久,可大大提高用户体验。
报错(/etc/init.d/redisd: line 28: /usr/local/bin/redis-server: No such file or directory)的解决办法 Centos7下安装Redis并配置开机自启动时报错:/etc/init.d/redisd: line 28: /usr/local/bin/redis-server: No such file or directory,通过翻译、猜测已解决问题,希望对大家有帮助。
解决不能用root用户启动Celery Worker的问题 目录一、报错演示二、问题解决一、报错演示(venv) [root@localhost celery_tasks]# celery -A tasks worker -l infoRunning a worker with superuser privileges when theworker accepts messages serialized with pickle is a very ...
报错(AttributeError: 'str' object has no attribute 'items')的解决办法 在启动Celery或启动后调用Celery实现异步任务的时候报错:AttributeError: 'str' object has no attribute 'items',经过百度一番,发现是`redis`版本过高引起的,以下进行报错的展示与解决。
报错(SQLite 3.8.3 or later is required (found 3.7.17).)的解决办法 在服务器上刚部署完Django项目,`python manage.py runserver 0.0.0.0:8000`启动启动的时候报错:django.core.exceptions.ImproperlyConfigured: SQLite 3.8.3 or later is required (found 3.7.17).,以下为报错展示及解决办法。
报错(UnboundLocalError: local variable 'xxx' referenced before assignment)的解决办法 今天写个程序,运行报错:UnboundLocalError: local variable 'xxx' referenced before assignment(xxx为程序变量名),引发此错误的原因就是全局变量与局部变量引起的,详情请看下文:
Fiddler修改请求和返回数据 目录一、安装软件二、请求发出前拦截请求三、拦截并修改返回信息一、安装软件软件下载地址:https://www.telerik.com/fiddler安装就不过多废话了二、请求发出前拦截请求选择Rules > Automatic Breakpoints > Before Requests请求需要抓包的路由找到请求路由进行操作方法一:修改请求信息方法二:构...
报错(The view *** didn't return an HttpResponse object. It returned None instead.)的解决办法 前言:今天在调试Django项目的时候,报了一个错:The view *** didn’t return an HttpResponse object. It returned None instead.(***处会根据项目视图发生变化),按照惯例,先翻译一下,大概意思是视图**没有返回HttpResponse对象。它没有返回任何内容。,通过猜测,应该是视图里函数没有返回内容,查看一下相关函数,结果可想而知。以下进行简单的错误复现:
Django - messages(使用消息提示简单的弹出个对话框) 目录一、配置二、创建提醒消息三、跳出弹窗一、配置在项目的settings.py文件中配置django.contrib.messages的相关信息(默认是有的)INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'djan...
Python - 常用占位符 space_1 = "整数占位符:%d" % 5 # 整数占位符print(space_1) # 整数占位符:5space_2 = "字符占位符:%c%c" % (20013, 22269) # 字符占位符,输出数字对应的Unicode编码对应的字符print(space_2) # 字符占位符:中国space_3 = "字符串占位符:%s" % 'ABC' # 字符串占位符...
Django - model创建数据库表经常使用的字段及参数清单 一、常用字段models.AutoField() —自增列 = int(11) 如果没有的话,默认会生成一个名称为 id 的列,如果要显示的自定义一个自增列,必须将给列设置为主键primary_key=True。models.CharField() —字符串字段 单行输入,用于较短的字符串,如要保存大量文本, 使用 TextField。必须 max_length='最大...
Django - 设置 session 过期时间(登录过期时间) 这里是引用settings.py# session 设置SESSION_COOKIE_NAME = "sessionid" # Session的cookie保存在浏览器上时的key,即:sessionid=随机字符串(默认)SESSION_COOKIE_PATH = "/" # Session的cookie保存的路径(默认)SESSION_CO...
Python - PyMySQL操作数据库 之前用的Python2,连接MySQL用的是MySQLdb。现在换成python3.x了,由于 MySQLdb 模块还不支持 Python3.x,所以 Python3.x 如果想连接MySQL需要安装 PyMySQL模块,以下将介绍PyMySQL的详细用法
报错(AttributeError:module “xxx” has no attribute “connect”)的解决办法 一、报错展示红框的内容会根据import的包的名字发生变化二、报错原因(测试的包为pymysql,其他包同理)原因一(大多数情况):import的包名与文件名相同原因二(少数情况):文件名与其他包冲突...
Python - 读写TXT文件 一. 需要确认的要素文件路径:需要操作文件的路径操作方式:读文件、写文件或者读写文件编码方式:选择适合自己的编码方式解析内容:全部读取还是按行读二、详细解析文件路径这点就不过多的浪费口舌了,直接进入正题操作方式(即文件打开方式)表达式描述备注w写清空写,写入内容,覆盖原文件w+读和写先清空文件,然后写入内容,最后才能读取写入的内容...
Python爬虫 - rss解析器feedparser 本篇博客介绍一个利器,叫做feedparser,这个库使我们轻松实现从任何RSS或者Atom订阅源得到一些我们想要的内容。想对比原网页,rss返回的数据更简洁。
Python爬虫 - xpath的用法 先上一段代码,然后下边有详细介绍注:先安装依赖包lxml :pip install lxmlimport requestsfrom lxml import etreeheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chr...
Pytnon - PyInstaller(把py文件打包成exe) 向大家推荐个Python第三方开源包:PyInstaller,通过这个包可以把.py文件打包成.exe程序,脑补一下,别人执行程序需要Python xxx.py,而你只需要双击就OK了。
PyCharm 常用快捷键大全 一、编辑类Ctrl + Space 基本的代码完成(类、方法、属性)Ctrl + Alt + Space 类名完成Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息(在方法中调用参数)Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介(左键点击即可看到该函数或变量的位置)Ctrl + F1 显示错误描述或警告信息Alt...
Python-两个列表取交集、并集、差集(编写了一个两个文件取交集的小工具) 最近突然有个需求(取两个文件数据的交集),数据量非常大(2000多万行的数据),最开始的思路是先取一个文件所有的数据,保存成一个列表,然后判断是否在另一个文件中,花了十几分钟写出来后,一运行,差点崩溃,太慢了。然后想到数学里的列表取交集,百度一下,果然有,测试了一下,速度非常快,完美的解决问题。
PyCharm全局搜索Ctrl + Shift + F无反应的解决办法 近期发现PyCharm的一个全局搜索的功能,非常实用;但是与window输入法的快捷键冲突导致无效,此教程详细介绍如何解决此问题。
PyCharm2019.1详细安装教程 一、下载安装包下载地址:http://www.jetbrains.com/pycharm/download/other.html我下载的是2019.1版(可激活成永久使用)二、安装双击安装程序安装程序启动,Next选择安装路径(默认安装在C盘),Next按自己需求选择,我是全选,Next直接Next(或者自己重新起名字)耐心等待一到两分钟安装结束三、打开软件...
Centos7 安装和卸载Docker 近期发现使用docker部署项目是非常方便快捷的(前提是项目支持docker),特写下此Docker安装教程,希望对大家有帮助。一、安装DockerDocker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本$ uname -r使用 root 权限...
Centos7下Mysql设置密码的验证强度等级及密码长度 新建用户或修改密码时,报错(ERROR 1819 (HY000): Your password does not satisfy the current policy requirements),这是Mysql自带的密码强度验证的限制
Django xadmin安装教程与问题解决方案 一、安装教程xadmin下载源码包下载地址:https://github.com/sshwsfc/xadmin/tree/django2安装xadmin安装方法一:pip install 第一步压缩包下载地址安装方法二:直接复制压缩包里的xadmin文件夹到项目app的同级目录下(方便修改源码,本教程使用此方法)[外链图片转存失败(img-R25byetl-15649...
报错(No such process [core/uwsgi.c line 1693])的解决办法 Centos7 通过uwsgi重启(uwsgi --reload uwsgi.pid)或停止(uwsgi --stop uwsgi.pid)时报错:signal_pidfile()/kill(): No such process [core/uwsgi.c line 1693]的解决办法
python +ip2region 离线IP库地址文件实现秒级查询ip归属地址 ip2region - 离线的ip地址查询库,ip到地区的映射库,提供二进制,B树,内存搜索三种查询算法,查询速度非常快。支持Java,PHP,C,Python,Nodejs,Golang,C#等语言,本文以Python为例
如何快速解决虚拟机中的CentOS7 NAT模式无法上网的问题 想必在大家安装了CentOS7虚拟机后,发现虚拟机无法上网,一定会非常郁闷吧,毕竞有很多的命令是需要连接网络才能实现的,无法上网,那么当然就无法系统完全的测试学习CentOS7系统了!下面就给大家介绍一个快速解决CentOS7虚拟法上网的方式(可能不唯一)首先:打开虚拟机的编辑菜单,选择“虚拟机网络编辑器”点击"更改设置"按钮获取管理员权限在虚拟机网络编辑器中选择还原默...
Centos7彻底卸载MySQL 输入命令查询系统中已安装的mysqlrpm -qa |grep -i mysql逐个卸载mysqlyum remove mysql-community-server-5.7.19-1.el7.x86_64yum remove mysql-community-common-5.7.19-1.el7.x86_64yum remove mysql-community-libs-5.7.19...
Centos7安装Mysql 5.7 前言:现在centos上默认是没有yum源的,yum安装的是 MariaDB。所以我们需要自己先配置yum源。配置yum源步骤:(1,2)下载yum源wget ‘https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm’安装yum源rpm -Uvh mysql57-community-relea...
Centos7 安装python3.6(与python2.7共存) 一、python 3.6 安装安装相关依赖包(需要超级用户)yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel使用wget从官网下载安装包(网址根据需...