celery笔记 jieba RPC 服务 http2 vs http1 python发送邮件 gitbook 笔记 docker运行 pyppeteer 百度/腾讯 ocr 试用 页面元素选择 python pickle 实践 k3s 安装加速 FFmpeg 使用总结 Systemd 教程 mysql 1366 错误解决 docker-compose 笔记 sqlite 使用总结 百度网盘命令行工具 bypy 阿里云 PAI-EAS 试用报告 gpt2中文预训练模型试用 文本生成资料汇总 使用 tracemalloc 分析 python 内存使用情况 spark 集群试用 openresty使用笔记 mac下 python 报错 CERTIFICATE_VERIFY_FAILED docker-compose 安装方法 系统代理 mac 下安装 adb scrapy项目作为工具库使用 charles over proxy 使用 markdown 制作 ppt docker挂载目录异常 flask 笔记 wsl2 使用体验 nginx 配置 mac 配置 发布自己的 python 包 selenium + chrome 全页面截图 mongo ORM 笔记 supervisor 使用总结 h5py性能测评 privoxy实现PAC代理上网 session请求示例 ssh笔记 python小技巧 docker学习笔记 tornado使用总结 再读《MongoDB权威指南》 tornado文件上传服务 mongo学习笔记 python异步服务器测试 No module named 'Crypto' on Mac mac中安装python3.5 py3.6环境下numpy C扩展出错 mtcnn读书笔记 shell 学习笔记 install ubuntu18.04 定时备份linux系统的history记录 asyncio异步请求示例 golang setting git使用笔记 Ubuntu16.04下配置python3环境 将Ubuntu16.04升级为Ubuntu18.04(development branch) Ubuntu16.04下源码安装python3.6 virtualenv中安装anaconda模块 基于sqlite3实现数据缓存 修复colaboratory中tensorflow的bug 安装docker-compose docker引起的空间不足 CNN可视化研究 ubuntu16.04中安装wine-qq 在ubuntu16.04中安装wine3.0+winetricks ssh over socks5 python删除文件或目录 shadowsocks+privoxy设置本地代理 python下载大文件的方法 解决python中遇到的乱码问题 修改 ubuntu & windows双系统中系统启动顺序与等待时间 python3安装mysql ubuntu环境变量设置 python 后台程序实现

python小技巧

2019年04月02日

python小技巧

1. 使用指定 pypi源安装包

pip install jieba gensim numpy tornado *.whl -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
pip install -r req.txt -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

2. 将指定包安装到lib目录下

echo path_to_package >> xx/lib/python2.7/site-packages/pk1.pth

3. cheat: 命令示例

python -m pip install cheat

# tar命令使用示例
cheat tar

# To extract an uncompressed archive:
tar -xvf /path/to/foo.tar

# To create an uncompressed archive:
tar -cvf /path/to/foo.tar /path/to/foo/
....

4. pip 工具

逐行安装, 忽略错误:

cat requirements.txt | xargs -n 1 python -m pip install

5. python 文件服务器

# python3 or python2
python -m http.server || python -m SimpleHTTPServer

6. logger无法输出

基本描述:python中获取 logger 变量,levellogging.INFO, 然而使用 logger.info("xxx") 无法输出日志。

debug 过程: 发现logger.handlers不为空,但是logger.disabled为True, 导致没有执行日志输出。检查后,发现初始化时,logger.disabledFalse;排除其他代码修改logger.disabled值。

问题修复:

参考 Why do all my loggers start auto-disabled?. Vinay Sajip 提到原因: 初始化logger后,代码调用fileConfig会修改 logger.disabled

Calling fileConfig() disables any loggers existing at the time of the
call. Make sure you call fileConfig() before instantiating any
loggers; after that you can instantiate as many as you like, and they
will all be enabled. Make sure you don't call fileConfig() again, as
in that call all loggers which are not named in the configuration will
be disabled.

The reason why fileConfig() disables existing loggers is that it was
designed as a one-off configuration (which completely replaces any
existing configuration with that specified in the config file) - not
as an incremental configurator.

Best regards,

Vinay Sajip

因此,解决方法是,先调用fileConfig再初始化自己的logger

7. 库打包

打包成 whl 文件格式

python setup.py bdist_wheel

安装所有 whl 库

python -m pip install requests *.whl

8. 输出缓存问题

场景 1:

使用nohup python pytorch_demo.py > all.log 2>&1 & 无法在 all.log 文件中获取到日志,

但单独执行python pytorch_demo.py 能看到输出结果.

解决方案是使用 -u不缓存输出,

nohup python -u pytorch_demo.py > all.log 2>&1 &

场景 2:

docker 中 直接运行 python 服务, 通过 docker log -f <container> 看不到日志,

解决方法是, 启动 python 服务时, 增加 -u 参数.

进阶:

可以使用 PYTHONUNBUFFERED=1 实现上面的功能.

Dockerfile 中可以使用 ENV PYTHONUNBUFFERED 1.

9. 命令行直接执行 python 代码

python -c 'import foo; print foo.hello()'

指定执行路径:

PYTHONPATH=/opt/code/py python -c 'import foo; print foo.hello()'

10. 代码热加载

importlib 提供了根据路径,动态加载模块的功能。

import sys
import importlib


def load_module(module_name: str):
    """
    加载模块
    :param module_name: str, 例如 "util.new_util", "app_config"
    :return: 
    """
    importlib.import_module(module_name)


def delete_module(module_name: object):
    """ 删除模块 """
    if module_name in sys.modules:
        del sys.modules[module_name]