Python 环境变量的一个坑
Python 中可以使用 os.environ 操作环境变量，前几天看到了其他几个函数 os.getenv 和 os.putenv。然而 os.putenv 是一个大坑，os.putenv 之后，在后面的 os.getenv 中并不能读出来。囧
参考
- https://mail.python.org/pipermail/python-list/2013-June/650294.html
Nov 13, 2018
Nov 13, 2018
网页更新与重抓策略
我们知道网页总是会更新的。在大规模的网络爬取中，一个很重要的问题是重抓策略，也就是在什么时候去重新访问同一个网页已获得更新。要获得这个问题的解，需要满足如下两个条件：
- 尽可能地少访问，以减少自身和对方站点的资源占用
- 尽可能快的更新，以便获得最新结果
这两个条件几乎是对立的，所以我们必须找到一种算法，并获得一个尽可能优的折衷。
可以使用泊松过程：https://stackoverflow.com/questions/10331738/strategy-for-how-to-crawl-index-frequently-updated-webpages
Nov 12, 2018
如何调试 Python 的 Core Dump
如果需要记录 Core Dump 的原因，首先需要使用 faulthandler 参数启动 Python
python -X faulthandler main.py
出 core 之后，可以使用 gdb 调试
gdb python core
参考
- https://stackoverflow.com/questions/2663841/python-tracing-a-segmentation-fault/2664232#2664232
Nov 01, 2018
Linux 下分区并挂载磁盘
分区
parted -s -a optimal /dev/sda mklabel gpt -- mkpart primary ext4 1 -1s
创建文件系统
mkfs.ext4 /dev/sda1
查看分区结果
parted -l
复制数据
首先挂载到临时分区
mount /dev/sdb1 /mnt
把之前的数据考进去
# rsync -av /home/* /mnt/
OR
# cp -aR /home/* /mnt/
校验数据
diff -r /home /mnt
删除老数据
rm -rf /home/*
umount /mnt
挂载 …
Oct 20, 2018
Linux 中的 Process Group 和 Session
使用了这么多年的 Ubuntu, 自以为 Linux 下进程的概念已经很熟悉了, 然而发现进程组(Process Group)和会话(Session)两个概念日常并不会接触很多, 平时也没有注意, 导致今天遇到一个问题还想了半天才想明白.
看了一些讲进程控制的书和文章, 感觉都比较老了, 不少都还在讲 double fork 的原理及意义, 而现实是 systemd 已经接管了几乎整个 Linux 世界, double fork 这种东西真的不应该存在了, 至少在新的程序中不应该再使用了, 所以有了这篇文章.
引子--问题
我们知道在命令行运行的前台命令, 可以随时通过 Ctrl-C 关闭掉. 原理很简单, 当我们按下 Ctrl-C 的时候, shell 进程会向前台进程发送一个 SIGINT 信号, 进程收到 SIGINT 的默认操作就是退出. 按照这个思路出发, 在 fork 之后, 如果按下 …
Oct 16, 2018
Python + Influxdb + Grafana 的监控系统
influxdb
为什么我们要把监控数据存到 influxdb 呢? 存到 MySQL 或者 MongoDB 甚至 Elasticsearch 不好么?
数据模型上, 监控数据是和时间相关的, 脱离点产生的时间, 那么数据将毫无意义, 传统数据库中并没又强调这一点.
性能上, influxdb 是时间序列数据库, 这类数据库面临的问题是写入非常多, 而读取比较少. 而普通的数据库一般都是读比较多, 而写入较少, 并且要保证写入的正确性.
监控打点显然是一个面向时间序列的过程, 并且写入非常多, 而一般只有在触发告警, 排查问题的时候可能读取才比较多. 所以从性能和功能考虑上来说, 传统数据库都是不适用的.
influxdb 中常见的存储数据格式:
cpu_usage value=49 1502043216
cpu_usage value=50 1502193042
cpu_usage value=5 1502196258
influxdb 数据模型
我们以一个 measurement(测量) 作为一个表 …
Oct 15, 2018
使用 prctl 在父进程退出的时候安全退出子进程
在 Linux 中, 当子进程退出的时候, 父进程可以收到信号, 但是当父进程退出的时候, 子进程并不会受到信号. 这样就造成了在父进程崩溃的时候, 子进程并不能同时退出, 而是一直会在后台运行, 比如下面的例子:
import os
import time
def loop_print():
import time
while True:
print('child alive, %s' % time.time())
time.sleep(1)
try:
pid = os.fork()
except OSError:
pass
if pid != 0: # parent
print('parent sleep for 2')
time.sleep(2)
print …Oct 15, 2018
吐槽一下 Python 混乱的 threading 和 multiprocessing
最近要写一个库往 influxdb 中打点, 因为要被很多程序使用, 而又要创建新的进程, 为了避免引起使用方的异常, 简单深入了解了下 Python 的并发控制, 这才发现标准库真是坑. 之前没过多考虑过, 只是凭感觉在 CPU 密集的时候使用 multiprocessing, 而默认使用 threading, 其实两个还是有很多不一样的, 除了都是并发执行以外还有很大的不同. Python 中试图用 threading 和 multiprocessing 实现类似的接口来统一两方面, 结果导致更混乱了. 本文探讨几个坑.
在多线程环境中 fork
首先不谈 Python, 我们思考一下, 在多线程环境下如果执行 fork 会怎样? 在新的进程中, 会不会所有线程都在运行? 答案是否定的, 在 fork 之后, 只有执行 fork 的线程在运行, 而其他线程都不会运行. 这是 POSIX 标准规定的:
A process …
Oct 13, 2018
Python 高性能请求库 aiohttp 的基本用法
aiohttp 是 Python 异步编程最常用的一个 web 请求库了, 依托于 asyncio, 性能非常吓人. 下面列举几个常见的用法:
最基础: 并发下载网页
import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
urls = [
'http://python.org',
'https://google.com',
'http://yifei.me'
]
tasks = []
async with aiohttp.ClientSession …Oct 06, 2018
kubernetes 初探——使用 helm 部署服务
前几篇写了一写 k8s 部署方面的东西, 后来发现阿里云的 k8s 集群还很好用...何苦自己研究几天部署呢...?
------分隔线------
在 k8s 上部署一个应用还是有些复杂的, 自己的应用当然需要自己一步一步部署, 但是对于一些通用的应用, 比如说 mysql/grafana 这种就没必要自己手工一步一步部署了. 这时候就有了 helm, 通俗的来说他就是 kubernetes 上的 AppStore, 常见的应用都已经在了, 而且你也可以按照他的格式打包自己的应用部署.
安装
在 helm 的 release 页面下载, 然后拷贝到本地的 /usr/local/bin/ 目录就好了. helm 运行的时候会使用 ~/.kube/config 文件, 所以本地 kubectl 可以使用就好了.
helm 分为两部分, helm 是本地命令, tiller 是服务端 …