基于python实现雪花算法过程详解 -凯发真人娱乐

这篇文章主要介绍了基于python实现过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

snowflake是twitter提出来的一个算法，其目的是生成一个64bit的整数:

• 1bit:一般是符号位，不做处理
• 41bit:用来记录时间戳，这里可以记录69年，如果设置好起始时间比如今年是2018年，那么可以用到2089年，到时候怎么办？要是这个系统能用69年，我相信这个系统早都重构了好多次了。
• 10bit:10bit用来记录机器id，总共可以记录1024台机器，一般用前5位代表数据中心，后面5位是某个数据中心的机器id
• 12bit:循环位，用来对同一个毫秒之内产生不同的id，12位可以最多记录4095个，也就是在同一个机器同一毫秒最多记录4095个，多余的需要进行等待下毫秒。

上面只是一个将64bit划分的标准，当然也不一定这么做，可以根据不同业务的具体场景来划分，比如下面给出一个业务场景：

• 服务目前qps10万，预计几年之内会发展到百万。
• 当前机器三地部署，上海，北京，深圳都有。
• 当前机器10台左右，预计未来会增加至百台。
• 这个时候我们根据上面的场景可以再次合理的划分62bit,qps几年之内会发展到百万，那么每毫秒就是千级的请求，目前10台机器那么每台机器承担百级的请求，为了保证扩展，后面的循环位可以限制到1024，也就是2^10，那么循环位10位就足够了。

机器三地部署我们可以用3bit总共8来表示机房位置，当前的机器10台，为了保证扩展到百台那么可以用7bit 128来表示，时间位依然是41bit,那么还剩下64-10-3-7-41-1 = 2bit,还剩下2bit可以用来进行扩展。

时钟回拨

因为机器的原因会发生时间回拨，我们的雪花算法是强依赖我们的时间的，如果时间发生回拨，有可能会生成重复的id，在我们上面的nextid中我们用当前时间和上一次的时间进行判断，如果当前时间小于上一次的时间那么肯定是发生了回拨，算法会直接抛出异常.

# twitter's snowflake algorithm implementation which is used to generate distributed ids.
# https://github.com/twitter-archive/snowflake/blob/snowflake-2010/src/main/scala/com/twitter/service/snowflake/idworker.scala
import time
import logging
from .exceptions import invalidsystemclock
# 64位id的划分
worker_id_bits = 5
datacenter_id_bits = 5
sequence_bits = 12
# 最大取值计算
max_worker_id = -1 ^ (-1 << worker_id_bits) # 2**5-1 0b11111
max_datacenter_id = -1 ^ (-1 << datacenter_id_bits)
# 移位偏移计算
woker_id_shift = sequence_bits
datacenter_id_shift = sequence_bits   worker_id_bits
timestamp_left_shift = sequence_bits   worker_id_bits   datacenter_id_bits
# 序号循环掩码
sequence_mask = -1 ^ (-1 << sequence_bits)
# twitter元年时间戳
twepoch = 1288834974657
logger = logging.getlogger('flask.app')
class idworker(object):
  """
  用于生成ids
  """
  def __init__(self, datacenter_id, worker_id, sequence=0):
    """
    初始化
    :param datacenter_id: 数据中心（机器区域）id
    :param worker_id: 机器id
    :param sequence: 其实序号
    """
    # sanity check
    if worker_id > max_worker_id or worker_id < 0:
      raise valueerror('worker_id值越界')
    if datacenter_id > max_datacenter_id or datacenter_id < 0:
      raise valueerror('datacenter_id值越界')
    self.worker_id = worker_id
    self.datacenter_id = datacenter_id
    self.sequence = sequence
    self.last_timestamp = -1 # 上次计算的时间戳
  def _gen_timestamp(self):
    """
    生成整数时间戳
    :return:int timestamp
    """
    return int(time.time() * 1000)
  def get_id(self):
    """
    获取新id
    :return:
    """
    timestamp = self._gen_timestamp()
    # 时钟回拨
    if timestamp < self.last_timestamp:
      logging.error('clock is moving backwards. rejecting requests until {}'.format(self.last_timestamp))
      raise invalidsystemclock
    if timestamp == self.last_timestamp:
      self.sequence = (self.sequence   1) & sequence_mask
      if self.sequence == 0:
        timestamp = self._til_next_millis(self.last_timestamp)
    else:
      self.sequence = 0
    self.last_timestamp = timestamp
    new_id = ((timestamp - twepoch) << timestamp_left_shift) | (self.datacenter_id << datacenter_id_shift) | \
         (self.worker_id << woker_id_shift) | self.sequence
    return new_id
  def _til_next_millis(self, last_timestamp):
    """
    等到下一毫秒
    """
    timestamp = self._gen_timestamp()
    while timestamp <= last_timestamp:
      timestamp = self._gen_timestamp()
    return timestamp
if __name__ == '__main__':
  worker = idworker(1, 2, 0)
  print(worker.get_id())

同文件夹下建立exceptions.py

class invalidsystemclock(exception):
  """
  时钟回拨异常
  """
  pass

配置文件中添加,对应的是机器id和序列号

  # snowflake id worker 参数
  datacenter_id = 0
  worker_id = 0
  sequence = 0

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。