python转为double类型_⼀⾏代码让你的python运⾏速度提⾼
100倍
python⼀直被病垢运⾏速度太慢，但是实际上python的执⾏效率并不慢，慢的是python⽤的解释器Cpython运⾏效率太差。
“⼀⾏代码让python的运⾏速度提⾼100倍”这绝不是的论调。
我们来看⼀下这个最简单的例⼦，从1⼀直累加到1亿。
最原始的代码：
import time
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print('Time used: {} sec'.format(time.time()-tt))
return s
print(foo(1,100000000))
结果：
Time used: 6.779874801635742 sec
4999999950000000
我们来加⼀⾏代码，再看看结果：
from numba import jit
import time
@jit
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print('Time used: {} sec'.format(time.time()-tt))
return s
print(foo(1,100000000))
结果：
Time used: 0.04680037498474121 sec
4999999950000000
是不是快了100多倍呢？
jit模块那么⽜掰？”
numba库的jit
那么下⾯就分享⼀下“为啥numba
NumPy的创始⼈Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致⼒于将Python⼤数据处理⽅⾯的应⽤。最近推出的NumPy
Numba项⽬能够将处理NumPy数组的Python函数JIT编译为机器码执⾏，从⽽上百倍的提⾼程序的运算速度。
Numba项⽬的主页上有Linux下的详细安装步骤。编译LLVM需要花⼀些时间。
Windows⽤户可以从Unofficial Windows Binaries for Python Extension Packages下载安装LLVMPy、meta和numba等⼏个扩展库。
下⾯我们看⼀个例⼦：
import numba as nb
from numba import jit
@jit('f8(f8[:])')
def sum1d(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
import numpy as np
array = np.random.random(10000)
%timeit sum1d(array)
%timeit np.sum(array)
%timeit sum(array)
10000 loops, best of 3: 38.9 us per loop
10000 loops, best of 3: 32.3 us per loop
100 loops, best of 3: 12.4 ms per loop
JIT编译成机器码函数，并返回⼀个可在Python中调⽤机器码的包装对象。为了能numba中提供了⼀些修饰器，它们可以将其修饰的函数JIT
将Python函数编译成能⾼速执⾏的机器码，我们需要告诉JIT编译器函数的各个参数和返回值的类型。我们可以通过多种⽅式指定类型信息，在上⾯的例⼦中，类型信息由⼀个字符串’f8(f8[:])’指定。其中’f8’表⽰8个字节双精度浮点数，括号前⾯的’f8’表⽰返回值类型，括号⾥的表⽰参数类型，’[:]’表⽰⼀维数组。因此整个类型字符串表⽰sum1d()是⼀个参数为双精度浮点数的⼀维数组，返回值是⼀个双精度浮点数。
需要注意的是，JIT所产⽣的函数只能对指定的类型的参数进⾏运算：
print s(10, dtype=np.int32))
print s(10, dtype=np.float32))
print s(10, dtype=np.float64))
1.2095376009e-312
1.46201599944e+185
10.0
autojit：
如果希望JIT能针对所有类型的参数进⾏运算，可以使⽤autojit
from numba import autojit
@autojit
def sum1d2(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
%timeit sum1d2(array)
print s(10, dtype=np.int32))
print s(10, dtype=np.float32))
print s(10, dtype=np.float64))
10000 loops, best of 3: 143 us per loop
10.0
10.0
10.0
autoit
autoit虽然可以根据参数类型动态地产⽣机器码函数，但是由于它需要每次检查参数类型，因此计算速度也有所降低。numba的⽤法很简单，基本上就是⽤jit和autojit这两个修饰器，和⼀些类型对象。下⾯的程序列出numba所⽀持的所有类型：
print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
unsigned int, short, int64, Py_ssize_t]
numba的通过meta
meta模块解析Python函数的ast语法树，对各个变量添加相应的类型信息。然后调⽤llvmpy⽣成机器码，最后再⼯作原理numba
⽣成机器码的Python调⽤接⼝。
meta模块
通过研究numba的⼯作原理，我们可以到许多有⽤的⼯具。例如meta模块可在程序源码、ast语法树以及Python⼆进制码之间进⾏相互转换。下⾯看⼀个例⼦：
def add2(a, b):
return a + b
decompile_func能将函数的代码对象反编译成ast语法树，⽽str_ast能直观地显⽰ast语法树，使⽤这两
个⼯具学习Python的ast语法树是很有帮助的。
from meta.decompiler import decompile_func
from meta.asttools import str_ast
print str_ast(decompile_func(add2))
FunctionDef(args=arguments(args=[Name(ctx=Param(),
id='a'),
Name(ctx=Param(),
id='b')],
defaults=[],
kwarg=None,
vararg=None),
body=[Return(value=BinOp(left=Name(ctx=Load(),
id='a'),
op=Add(),
right=Name(ctx=Load(),
id='b')))],
decorator_list=[],
name='add2')
⽽python_source可以将ast语法树转换为Python源代码：
from meta.asttools import python_source
python_source(decompile_func(add2))
def add2(a, b):
return (a + b)
decompile_pyc将上述⼆者结合起来，它能将Python编译之后的pyc或者pyo⽂件反编译成源代码。下⾯我们先写⼀个tmp.py⽂件，然后通过py_compile将其编译成tmp.pyc。
with open("tmp.py", "w") as f:
f.write("""
def square_sum(n):
s = 0
for i in range(n):
s += i**2
return s
""")
import py_compile
py_compilepile("tmp.py")
下⾯调⽤decompile_pyc将tmp.pyc显⽰为源代码：
with open("tmp.pyc", "rb") as f:
decompile_pyc(f)
def square_sum(n):
s = 0
for i in range(n):
s += (i ** 2)
return s
llvmpy模块
python转java代码LLVM是⼀个动态编译器，llvmpy则可以通过Python调⽤LLVM动态地创建机器码。直接通过llvmpy创建机器码是⽐较繁琐的，例如下⾯的程序创建⼀个计算两个整数之和的函数，并调⽤它计算结果。
import Module, Type, Builder
import ExecutionEngine, GenericValue
# Create a new module with a function implementing this:
#
# int add(int a, int b) {
# return a + b;
# }
#
my_module = w('my_module')
ty_int = Type.int()
ty_func = Type.function(ty_int, [ty_int, ty_int])
f_add = my_module.add_function(ty_func, "add")
f_add.args[0].name = "a"
f_add.args[1].name = "b"
bb = f_add.append_basic_block("entry")
# IRBuilder for our basic block
builder = w(bb)
tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
<(tmp)
# Create an execution engine object. This will create a JIT compiler
# on platforms that support it, or an interpreter otherwise
ee = w(my_module)
# Each argument needs to be passed as a GenericValue object, which is a kind
# of variant
arg1 = GenericValue.int(ty_int, 100)
arg2 = GenericValue.int(ty_int, 42)
# Now let's compile and run!
retval = ee.run_function(f_add, [arg1, arg2])
# The return value is also GenericValue. Let's print it.
print "returned", retval.as_int()
returned 142
f_add就是⼀个动态⽣成的机器码函数，我们可以把它想象成C语⾔编译之后的函数。在上⾯的程序中，我们通过ee.run_function调⽤此函数，⽽实际上我们还可以获得它的地址，然后通过Python的ctypes模块调⽤它。
⾸先通过ee.get_pointer_to_function获得f_add函数的地址：
addr = ee.get_pointer_to_function(f_add)
addr
2975997968L
然后通过ctypes.PYFUNCTYPE创建⼀个函数类型：
import ctypes
f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)
最后通过f_type将函数的地址转换为可调⽤的Python函数，并调⽤它：
f = f_type(addr)
f(100, 42)
142
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论