介绍

这是2020年的post新年快乐给你所有！

我LLVM一个巨大的风扇，因为11年前，当我开始玩它来JIT数据结构如AVLs，则以后到JIT限制AST树并从TensorFlow图JIT本机代码。从那时起，LLVM发展成为最重要的编译框架生态系统之一，目前被许多重要的开源项目所使用。

我最近注意到的一个很酷的项目是Gandiva. 甘地娃是由Dremio然后捐赠给Apache Arrow(荣誉给Dremio团队为)。Gandiva的主要思想是它提供了一个编译器来生成LLVM IR，可以对批操作Apache的箭。Gandiva是用c++编写的，附带了许多不同的函数，这些函数被实现来构建一个表达式树，可以用LLVM JIT化。这种设计的一个很好的特性是，它可以使用LLVM自动优化复杂的表达式，在操作箭头批时添加原生目标平台向量化(如AVX)，并执行原生代码来计算表达式。

下面的图片提供了Gandiva的概述：

在本文中，我将构建一个非常简单的表达式解析器，它支持亚洲金博宝一组有限的操作，我将使用这些操作来过滤Pandas数据帧。

建设有Gandiva简单的表达

在本节中，我将展示如何使用来自Gandiva的tree builder手动创建一个简单的表达式。

使用Gandiva Python绑定到JIT和表达

在为表达式构建解析器和表达式生成器之前，让我们使用Gandiva手动构建一个简单的表达式。首先，我们将创建一个简单的Pandas数据框，其数字从0.0到9.0：

将panda作为pd导入pyarrow作为pa导入皮亚罗·甘迪瓦正如gandiva#创建一个简单的Pandas数据框df=pd.数据帧（{“x”：[1.0*i for i in range（10）]}）表=熊猫爸爸的桌子（df）架构=来自熊猫的pa.Schema（数据框）

我们转换的数据帧到箭头表，需要注意的是，在这种情况下，它是一个零复制操作，箭不从熊猫复制数据和复制数据帧是很重要的。后来我们得到了模式，其中包含列类型和其他元数据。

在那之后，我们要使用Gandiva建立下面的表达式来过滤数据：

（x>2.0）和（x<6.0）

这个表达式将使用Gandiva中的节点来构建:

builder = gandiva.TreeExprBuilder() #参考列“x”node_x = builder.make_field (table.schema.field (x)) #让两个文字:2.0和6.0两个= builder.make_literal (2.0, pa.float64 ()) 6 = builder.make_literal (6.0, pa.float64()) #为“x > 2.0”创建一个函数gt_five_node =建设者。为“x < 6.0”lt_ten_node = builder创建一个函数。make_function("less_than"， [node_x, 6]， py .bool_())创建一个"and"节点，用于"(x > 2.0)和(x < 6.0)"和_node = builder。make_and([gt_five_node, lt_ten_node])模式、条件)

此代码现在看起来有点复杂，但它是很容易理解。我们基本上是创建一个树将代表我们前面显示的表达式的节点。这里是什么样子的图示：

检查所生成的LLVM IR

不幸的是，我们还没有找到一种方法来转储使用箭头的Python绑定生成的LLVM IR，但是，我们可以使用c++ API来构建相同的树，然后看看生成的LLVM IR:

自动field_x =字段（ “X”，FLOAT32（））;自动模式=箭头::架构（{field_x}）;自动node_x = TreeExprBuilder :: MakeField（field_x）;汽车2 = TreeExprBuilder :: MakeLiteral（（则float_t）2.0）;汽车6 = TreeExprBuilder :: MakeLiteral（（则float_t）6.0）;自动gt_five_node = TreeExprBuilder :: MakeFunction（ “GREATER_THAN”，{node_x，二}，箭头::布尔（））;自动lt_ten_node = TreeExprBuilder :: MakeFunction（ “LESS_THAN”，{node_x，六}，箭头::布尔（））;自动and_node = TreeExprBuilder :: MakeAnd（{gt_five_node，lt_ten_node}）;自动条件= TreeExprBuilder :: MakeCondition（and_node）;的std :: shared_ptr的<过滤>过滤器; auto status = Filter::Make(schema, condition, TestConfiguration(), &filter);

上面的代码是一样的Python代码，但使用C ++ Gandiva API。现在，我们建立了树，C ++，我们可以得到LLVM模块和转储IR代码它。所产生的IR是充分的样板代码和从Gandiva注册表中JIT'ed功能，但是重要的部分是如下显示：

；函数Attrs:alwaysinline norecurse nounewind readnone ssp uwtable define internal zeronext i1@小于_float32_float32（float，float）本地_unnamed_addr#0{%3=fcmp olt float%0，%1 ret i1%3}；函数Attrs:alwaysinline norecurse nounewind readnone ssp uwtable define internal zeronext i1@大于_float32_float32（float，000000e+00）

正如你所看到的，在IR我们可以看到调用功能less_than_float32_float_32和greater_than_float32_float32这是（在本例中非常简单的）Gandiva函数来进行浮点亚洲金博宝比较。通过查看函数名前缀来注意函数的专门化。

有趣的是，LLVM将应用此代码中的所有优化，它将为目标平台生成高效的本机代码，而Godiva和LLVM将负责确保用于矢量化的扩展（如AVX）的内存对齐是正确的。

我展示的这个IR代码并不是实际执行的代码，而是经过优化的代码。在优化后的代码中，我们可以看到LLVM内联了这些函数，如下面优化代码的一部分所示：

%x、 us=加载浮点，浮点*%10，对齐4%11=fcmp ogt float%x.us，2.000000e+00%12=fcmp olt float%x.us，6.000000e+00%不是或条件=和i1%12、%11

您可以看到，优化后的表达式现在简单得多，因为LLVM应用了强大的优化，并内联了许多Gandiva函数。

用Gandiva构建熊猫过滤器表达式JIT

现在我们希望能够实现类似于熊猫的DataFrame.query（）使用甘地瓦函数。我们将面临的第一个问题是，我们需要解析一个字符串，比如（x>2.0）和（x<6.0）之后，我们将不得不使用Gandiva的树构建器来构建Gandiva表达式树，然后在箭头数据上对表达式求值。

Now, instead of implementing a full parsing of the expression string, I’ll use the Python AST module to parse valid Python code and build an Abstract Syntax Tree (AST) of that expression, that I’ll be later using to emit the Gandiva/LLVM nodes.

解析字符串的繁重工作将委托给Python AST模块，我们的工作主要是在这棵树上行走，并根据该语法树发出Gandiva节点。访问此Python AST树的节点并发出Gandiva节点的代码如下所示：

LLVMGandivaVisitor类(ast.NodeVisitor公司)：def初始值（self，df_table）：自工作台=数据表自建造者= 甘地瓦·特雷埃克斯伯勒() 自列={f.姓名：self.builder.make_字段（f） 对于f-inself.table.schema模式} 自我比较={“Gt”：“大于”，“Lt”：“小于”，}赛尔夫·本·奥普斯={“比特币”：自建造者, “BitOr”：自制.make_或，}def visit_模块（self，node）：返回自我访问(node.body节点[0]）def visit_BinOp（self，node）：左=自我访问(node.left节点)右=自我访问(node.右)操作名称=node.op节点.\uu类.\uuuuu名称.\uuuu gandiva_ubin_uop=赛尔夫·本·奥普斯[操作名称]返回gandiva_bin_op（[左，右]）def visit_Compare（self，节点）：op=node.ops节点[0]操作名=操作类操作名操作名自我比较[操作名称]比较器=自我访问(节点比较器[0]）左=自我访问(node.left节点)返回self.builder.make_函数（gandiva_comp_op，[左，比较器]，巴布尔_（）def visit_Num（self，node）：返回self.builder.make_文字（节点n，pa.float64公司（）def visit_Expr（self，node）：返回自我访问(节点值)def visit_Name（self，node）：返回自列[节点id]def generic_visit（self，node）：返回节点def evaluate_filter（self，llvm_mod）：条件=自建造者制造条件（llvm_mod）过滤器=甘地瓦制造过滤器(self.table.schema模式, 条件）结果=筛选评估(self.table.to_批（[0]，默认内存池（）arr=结果到数组（pd_结果=arr.to_numpy公司（）返回pd_result@staticmethod def gandiva_查询（df，查询）：df_table=熊猫爸爸的桌子（df）llvm_gandiva_visitor=LLVMGandivaVisitor（df_table）mod_f=ast.parse解析（查询）llvm_mod=llvm_gandiva_访客访问（mod_f）结果=llvm_gandiva_访问者评价过滤器（llvm_mod）返回结果

正如您所看到的，代码非常简单，因为我不支持所有可能的Python表达式，而是它的一个子集。我们在这个类中所做的基本上是将Python AST节点（如亚洲金博宝Comparators和BinOps（二进制操作））转换为Gandiva节点。我还改变了&以及|分别代表和或的运算符，如在熊猫中查询（）功能。

注册为熊猫分机

的下一个步骤是创建一个简单的Pandas扩展gandiva_query（）方法，我们创建了：

类GandivaAcessor: def余下的init__(self, pandas_obj): self。pandas_obj = pandas_obj def query(self, query):返回llvmgangandivavisitor .gandiva_query(self。pandas_obj、查询)

这就是它，现在我们可以使用这个扩展做的事情，例如：

DF = pd.DataFrame（{ “一”：[1.0 * I为i的范围（n大小）]}）=结果df.gandiva.query（ “A> 10.0”）

因为我们已经注册了一个名为gandiva他现在是熊猫数据帧的一等公民。

现在我们创建一个500万floats数据帧并使用新的查询（）方法对其进行过滤：

DF = pd.DataFrame（{ “一”：[1.0 * I为i的范围（50000000）]}）df.gandiva.query（ “一<4.0”）＃这将输出：＃阵列（[0，1，2，3]，D型细胞= UINT32）

注意，返回的值是满足我们实现的条件的索引，因此它与Pandas不同查询（）返回已经过滤的数据。

我做了一些基准测试，发现Gandiva通常比Pandas更快，但是我会为下一篇关于Gandiva的文章留下适当的基准，因为这篇文章将展示如何使用它来JIT表达式。

而已 ！我希望你喜欢这个职位，因为我喜欢探索Gandiva。看来，我们将可能有更多的工具来了Gandiva加速，专为SQL解析/投影/ JIT编译。Gandiva比我刚才给得多了，但你可以现在就开始了解更多的架构和如何建立表达式树的。

- 基督教S. Perone