：三層 Monkey Patch 改造 Relation、WhereChain 與 Arel 的完整原理)
深入 postgres_ext 架構(gòu)三層 Monkey Patch 改造 Relation、WhereChain 與 Arel 的完整原理【免費(fèi)下載鏈接】postgres_extAdds support for missing PostgreSQL data types to ActiveRecord項(xiàng)目地址: https://gitcode.com/gh_mirrors/po/postgres_extpostgres_ext是一個(gè)為 PostgreSQL 數(shù)據(jù)庫補(bǔ)全數(shù)據(jù)類型的 Ruby Gem它為 Rails 4.x 的 ActiveRecord 與 Arel 增加了對(duì)數(shù)組、hstore、inet 等 PostgreSQL 原生類型的查詢支持。本文帶你完整拆解它如何僅用三層 Monkey Patch在不修改 Rails 源碼的前提下讓where.overlap、CTE 遞歸查詢、窗口函數(shù) rank() 這些原生感極強(qiáng)的能力自然融入 ActiveRecord。一、postgres_ext 要解決什么問題 Rails 4 時(shí)代的 ActiveRecord 對(duì) PostgreSQL 的高級(jí)類型支持有限數(shù)組列array無法直接用語義查詢hstore 沒有包含、被包含操作符inet 網(wǎng)絡(luò)地址無法做包含判斷沒有WITH公共表表達(dá)式、WITH RECURSIVE、窗口函數(shù)rank()的查詢?nèi)肟?。postgres_ext 的思路是不動(dòng) Rails 源碼通過 Ruby 的開放類機(jī)制reopen class逐層打補(bǔ)丁。入口只有三行見 lib/postgres_ext.rbrequire postgres_ext/version require postgres_ext/active_record require postgres_ext/arelrequire postgres_ext之后ActiveRecord 的查詢 API 就被悄悄擴(kuò)展了。二、三層架構(gòu)總覽 ?┌─────────────────────────────────────────────────┐ │ 第一層 ActiveRecord::Relation / Querying │ ← 查詢?nèi)肟?│ query_methods.rb / cte_proxy.rb / merger.rb │ (with / ranked / from_cte) ├─────────────────────────────────────────────────┤ │ 第二層 WhereChain / PredicateBuilder │ ← 條件構(gòu)造 │ query_methods.rb(WhereChain部分) / │ (where.overlap / contains) │ predicate_builder*.rb │ ├─────────────────────────────────────────────────┤ │ 第三層 ArelNodes Predications Visitors │ ← SQL 生成 │ arel/nodes/*.rb, arel/4.x/*.rb │ (操作符渲染) └─────────────────────────────────────────────────┘三層職責(zé)清晰第一層管入口與方法第二層管條件表達(dá)式第三層管SQL 文本落地。下面逐層拆解。三、第一層改造 ActiveRecord::Relation核心文件是lib/postgres_ext/active_record/relation/query_methods.rb它重新打開ActiveRecord::QueryMethods模塊注入三組能力1. 用字符串拼接 class_eval動(dòng)態(tài)生成存取器Relation 的值都存放在values哈希里。postgres_ext 需要給 CTE 和 rank 各加一個(gè) key于是用一段生成器代碼文件第 150-174 行動(dòng)態(tài)生成with_values、rank_value、recursive_value等讀寫方法完全模仿 Rails 內(nèi)部select_values的寫法包括raise ImmutableRelation if loaded的不可變保護(hù)。 這是典型的元編程打補(bǔ)丁與其復(fù)制粘貼五段幾乎相同的代碼不如寫一個(gè)循環(huán)生成器。2. 新增with/ranked查詢方法Post.find_by_sql式的 CTEPost.with(:chain).recursive(name: ...)走新開的WithChain類第 137-148 行recursive方法把recursive_value置為 truebuild_with第 214 行起負(fù)責(zé)把字符串、Hash、Arel::Nodes::As等各種形式的 CTE 定義統(tǒng)一轉(zhuǎn)成 Arel 的with節(jié)點(diǎn)ranked(:order)則生成rank() OVER (ORDER BY ...)窗口函數(shù)節(jié)點(diǎn)build_rank第 242 行起。3.alias_method_chain—— 最關(guān)鍵的鉤子def build_arel_with_extensions arel build_arel_without_extensions build_with(arel) build_rank(arel, rank_value) if rank_value arel end alias_method_chain :build_arel, :extensions這是整個(gè)第一層的靈魂build_arel是 Relation 把查詢條件編譯成 Arel AST 的方法。patch 后它變成build_arel_with_extensions——先調(diào)用 Rails 原生的 SQL 構(gòu)建邏輯再把自己的WITH和rank()節(jié)點(diǎn)嫁接到已有的 AST 上。一行alias_method_chain完成了對(duì) Rails 查詢流水線的非侵入式接管。4. 兩個(gè)小配角lib/postgres_ext/active_record/relation/merger.rb把:with加入Merger#normal_values讓 scope 合并merge時(shí) CTE 定義不丟失lib/postgres_ext/active_record/relation/querying.rb中的from_cte(name, expression)借助CTEProxy見 lib/postgres_ext/active_record/cte_proxy.rb把 CTE 包裝成可查詢對(duì)象代理模型的columns、primary_key等方法讓你能像查真實(shí)表一樣查子查詢。四、第二層改造 WhereChain 與 PredicateBuilderWhereChainwhere.xxx 的擴(kuò)展入口where.overlap(...)、where.contained_within(...)這類方法定義在query_methods.rb第 3-133 行的WhereChain重開中。它們共享兩個(gè)私有工具build_where_chain先讓 Rails 原生的build_where構(gòu)造出標(biāo)準(zhǔn)的In/Equality節(jié)點(diǎn)再用塊函數(shù)把節(jié)點(diǎn)替換成 postgres_ext 的自定義節(jié)點(diǎn)substitute_comparisons針對(duì)、、這類簡單替換的快捷封裝。亮點(diǎn)是類型感知contains第 16 行起會(huì)先查 schema 判斷列類型——hstore 列用ContainsHStore數(shù)組列用ContainsArray否則退回ContainsINet。同一個(gè) API三種底層 SQL 操作符用戶完全無感。PredicateBuilder讓數(shù)組列支持Rails 默認(rèn)把where(tag: [a, b])翻譯成IN (a, b)。但 PostgreSQL 數(shù)組列應(yīng)該支持 ANY式的整體相等。Rails 4.1 走lib/postgres_ext/active_record/relation/predicate_builder.rb整個(gè)build方法被重寫第 6-40 行檢測(cè)若值類型是 Array 且對(duì)應(yīng)列是數(shù)組列則改為attribute.eq(value)其余邏輯Range、子查詢、nil 處理保持原生行為Rails 4.2 的數(shù)組處理已抽到ArrayHandler#calllib/postgres_ext/active_record/relation/predicate_builder/array_handler.rb便改用ActiveSupport::Concernalias_method_chain(:call, :feature)只替換這一個(gè)方法補(bǔ)丁更精準(zhǔn)。五、第三層Arel 節(jié)點(diǎn)與訪問者第三層由三部分組成全部在lib/postgres_ext/arel/下1. 自定義節(jié)點(diǎn)AST 節(jié)點(diǎn)lib/postgres_ext/arel/nodes/contained_within.rb定義了ContainedWithin、ContainsINet、ContainsArray、ContainedInArray等 9 個(gè)類全部繼承Arel::Nodes::Binary只需實(shí)現(xiàn)一個(gè)operator方法array_nodes.rb補(bǔ)充了Overlap。2. 謂詞方法Predicationslib/postgres_ext/arel/4.2/predications.rb重開Arel::Predications模塊為 Arel 屬性對(duì)象添加contained_within、contains、overlap、any、all等鏈?zhǔn)椒椒ㄖ苯?new 出上面的節(jié)點(diǎn)。3. SQL 訪問者Visitorlib/postgres_ext/arel/4.2/visitors/postgresql.rb重開Arel::Visitors::PostgreSQL為每個(gè)自定義節(jié)點(diǎn)添加visit_Arel_Nodes_Xxx方法最終把節(jié)點(diǎn)渲染成 SQL 文本例如infix_value o, collector, 就產(chǎn)出a b。其中visit_Arel_Nodes_Contains還會(huì)再次查列類型在和之間動(dòng)態(tài)選擇——防御性做得很足。六、三層如何協(xié)作一次查詢的完整旅程 以Post.where.overlap(:tags, [1,2])為例WhereChain#overlap → build_where_chain 生成標(biāo)準(zhǔn) Equality 節(jié)點(diǎn) → 替換為 Arel::Nodes::Overlap → Relation#build_arel_with_extensions第一層鉤子 → 調(diào)用原生 build_arel_without_extensions → Visitors::PostgreSQL#visit_Arel_Nodes_Overlap → SQL: tags ARRAY[...]第二層負(fù)責(zé)造節(jié)點(diǎn)第一層負(fù)責(zé)裝進(jìn)流水線第三層負(fù)責(zé)翻譯成 SQL——各司其職任何一層都可以獨(dú)立演進(jìn)。七、版本兼容是怎么做的Rails 4.1 與 4.2 的內(nèi)部結(jié)構(gòu)不同比如ArrayHandler在 4.2 才拆分出來postgres_ext 用 Gem 依賴探測(cè)來選擇加載哪套補(bǔ)丁lib/postgres_ext/arel.rb解析已安裝的 activerecord 版本選擇arel/4.1/或arel/4.2/下的 predications 與 visitorslib/postgres_ext/active_record/relation.rb同樣根據(jù)版本選擇predicate_builder.rb或predicate_builder/array_handler.rb。配合根目錄下的gemfiles/Gemfile.activerecord-4.0.x等矩陣文件CI 中通過bundle exec rake test:all全版本跑測(cè)試保證了對(duì) Rails 4.0 / 4.1 / 4.2 的全面兼容。八、從 postgres_ext 學(xué)到的 Monkey Patch 最佳實(shí)踐實(shí)踐體現(xiàn)鉤子最小化用alias_method_chain包住build_arel一個(gè)方法而非重寫整個(gè) Relation先委托再增強(qiáng)build_arel_with_extensions先調(diào)原生邏輯再疊加自定義節(jié)點(diǎn)補(bǔ)丁文件與 Rails 目錄結(jié)構(gòu)一一對(duì)應(yīng)active_record/relation/對(duì)應(yīng) Rails 同名模塊讀補(bǔ)丁如讀源碼按運(yùn)行時(shí)版本分發(fā)補(bǔ)丁arel/4.1與arel/4.2雙份實(shí)現(xiàn)加載時(shí)自動(dòng)選擇防御性類型判斷渲染 SQL 前二次確認(rèn)列類型避免錯(cuò)誤操作符九、寫在最后postgres_ext 已停止維護(hù)Rails 5 起官方已內(nèi)置大部分類型支持但它的三層 Monkey Patch 設(shè)計(jì)——Relation 入口 → WhereChain 條件 → Arel 節(jié)點(diǎn)/訪問者——依然是 Ruby 生態(tài)中擴(kuò)展 ORM 的經(jīng)典范式。理解這套結(jié)構(gòu)你不僅讀懂了一個(gè) Gem更拿到了打開所有 ActiveRecord 插件源碼的鑰匙 ?想要克隆源碼進(jìn)一步研究倉庫地址https://gitcode.com/gh_mirrors/po/postgres_ext【免費(fèi)下載鏈接】postgres_extAdds support for missing PostgreSQL data types to ActiveRecord項(xiàng)目地址: https://gitcode.com/gh_mirrors/po/postgres_ext創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 深入 postgres_ext 架構(gòu)：三層 Monkey Patch 改造 Relation、WhereChain 與 Arel 的完整原理
深入 postgres_ext 架構(gòu)三層 Monkey Patch 改造 Relation、WhereChain 與 Arel 的完整原理【免費(fèi)下載鏈接】postgres_extAdds support for missing PostgreSQL data types to ActiveRecord項(xiàng)目地址: https://gitcode.com/gh_mirrors/po/postgres_extpostgres_ext是一個(gè)為 PostgreSQL 數(shù)據(jù)庫補(bǔ)全數(shù)據(jù)類型的 Ruby Gem它為 Rails 4.x 的 ActiveRecord 與 Arel 增加了對(duì)數(shù)組、hstore、inet 等 PostgreSQL 原生類型的查詢支持。本文帶你完整拆解它如何僅用三層 Monkey Patch在不修改 Rails 源碼的前提下讓where.overlap、CTE 遞歸查詢、窗口函數(shù) rank() 這些原生感極強(qiáng)的能力自然融入 ActiveRecord。一、postgres_ext 要解決什么問題 Rails 4 時(shí)代的 ActiveRecord 對(duì) PostgreSQL 的高級(jí)類型支持有限數(shù)組列array無法直接用語義查詢hstore 沒有包含、被包含操作符inet 網(wǎng)絡(luò)地址無法做包含判斷沒有WITH公共表表達(dá)式、WITH RECURSIVE、窗口函數(shù)rank()的查詢?nèi)肟?。postgres_ext 的思路是不動(dòng) Rails 源碼通過 Ruby 的開放類機(jī)制reopen class逐層打補(bǔ)丁。入口只有三行見 lib/postgres_ext.rbrequire postgres_ext/version require postgres_ext/active_record require postgres_ext/arelrequire postgres_ext之后ActiveRecord 的查詢 API 就被悄悄擴(kuò)展了。二、三層架構(gòu)總覽 ?┌─────────────────────────────────────────────────┐ │ 第一層 ActiveRecord::Relation / Querying │ ← 查詢?nèi)肟?│ query_methods.rb / cte_proxy.rb / merger.rb │ (with / ranked / from_cte) ├─────────────────────────────────────────────────┤ │ 第二層 WhereChain / PredicateBuilder │ ← 條件構(gòu)造 │ query_methods.rb(WhereChain部分) / │ (where.overlap / contains) │ predicate_builder*.rb │ ├─────────────────────────────────────────────────┤ │ 第三層 ArelNodes Predications Visitors │ ← SQL 生成 │ arel/nodes/*.rb, arel/4.x/*.rb │ (操作符渲染) └─────────────────────────────────────────────────┘三層職責(zé)清晰第一層管入口與方法第二層管條件表達(dá)式第三層管SQL 文本落地。下面逐層拆解。三、第一層改造 ActiveRecord::Relation核心文件是lib/postgres_ext/active_record/relation/query_methods.rb它重新打開ActiveRecord::QueryMethods模塊注入三組能力1. 用字符串拼接 class_eval動(dòng)態(tài)生成存取器Relation 的值都存放在values哈希里。postgres_ext 需要給 CTE 和 rank 各加一個(gè) key于是用一段生成器代碼文件第 150-174 行動(dòng)態(tài)生成with_values、rank_value、recursive_value等讀寫方法完全模仿 Rails 內(nèi)部select_values的寫法包括raise ImmutableRelation if loaded的不可變保護(hù)。 這是典型的元編程打補(bǔ)丁與其復(fù)制粘貼五段幾乎相同的代碼不如寫一個(gè)循環(huán)生成器。2. 新增with/ranked查詢方法Post.find_by_sql式的 CTEPost.with(:chain).recursive(name: ...)走新開的WithChain類第 137-148 行recursive方法把recursive_value置為 truebuild_with第 214 行起負(fù)責(zé)把字符串、Hash、Arel::Nodes::As等各種形式的 CTE 定義統(tǒng)一轉(zhuǎn)成 Arel 的with節(jié)點(diǎn)ranked(:order)則生成rank() OVER (ORDER BY ...)窗口函數(shù)節(jié)點(diǎn)build_rank第 242 行起。3.alias_method_chain—— 最關(guān)鍵的鉤子def build_arel_with_extensions arel build_arel_without_extensions build_with(arel) build_rank(arel, rank_value) if rank_value arel end alias_method_chain :build_arel, :extensions這是整個(gè)第一層的靈魂build_arel是 Relation 把查詢條件編譯成 Arel AST 的方法。patch 后它變成build_arel_with_extensions——先調(diào)用 Rails 原生的 SQL 構(gòu)建邏輯再把自己的WITH和rank()節(jié)點(diǎn)嫁接到已有的 AST 上。一行alias_method_chain完成了對(duì) Rails 查詢流水線的非侵入式接管。4. 兩個(gè)小配角lib/postgres_ext/active_record/relation/merger.rb把:with加入Merger#normal_values讓 scope 合并merge時(shí) CTE 定義不丟失lib/postgres_ext/active_record/relation/querying.rb中的from_cte(name, expression)借助CTEProxy見 lib/postgres_ext/active_record/cte_proxy.rb把 CTE 包裝成可查詢對(duì)象代理模型的columns、primary_key等方法讓你能像查真實(shí)表一樣查子查詢。四、第二層改造 WhereChain 與 PredicateBuilderWhereChainwhere.xxx 的擴(kuò)展入口where.overlap(...)、where.contained_within(...)這類方法定義在query_methods.rb第 3-133 行的WhereChain重開中。它們共享兩個(gè)私有工具build_where_chain先讓 Rails 原生的build_where構(gòu)造出標(biāo)準(zhǔn)的In/Equality節(jié)點(diǎn)再用塊函數(shù)把節(jié)點(diǎn)替換成 postgres_ext 的自定義節(jié)點(diǎn)substitute_comparisons針對(duì)、、這類簡單替換的快捷封裝。亮點(diǎn)是類型感知contains第 16 行起會(huì)先查 schema 判斷列類型——hstore 列用ContainsHStore數(shù)組列用ContainsArray否則退回ContainsINet。同一個(gè) API三種底層 SQL 操作符用戶完全無感。PredicateBuilder讓數(shù)組列支持Rails 默認(rèn)把where(tag: [a, b])翻譯成IN (a, b)。但 PostgreSQL 數(shù)組列應(yīng)該支持 ANY式的整體相等。Rails 4.1 走lib/postgres_ext/active_record/relation/predicate_builder.rb整個(gè)build方法被重寫第 6-40 行檢測(cè)若值類型是 Array 且對(duì)應(yīng)列是數(shù)組列則改為attribute.eq(value)其余邏輯Range、子查詢、nil 處理保持原生行為Rails 4.2 的數(shù)組處理已抽到ArrayHandler#calllib/postgres_ext/active_record/relation/predicate_builder/array_handler.rb便改用ActiveSupport::Concernalias_method_chain(:call, :feature)只替換這一個(gè)方法補(bǔ)丁更精準(zhǔn)。五、第三層Arel 節(jié)點(diǎn)與訪問者第三層由三部分組成全部在lib/postgres_ext/arel/下1. 自定義節(jié)點(diǎn)AST 節(jié)點(diǎn)lib/postgres_ext/arel/nodes/contained_within.rb定義了ContainedWithin、ContainsINet、ContainsArray、ContainedInArray等 9 個(gè)類全部繼承Arel::Nodes::Binary只需實(shí)現(xiàn)一個(gè)operator方法array_nodes.rb補(bǔ)充了Overlap。2. 謂詞方法Predicationslib/postgres_ext/arel/4.2/predications.rb重開Arel::Predications模塊為 Arel 屬性對(duì)象添加contained_within、contains、overlap、any、all等鏈?zhǔn)椒椒ㄖ苯?new 出上面的節(jié)點(diǎn)。3. SQL 訪問者Visitorlib/postgres_ext/arel/4.2/visitors/postgresql.rb重開Arel::Visitors::PostgreSQL為每個(gè)自定義節(jié)點(diǎn)添加visit_Arel_Nodes_Xxx方法最終把節(jié)點(diǎn)渲染成 SQL 文本例如infix_value o, collector, 就產(chǎn)出a b。其中visit_Arel_Nodes_Contains還會(huì)再次查列類型在和之間動(dòng)態(tài)選擇——防御性做得很足。六、三層如何協(xié)作一次查詢的完整旅程 以Post.where.overlap(:tags, [1,2])為例WhereChain#overlap → build_where_chain 生成標(biāo)準(zhǔn) Equality 節(jié)點(diǎn) → 替換為 Arel::Nodes::Overlap → Relation#build_arel_with_extensions第一層鉤子 → 調(diào)用原生 build_arel_without_extensions → Visitors::PostgreSQL#visit_Arel_Nodes_Overlap → SQL: tags ARRAY[...]第二層負(fù)責(zé)造節(jié)點(diǎn)第一層負(fù)責(zé)裝進(jìn)流水線第三層負(fù)責(zé)翻譯成 SQL——各司其職任何一層都可以獨(dú)立演進(jìn)。七、版本兼容是怎么做的Rails 4.1 與 4.2 的內(nèi)部結(jié)構(gòu)不同比如ArrayHandler在 4.2 才拆分出來postgres_ext 用 Gem 依賴探測(cè)來選擇加載哪套補(bǔ)丁lib/postgres_ext/arel.rb解析已安裝的 activerecord 版本選擇arel/4.1/或arel/4.2/下的 predications 與 visitorslib/postgres_ext/active_record/relation.rb同樣根據(jù)版本選擇predicate_builder.rb或predicate_builder/array_handler.rb。配合根目錄下的gemfiles/Gemfile.activerecord-4.0.x等矩陣文件CI 中通過bundle exec rake test:all全版本跑測(cè)試保證了對(duì) Rails 4.0 / 4.1 / 4.2 的全面兼容。八、從 postgres_ext 學(xué)到的 Monkey Patch 最佳實(shí)踐實(shí)踐體現(xiàn)鉤子最小化用alias_method_chain包住build_arel一個(gè)方法而非重寫整個(gè) Relation先委托再增強(qiáng)build_arel_with_extensions先調(diào)原生邏輯再疊加自定義節(jié)點(diǎn)補(bǔ)丁文件與 Rails 目錄結(jié)構(gòu)一一對(duì)應(yīng)active_record/relation/對(duì)應(yīng) Rails 同名模塊讀補(bǔ)丁如讀源碼按運(yùn)行時(shí)版本分發(fā)補(bǔ)丁arel/4.1與arel/4.2雙份實(shí)現(xiàn)加載時(shí)自動(dòng)選擇防御性類型判斷渲染 SQL 前二次確認(rèn)列類型避免錯(cuò)誤操作符九、寫在最后postgres_ext 已停止維護(hù)Rails 5 起官方已內(nèi)置大部分類型支持但它的三層 Monkey Patch 設(shè)計(jì)——Relation 入口 → WhereChain 條件 → Arel 節(jié)點(diǎn)/訪問者——依然是 Ruby 生態(tài)中擴(kuò)展 ORM 的經(jīng)典范式。理解這套結(jié)構(gòu)你不僅讀懂了一個(gè) Gem更拿到了打開所有 ActiveRecord 插件源碼的鑰匙 ?想要克隆源碼進(jìn)一步研究倉庫地址https://gitcode.com/gh_mirrors/po/postgres_ext【免費(fèi)下載鏈接】postgres_extAdds support for missing PostgreSQL data types to ActiveRecord項(xiàng)目地址: https://gitcode.com/gh_mirrors/po/postgres_ext創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考