## Split md ``` cargo run --example split_md ``` ``` 0 [0..78]: 350 ├─ section [0..2]: 4 │ ├─ atx_heading [2..3]: 4 │ ├─ paragraph [4..5]: 1 │ ├─ paragraph [6..8]: 8 │ ├─ html_block [9..12]: 2 │ ├─ paragraph [13..14]: 3 │ ├─ paragraph [15..19]: 27 │ ├─ paragraph [20..21]: 2 │ │ ├─ atx_heading [22..23]: 3 │ │ ├─ paragraph [24..27]: 27 │ │ ├─ list [28..36]: 57 │ │ ├─ link_reference_definition [36..37]: 2 │ │ ├─ link_reference_definition [37..38]: 2 │ │ ├─ link_reference_definition [38..39]: 2 │ │ ├─ link_reference_definition [39..40]: 2 │ │ ├─ link_reference_definition [40..41]: 2 │ │ ├─ paragraph [42..43]: 2 │ │ │ ├─ atx_heading [44..45]: 2 │ │ │ ├─ paragraph [46..47]: 15 │ │ │ ├─ paragraph [48..50]: 13 │ │ │ ├─ paragraph [51..54]: 38 │ │ │ ├─ list [55..58]: 16 │ │ │ ├─ paragraph [58..59]: 2 │ │ │ ├─ section [60..78]: 114 1 [78..128]: 383 │ │ │ ├─ section [78..128]: 383 2 [128..182]: 494 │ │ │ ├─ atx_heading [128..129]: 2 │ │ │ ├─ paragraph [130..131]: 13 │ │ │ ├─ paragraph [132..135]: 27 │ │ │ ├─ list [136..148]: 106 │ │ │ ├─ paragraph [148..153]: 69 │ │ │ ├─ paragraph [154..162]: 85 │ │ │ ├─ paragraph [163..176]: 154 │ │ │ ├─ paragraph [177..180]: 36 │ │ │ ├─ paragraph [181..182]: 2 3 [183..265]: 508 │ │ │ ├─ section [183..211]: 228 │ │ ├─ section [211..265]: 280 4 [265..338]: 455 │ │ │ ├─ atx_heading [265..266]: 2 │ │ │ ├─ paragraph [267..270]: 40 │ │ │ ├─ paragraph [271..272]: 2 │ │ │ ├─ list [273..282]: 89 │ │ │ ├─ paragraph [282..291]: 102 │ │ │ ├─ paragraph [292..295]: 38 │ │ │ ├─ fenced_code_block [296..303]: 29 │ │ │ ├─ fenced_code_block [304..309]: 31 │ │ │ ├─ paragraph [310..313]: 28 │ │ │ ├─ fenced_code_block [314..322]: 23 │ │ │ ├─ fenced_code_block [323..334]: 41 │ │ │ ├─ paragraph [335..338]: 30 5 [339..375]: 281 │ │ │ ├─ paragraph [339..345]: 65 │ │ │ ├─ paragraph [346..350]: 45 │ │ │ ├─ paragraph [351..355]: 54 │ │ │ ├─ paragraph [356..357]: 2 │ │ ├─ section [358..375]: 115 6 [375..448]: 342 │ │ ├─ atx_heading [375..376]: 3 │ │ ├─ paragraph [377..381]: 50 │ │ ├─ paragraph [382..384]: 22 │ │ ├─ link_reference_definition [385..386]: 3 │ │ ├─ paragraph [387..388]: 2 │ │ ├─ section [389..401]: 54 │ │ ├─ section [401..419]: 65 │ │ ├─ section [419..433]: 77 │ │ ├─ section [433..448]: 66 7 [448..483]: 251 │ │ ├─ section [448..483]: 251 ``` ## Split python ``` cargo run --example split_python_tiktoken --features tiktoken-rs ``` ``` 0 [0..52]: 355 ├─ comment [0..0]: 31 ├─ future_import_statement [1..1]: 6 ├─ import_statement [3..3]: 2 ├─ import_statement [4..4]: 2 ├─ import_from_statement [5..5]: 6 ├─ import_from_statement [6..6]: 20 ├─ import_from_statement [7..7]: 19 ├─ import_statement [9..9]: 3 ├─ import_from_statement [11..11]: 12 ├─ import_from_statement [12..12]: 6 ├─ if_statement [14..15]: 16 ├─ expression_statement [18..18]: 7 │ ├─ class [21..21]: 1 │ ├─ identifier [21..21]: 1 │ ├─ argument_list [21..21]: 5 │ ├─ : [21..21]: 1 │ │ ├─ expression_statement [22..22]: 13 │ │ ├─ expression_statemen## Split python ``` cargo run --example split_python_tiktoken ``` 2 [125..158]: 249 │ ├─ class [125..125]: 1 │ ├─ identifier [125..125]: 2 │ ├─ argument_list [125..125]: 5 │ ├─ : [125..125]: 1 │ │ ├─ expression_statement [126..126]: 13 │ │ ├─ expression_statement [128..128]: 5 │ │ ├─ expression_statement [130..130]: 8 │ │ ├─ function_definition [132..143]: 79 │ │ ├─ function_definition [145..146]: 22 │ │ ├─ function_definition [148..150]: 26 │ │ ├─ function_definition [152..158]: 77 3 [160..228]: 440 │ │ ├─ function_definition [160..209]: 333 │ │ ├─ function_definition [211..212]: 14 │ │ ├─ function_definition [214..220]: 49 │ │ ├─ function_definition [222..228]: 40 4 [231..298]: 452 ├─ class_definition [231..269]: 231 │ ├─ class [272..272]: 1 │ ├─ identifier [272..272]: 3 │ ├─ : [272..272]: 1 │ │ ├─ expression_statement [273..273]: 5 │ │ ├─ expression_statement [274..274]: 5 │ │ ├─ expression_statement [275..275]: 5 │ │ ├─ expression_statement [276..276]: 7 │ │ ├─ function_definition [278..282]: 37 │ │ ├─ function_definition [284..290]: 68 │ │ ├─ function_definition [292..298]: 74 5 [300..363]: 483 │ │ ├─ function_definition [300..346]: 303 ├─ decorated_definition [349..357]: 98 ├─ function_definition [360..363]: 80 6 [366..388]: 146 ├─ function_definition [366..388]: 146 ``` ## Split golang ``` cargo run --example split_go ``` ``` 0 [0..149]: 362 ├─ comment [0..0]: 13 ├─ package_clause [1..1]: 2 ├─ import_declaration [3..14]: 12 ├─ type_declaration [16..21]: 17 ├─ type_declaration [23..25]: 8 ├─ type_declaration [27..30]: 11 ├─ type_declaration [32..36]: 14 ├─ type_declaration [38..42]: 14 ├─ type_declaration [44..48]: 14 ├─ type_declaration [50..52]: 8 ├─ type_declaration [54..66]: 38 ├─ type_declaration [68..76]: 26 ├─ type_declaration [78..85]: 23 ├─ function_declaration [87..99]: 34 ├─ function_declaration [101..126]: 78 ├─ function_declaration [128..149]: 50 1 [151..321]: 435 ├─ function_declaration [151..215]: 177 ├─ type_declaration [217..221]: 10 ├─ method_declaration [223..237]: 45 ├─ method_declaration [239..278]: 105 ├─ method_declaration [280..287]: 23 ├─ function_declaration [289..321]: 75 ``` ## Split rust ``` cargo run --example split_rust ``` ``` 0 [0..100]: 423 ├─ inner_attribute_item [0..0]: 3 ├─ inner_attribute_item [1..1]: 3 ├─ use_declaration [3..8]: 12 ├─ use_declaration [10..10]: 2 ├─ use_declaration [11..11]: 2 ├─ mod_item [13..13]: 2 ├─ attribute_item [14..14]: 3 ├─ mod_item [15..15]: 2 ├─ attribute_item [16..16]: 3 ├─ mod_item [17..17]: 2 ├─ mod_item [18..18]: 2 ├─ attribute_item [19..19]: 3 ├─ mod_item [20..20]: 2 ├─ use_declaration [22..22]: 3 ├─ attribute_item [23..23]: 3 ├─ use_declaration [24..24]: 3 ├─ use_declaration [25..25]: 3 ├─ line_comment [27..28]: 14 ├─ line_comment [28..29]: 16 ├─ line_comment [29..30]: 7 ├─ attribute_item [30..30]: 4 ├─ struct_item [31..38]: 46 ├─ impl_item [40..80]: 141 ├─ line_comment [82..83]: 8 ├─ trait_item [83..86]: 26 ├─ line_comment [88..89]: 11 ├─ line_comment [89..90]: 1 ├─ line_comment [90..91]: 14 ├─ line_comment [91..92]: 4 ├─ line_comment [92..93]: 1 ├─ line_comment [93..94]: 14 ├─ line_comment [94..95]: 15 ├─ line_comment [95..96]: 11 ├─ line_comment [96..97]: 1 ├─ line_comment [97..98]: 16 ├─ line_comment [98..99]: 15 ├─ line_comment [99..100]: 5 1 [100..227]: 405 ├─ trait_item [100..132]: 133 ├─ impl_item [134..138]: 13 ├─ impl_item [140..148]: 20 ├─ impl_item [150..158]: 20 ├─ impl_item [160..168]: 20 ├─ impl_item [170..178]: 20 ├─ impl_item [180..188]: 20 ├─ impl_item [190..198]: 20 ├─ line_comment [200..201]: 11 ├─ attribute_item [201..201]: 1 ├─ attribute_item [202..202]: 7 ├─ enum_item [203..210]: 40 ├─ line_comment [212..213]: 7 ├─ trait_item [213..220]: 29 ├─ line_comment [222..223]: 9 ├─ line_comment [223..224]: 13 ├─ line_comment [224..225]: 5 ├─ line_comment [225..226]: 12 ├─ line_comment [226..227]: 5 2 [227..318]: 415 ├─ trait_item [227..290]: 310 ├─ line_comment [292..293]: 12 ├─ attribute_item [293..293]: 1 ├─ struct_item [294..312]: 74 │ ├─ impl [314..314]: 1 │ ├─ type_parameters [314..314]: 6 │ ├─ generic_type [314..314]: 5 │ ├─ where_clause [315..318]: 7 3 [319..453]: 511 │ │ ├─ { [319..319]: 1 │ │ ├─ line_comment [320..321]: 9 │ │ ├─ line_comment [321..322]: 7 │ │ ├─ function_item [322..331]: 26 │ │ ├─ line_comment [333..334]: 13 │ │ ├─ function_item [334..340]: 24 │ │ ├─ line_comment [342..343]: 9 │ │ ├─ function_item [343..350]: 33 │ │ ├─ line_comment [352..353]: 8 │ │ ├─ line_comment [353..354]: 7 │ │ ├─ line_comment [354..355]: 9 │ │ ├─ function_item [355..450]: 350 │ │ ├─ line_comment [452..453]: 15 4 [453..527]: 364 │ │ ├─ line_comment [453..454]: 14 │ │ ├─ line_comment [454..455]: 4 │ │ ├─ function_item [455..487]: 223 │ │ ├─ function_item [489..498]: 25 │ │ ├─ } [499..499]: 1 ├─ impl_item [501..524]: 84 ├─ line_comment [526..527]: 13 5 [527..725]: 447 ├─ function_item [527..600]: 222 ├─ attribute_item [602..602]: 1 ├─ mod_item [603..725]: 224 ```