@@ -329,107 +329,23 @@ def avro_schema_manifest_entry() -> Dict[str, Any]:
329329 "column_sizes" : [
330330 {"key" : 1 , "value" : 53 },
331331 {"key" : 2 , "value" : 98153 },
332- {"key" : 3 , "value" : 98693 },
333- {"key" : 4 , "value" : 53 },
334- {"key" : 5 , "value" : 53 },
335- {"key" : 6 , "value" : 53 },
336- {"key" : 7 , "value" : 17425 },
337- {"key" : 8 , "value" : 18528 },
338- {"key" : 9 , "value" : 53 },
339- {"key" : 10 , "value" : 44788 },
340- {"key" : 11 , "value" : 35571 },
341- {"key" : 12 , "value" : 53 },
342- {"key" : 13 , "value" : 1243 },
343- {"key" : 14 , "value" : 2355 },
344- {"key" : 15 , "value" : 12750 },
345- {"key" : 16 , "value" : 4029 },
346- {"key" : 17 , "value" : 110 },
347- {"key" : 18 , "value" : 47194 },
348- {"key" : 19 , "value" : 2948 },
349332 ],
350333 "value_counts" : [
351334 {"key" : 1 , "value" : 19513 },
352335 {"key" : 2 , "value" : 19513 },
353- {"key" : 3 , "value" : 19513 },
354- {"key" : 4 , "value" : 19513 },
355- {"key" : 5 , "value" : 19513 },
356- {"key" : 6 , "value" : 19513 },
357- {"key" : 7 , "value" : 19513 },
358- {"key" : 8 , "value" : 19513 },
359- {"key" : 9 , "value" : 19513 },
360- {"key" : 10 , "value" : 19513 },
361- {"key" : 11 , "value" : 19513 },
362- {"key" : 12 , "value" : 19513 },
363- {"key" : 13 , "value" : 19513 },
364- {"key" : 14 , "value" : 19513 },
365- {"key" : 15 , "value" : 19513 },
366- {"key" : 16 , "value" : 19513 },
367- {"key" : 17 , "value" : 19513 },
368- {"key" : 18 , "value" : 19513 },
369- {"key" : 19 , "value" : 19513 },
370336 ],
371337 "null_value_counts" : [
372338 {"key" : 1 , "value" : 19513 },
373339 {"key" : 2 , "value" : 0 },
374- {"key" : 3 , "value" : 0 },
375- {"key" : 4 , "value" : 19513 },
376- {"key" : 5 , "value" : 19513 },
377- {"key" : 6 , "value" : 19513 },
378- {"key" : 7 , "value" : 0 },
379- {"key" : 8 , "value" : 0 },
380- {"key" : 9 , "value" : 19513 },
381- {"key" : 10 , "value" : 0 },
382- {"key" : 11 , "value" : 0 },
383- {"key" : 12 , "value" : 19513 },
384- {"key" : 13 , "value" : 0 },
385- {"key" : 14 , "value" : 0 },
386- {"key" : 15 , "value" : 0 },
387- {"key" : 16 , "value" : 0 },
388- {"key" : 17 , "value" : 0 },
389- {"key" : 18 , "value" : 0 },
390- {"key" : 19 , "value" : 0 },
391- ],
392- "nan_value_counts" : [
393- {"key" : 16 , "value" : 0 },
394- {"key" : 17 , "value" : 0 },
395- {"key" : 18 , "value" : 0 },
396- {"key" : 19 , "value" : 0 },
397- {"key" : 10 , "value" : 0 },
398- {"key" : 11 , "value" : 0 },
399- {"key" : 12 , "value" : 0 },
400- {"key" : 13 , "value" : 0 },
401- {"key" : 14 , "value" : 0 },
402- {"key" : 15 , "value" : 0 },
403340 ],
341+ "nan_value_counts" : [],
404342 "lower_bounds" : [
405- {"key" : 2 , "value" : b"2020-04-01 00:00" },
406- {"key" : 3 , "value" : b"2020-04-01 00:12" },
407- {"key" : 7 , "value" : b"\x03 \x00 \x00 \x00 " },
408- {"key" : 8 , "value" : b"\x01 \x00 \x00 \x00 " },
409- {"key" : 10 , "value" : b"\xf6 (\\ \x8f \xc2 \x05 S\xc0 " },
410- {"key" : 11 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
411- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
412- {"key" : 14 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \xe0 \xbf " },
413- {"key" : 15 , "value" : b")\\ \x8f \xc2 \xf5 (\x08 \xc0 " },
414- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
415- {"key" : 17 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
416- {"key" : 18 , "value" : b"\xf6 (\\ \x8f \xc2 \xc5 S\xc0 " },
417- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x04 \xc0 " },
343+ {"key" : 1 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
344+ {"key" : 2 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
418345 ],
419346 "upper_bounds" : [
420- {"key" : 2 , "value" : b"2020-04-30 23:5:" },
421- {"key" : 3 , "value" : b"2020-05-01 00:41" },
422- {"key" : 7 , "value" : b"\t \x01 \x00 \x00 " },
423- {"key" : 8 , "value" : b"\t \x01 \x00 \x00 " },
424- {"key" : 10 , "value" : b"\xcd \xcc \xcc \xcc \xcc ,_@" },
425- {"key" : 11 , "value" : b"\x1f \x85 \xeb Q\\ \xe2 \xfe @" },
426- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x12 @" },
427- {"key" : 14 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \xe0 ?" },
428- {"key" : 15 , "value" : b"q=\n \xd7 \xa3 \xf0 1@" },
429- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 `B@" },
430- {"key" : 17 , "value" : b"333333\xd3 ?" },
431- {"key" : 18 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x18 b@" },
432- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x04 @" },
347+ {"key" : 1 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \xe0 \xbf " },
348+ {"key" : 2 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \xe0 \xbf " },
433349 ],
434350 "key_metadata" : None ,
435351 "split_offsets" : [4 ],
@@ -449,117 +365,23 @@ def avro_schema_manifest_entry() -> Dict[str, Any]:
449365 "column_sizes" : [
450366 {"key" : 1 , "value" : 318 },
451367 {"key" : 2 , "value" : 329806 },
452- {"key" : 3 , "value" : 331632 },
453- {"key" : 4 , "value" : 15343 },
454- {"key" : 5 , "value" : 2351 },
455- {"key" : 6 , "value" : 3389 },
456- {"key" : 7 , "value" : 71269 },
457- {"key" : 8 , "value" : 76429 },
458- {"key" : 9 , "value" : 16383 },
459- {"key" : 10 , "value" : 86992 },
460- {"key" : 11 , "value" : 89608 },
461- {"key" : 12 , "value" : 265 },
462- {"key" : 13 , "value" : 19377 },
463- {"key" : 14 , "value" : 1692 },
464- {"key" : 15 , "value" : 76162 },
465- {"key" : 16 , "value" : 4354 },
466- {"key" : 17 , "value" : 759 },
467- {"key" : 18 , "value" : 120650 },
468- {"key" : 19 , "value" : 11804 },
469368 ],
470369 "value_counts" : [
471370 {"key" : 1 , "value" : 95050 },
472371 {"key" : 2 , "value" : 95050 },
473- {"key" : 3 , "value" : 95050 },
474- {"key" : 4 , "value" : 95050 },
475- {"key" : 5 , "value" : 95050 },
476- {"key" : 6 , "value" : 95050 },
477- {"key" : 7 , "value" : 95050 },
478- {"key" : 8 , "value" : 95050 },
479- {"key" : 9 , "value" : 95050 },
480- {"key" : 10 , "value" : 95050 },
481- {"key" : 11 , "value" : 95050 },
482- {"key" : 12 , "value" : 95050 },
483- {"key" : 13 , "value" : 95050 },
484- {"key" : 14 , "value" : 95050 },
485- {"key" : 15 , "value" : 95050 },
486- {"key" : 16 , "value" : 95050 },
487- {"key" : 17 , "value" : 95050 },
488- {"key" : 18 , "value" : 95050 },
489- {"key" : 19 , "value" : 95050 },
490372 ],
491373 "null_value_counts" : [
492374 {"key" : 1 , "value" : 0 },
493375 {"key" : 2 , "value" : 0 },
494- {"key" : 3 , "value" : 0 },
495- {"key" : 4 , "value" : 0 },
496- {"key" : 5 , "value" : 0 },
497- {"key" : 6 , "value" : 0 },
498- {"key" : 7 , "value" : 0 },
499- {"key" : 8 , "value" : 0 },
500- {"key" : 9 , "value" : 0 },
501- {"key" : 10 , "value" : 0 },
502- {"key" : 11 , "value" : 0 },
503- {"key" : 12 , "value" : 95050 },
504- {"key" : 13 , "value" : 0 },
505- {"key" : 14 , "value" : 0 },
506- {"key" : 15 , "value" : 0 },
507- {"key" : 16 , "value" : 0 },
508- {"key" : 17 , "value" : 0 },
509- {"key" : 18 , "value" : 0 },
510- {"key" : 19 , "value" : 0 },
511- ],
512- "nan_value_counts" : [
513- {"key" : 16 , "value" : 0 },
514- {"key" : 17 , "value" : 0 },
515- {"key" : 18 , "value" : 0 },
516- {"key" : 19 , "value" : 0 },
517- {"key" : 10 , "value" : 0 },
518- {"key" : 11 , "value" : 0 },
519- {"key" : 12 , "value" : 0 },
520- {"key" : 13 , "value" : 0 },
521- {"key" : 14 , "value" : 0 },
522- {"key" : 15 , "value" : 0 },
523376 ],
377+ "nan_value_counts" : [],
524378 "lower_bounds" : [
525- {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 " },
526- {"key" : 2 , "value" : b"2020-04-01 00:00" },
527- {"key" : 3 , "value" : b"2020-04-01 00:03" },
528- {"key" : 4 , "value" : b"\x00 \x00 \x00 \x00 " },
529- {"key" : 5 , "value" : b"\x01 \x00 \x00 \x00 " },
530- {"key" : 6 , "value" : b"N" },
531- {"key" : 7 , "value" : b"\x01 \x00 \x00 \x00 " },
532- {"key" : 8 , "value" : b"\x01 \x00 \x00 \x00 " },
533- {"key" : 9 , "value" : b"\x01 \x00 \x00 \x00 " },
534- {"key" : 10 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
535- {"key" : 11 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
536- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
537- {"key" : 14 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
538- {"key" : 15 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
539- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
540- {"key" : 17 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
541- {"key" : 18 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
542- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
379+ {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
380+ {"key" : 2 , "value" : b"\x01 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
543381 ],
544382 "upper_bounds" : [
545- {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 " },
546- {"key" : 2 , "value" : b"2020-04-30 23:5:" },
547- {"key" : 3 , "value" : b"2020-05-01 00:1:" },
548- {"key" : 4 , "value" : b"\x06 \x00 \x00 \x00 " },
549- {"key" : 5 , "value" : b"c\x00 \x00 \x00 " },
550- {"key" : 6 , "value" : b"Y" },
551- {"key" : 7 , "value" : b"\t \x01 \x00 \x00 " },
552- {"key" : 8 , "value" : b"\t \x01 \x00 \x00 " },
553- {"key" : 9 , "value" : b"\x04 \x00 \x00 \x00 " },
554- {"key" : 10 , "value" : b"\\ \x8f \xc2 \xf5 (8\x8c @" },
555- {"key" : 11 , "value" : b"\xcd \xcc \xcc \xcc \xcc ,f@" },
556- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x1c @" },
557- {"key" : 14 , "value" : b"\x9a \x99 \x99 \x99 \x99 \x99 \xf1 ?" },
558- {"key" : 15 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 Y@" },
559- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 \xb0 X@" },
560- {"key" : 17 , "value" : b"333333\xd3 ?" },
561- {"key" : 18 , "value" : b"\xc3 \xf5 (\\ \x8f :\x8c @" },
562- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x04 @" },
383+ {"key" : 1 , "value" : b"\x06 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
384+ {"key" : 2 , "value" : b"\x06 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
563385 ],
564386 "key_metadata" : None ,
565387 "split_offsets" : [4 ],
@@ -581,7 +403,7 @@ def test_schema() -> Schema:
581403def test_partition_spec () -> Schema :
582404 return PartitionSpec (
583405 PartitionField (1 , 1000 , IdentityTransform (), "VendorID" ),
584- PartitionField (2 , 1001 , DayTransform (), "tpep_pickup_datetime " ),
406+ PartitionField (2 , 1001 , DayTransform (), "tpep_pickup_day " ),
585407 )
586408
587409
0 commit comments