public apis

Signed-off-by: Adam Gutglick <adam@spiraldb.com>

Author: AdamGS

encodings/parquet-variant/public-api.lock

@@ -1,121 +1,129 @@
 pub mod vortex_parquet_variant
 
-pub struct vortex_parquet_variant::ParquetVariantArray
+pub struct vortex_parquet_variant::ParquetVariant
 
-impl vortex_parquet_variant::ParquetVariantArray
+impl vortex_parquet_variant::ParquetVariant
 
-pub fn vortex_parquet_variant::ParquetVariantArray::from_arrow_variant(arrow_variant: &parquet_variant_compute::variant_array::VariantArray) -> vortex_error::VortexResult<vortex_array::array::ArrayRef>
+pub const vortex_parquet_variant::ParquetVariant::ID: vortex_array::vtable::dyn_::ArrayId
 
-pub fn vortex_parquet_variant::ParquetVariantArray::metadata_array(&self) -> &vortex_array::array::ArrayRef
+impl core::fmt::Debug for vortex_parquet_variant::ParquetVariant
 
-pub fn vortex_parquet_variant::ParquetVariantArray::try_new(metadata: vortex_array::array::ArrayRef, value: core::option::Option<vortex_array::array::ArrayRef>, typed_value: core::option::Option<vortex_array::array::ArrayRef>) -> vortex_error::VortexResult<Self>
+pub fn vortex_parquet_variant::ParquetVariant::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result
 
-pub fn vortex_parquet_variant::ParquetVariantArray::typed_value_array(&self) -> core::option::Option<&vortex_array::array::ArrayRef>
+impl vortex_array::vtable::VTable for vortex_parquet_variant::ParquetVariant
 
-pub fn vortex_parquet_variant::ParquetVariantArray::value_array(&self) -> core::option::Option<&vortex_array::array::ArrayRef>
+pub type vortex_parquet_variant::ParquetVariant::Array = vortex_parquet_variant::ParquetVariantArray
 
-impl vortex_parquet_variant::ParquetVariantArray
+pub type vortex_parquet_variant::ParquetVariant::Metadata = vortex_parquet_variant::ParquetVariantMetadata
 
-pub fn vortex_parquet_variant::ParquetVariantArray::to_array(&self) -> vortex_array::array::ArrayRef
+pub type vortex_parquet_variant::ParquetVariant::OperationsVTable = vortex_parquet_variant::ParquetVariant
 
-impl core::clone::Clone for vortex_parquet_variant::ParquetVariantArray
+pub type vortex_parquet_variant::ParquetVariant::ValidityVTable = vortex_parquet_variant::ParquetVariant
 
-pub fn vortex_parquet_variant::ParquetVariantArray::clone(&self) -> vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariant::array_eq(array: &vortex_parquet_variant::ParquetVariantArray, other: &vortex_parquet_variant::ParquetVariantArray, precision: vortex_array::hash::Precision) -> bool
 
-impl core::convert::AsRef<dyn vortex_array::array::DynArray> for vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariant::array_hash<H: core::hash::Hasher>(array: &vortex_parquet_variant::ParquetVariantArray, state: &mut H, precision: vortex_array::hash::Precision)
 
-pub fn vortex_parquet_variant::ParquetVariantArray::as_ref(&self) -> &dyn vortex_array::array::DynArray
+pub fn vortex_parquet_variant::ParquetVariant::buffer(_array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> vortex_array::buffer::BufferHandle
 
-impl core::convert::From<vortex_parquet_variant::ParquetVariantArray> for vortex_array::array::ArrayRef
+pub fn vortex_parquet_variant::ParquetVariant::buffer_name(_array: &vortex_parquet_variant::ParquetVariantArray, _idx: usize) -> core::option::Option<alloc::string::String>
 
-pub fn vortex_array::array::ArrayRef::from(value: vortex_parquet_variant::ParquetVariantArray) -> vortex_array::array::ArrayRef
+pub fn vortex_parquet_variant::ParquetVariant::build(dtype: &vortex_array::dtype::DType, len: usize, metadata: &Self::Metadata, _buffers: &[vortex_array::buffer::BufferHandle], children: &dyn vortex_array::serde::ArrayChildren) -> vortex_error::VortexResult<vortex_parquet_variant::ParquetVariantArray>
 
-impl core::fmt::Debug for vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariant::child(array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> vortex_array::array::ArrayRef
 
-pub fn vortex_parquet_variant::ParquetVariantArray::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+pub fn vortex_parquet_variant::ParquetVariant::child_name(array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> alloc::string::String
 
-impl core::ops::deref::Deref for vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariant::deserialize(bytes: &[u8], _dtype: &vortex_array::dtype::DType, _len: usize, _buffers: &[vortex_array::buffer::BufferHandle], _session: &vortex_session::VortexSession) -> vortex_error::VortexResult<Self::Metadata>
 
-pub type vortex_parquet_variant::ParquetVariantArray::Target = dyn vortex_array::array::DynArray
+pub fn vortex_parquet_variant::ParquetVariant::dtype(array: &vortex_parquet_variant::ParquetVariantArray) -> &vortex_array::dtype::DType
 
-pub fn vortex_parquet_variant::ParquetVariantArray::deref(&self) -> &Self::Target
+pub fn vortex_parquet_variant::ParquetVariant::execute(array: &Self::Array, _ctx: &mut vortex_array::executor::ExecutionCtx) -> vortex_error::VortexResult<vortex_array::executor::ExecutionStep>
 
-impl vortex_array::array::IntoArray for vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariant::id(_array: &Self::Array) -> vortex_array::vtable::dyn_::ArrayId
 
-pub fn vortex_parquet_variant::ParquetVariantArray::into_array(self) -> vortex_array::array::ArrayRef
+pub fn vortex_parquet_variant::ParquetVariant::len(array: &vortex_parquet_variant::ParquetVariantArray) -> usize
 
-pub struct vortex_parquet_variant::ParquetVariantMetadata
+pub fn vortex_parquet_variant::ParquetVariant::metadata(array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_error::VortexResult<Self::Metadata>
 
-pub vortex_parquet_variant::ParquetVariantMetadata::has_value: bool
+pub fn vortex_parquet_variant::ParquetVariant::nbuffers(_array: &vortex_parquet_variant::ParquetVariantArray) -> usize
 
-pub vortex_parquet_variant::ParquetVariantMetadata::typed_value_dtype: core::option::Option<vortex_array::dtype::DType>
+pub fn vortex_parquet_variant::ParquetVariant::nchildren(array: &vortex_parquet_variant::ParquetVariantArray) -> usize
 
-impl core::clone::Clone for vortex_parquet_variant::ParquetVariantMetadata
+pub fn vortex_parquet_variant::ParquetVariant::reduce_parent(array: &Self::Array, parent: &vortex_array::array::ArrayRef, child_idx: usize) -> vortex_error::VortexResult<core::option::Option<vortex_array::array::ArrayRef>>
 
-pub fn vortex_parquet_variant::ParquetVariantMetadata::clone(&self) -> vortex_parquet_variant::ParquetVariantMetadata
+pub fn vortex_parquet_variant::ParquetVariant::serialize(metadata: Self::Metadata) -> vortex_error::VortexResult<core::option::Option<alloc::vec::Vec<u8>>>
 
-impl core::fmt::Debug for vortex_parquet_variant::ParquetVariantMetadata
+pub fn vortex_parquet_variant::ParquetVariant::stats(array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_array::stats::array::StatsSetRef<'_>
 
-pub fn vortex_parquet_variant::ParquetVariantMetadata::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+pub fn vortex_parquet_variant::ParquetVariant::with_children(array: &mut Self::Array, children: alloc::vec::Vec<vortex_array::array::ArrayRef>) -> vortex_error::VortexResult<()>
 
-pub struct vortex_parquet_variant::ParquetVariant
+impl vortex_array::vtable::operations::OperationsVTable<vortex_parquet_variant::ParquetVariant> for vortex_parquet_variant::ParquetVariant
 
-impl vortex_parquet_variant::ParquetVariant
+pub fn vortex_parquet_variant::ParquetVariant::scalar_at(array: &vortex_parquet_variant::ParquetVariantArray, index: usize) -> vortex_error::VortexResult<vortex_array::scalar::Scalar>
 
-pub const vortex_parquet_variant::ParquetVariant::ID: vortex_array::vtable::dyn_::ArrayId
+impl vortex_array::vtable::validity::ValidityVTable<vortex_parquet_variant::ParquetVariant> for vortex_parquet_variant::ParquetVariant
 
-impl core::fmt::Debug for vortex_parquet_variant::ParquetVariant
+pub fn vortex_parquet_variant::ParquetVariant::validity(array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_error::VortexResult<vortex_array::validity::Validity>
 
-pub fn vortex_parquet_variant::ParquetVariant::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+pub struct vortex_parquet_variant::ParquetVariantArray
 
-impl vortex_array::vtable::VTable for vortex_parquet_variant::ParquetVariant
+impl vortex_parquet_variant::ParquetVariantArray
 
-pub type vortex_parquet_variant::ParquetVariant::Array = vortex_parquet_variant::ParquetVariantArray
+pub fn vortex_parquet_variant::ParquetVariantArray::from_arrow_variant(arrow_variant: &parquet_variant_compute::variant_array::VariantArray) -> vortex_error::VortexResult<vortex_array::array::ArrayRef>
 
-pub type vortex_parquet_variant::ParquetVariant::Metadata = vortex_parquet_variant::ParquetVariantMetadata
+pub fn vortex_parquet_variant::ParquetVariantArray::metadata_array(&self) -> &vortex_array::array::ArrayRef
 
-pub type vortex_parquet_variant::ParquetVariant::OperationsVTable = vortex_array::vtable::NotSupported
+pub fn vortex_parquet_variant::ParquetVariantArray::try_new(metadata: vortex_array::array::ArrayRef, value: core::option::Option<vortex_array::array::ArrayRef>, typed_value: core::option::Option<vortex_array::array::ArrayRef>) -> vortex_error::VortexResult<Self>
 
-pub type vortex_parquet_variant::ParquetVariant::ValidityVTable = vortex_parquet_variant::ParquetVariant
+pub fn vortex_parquet_variant::ParquetVariantArray::try_new_with_validity(validity: vortex_array::validity::Validity, metadata: vortex_array::array::ArrayRef, value: core::option::Option<vortex_array::array::ArrayRef>, typed_value: core::option::Option<vortex_array::array::ArrayRef>) -> vortex_error::VortexResult<Self>
 
-pub fn vortex_parquet_variant::ParquetVariant::array_eq(array: &vortex_parquet_variant::ParquetVariantArray, other: &vortex_parquet_variant::ParquetVariantArray, precision: vortex_array::hash::Precision) -> bool
+pub fn vortex_parquet_variant::ParquetVariantArray::typed_value_array(&self) -> core::option::Option<&vortex_array::array::ArrayRef>
 
-pub fn vortex_parquet_variant::ParquetVariant::array_hash<H: core::hash::Hasher>(array: &vortex_parquet_variant::ParquetVariantArray, state: &mut H, precision: vortex_array::hash::Precision)
+pub fn vortex_parquet_variant::ParquetVariantArray::validity(&self) -> &vortex_array::validity::Validity
 
-pub fn vortex_parquet_variant::ParquetVariant::buffer(_array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> vortex_array::buffer::BufferHandle
+pub fn vortex_parquet_variant::ParquetVariantArray::value_array(&self) -> core::option::Option<&vortex_array::array::ArrayRef>
 
-pub fn vortex_parquet_variant::ParquetVariant::buffer_name(_array: &vortex_parquet_variant::ParquetVariantArray, _idx: usize) -> core::option::Option<alloc::string::String>
+impl vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::build(dtype: &vortex_array::dtype::DType, len: usize, metadata: &Self::Metadata, _buffers: &[vortex_array::buffer::BufferHandle], children: &dyn vortex_array::serde::ArrayChildren) -> vortex_error::VortexResult<vortex_parquet_variant::ParquetVariantArray>
+pub fn vortex_parquet_variant::ParquetVariantArray::to_array(&self) -> vortex_array::array::ArrayRef
 
-pub fn vortex_parquet_variant::ParquetVariant::child(array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> vortex_array::array::ArrayRef
+impl core::clone::Clone for vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::child_name(array: &vortex_parquet_variant::ParquetVariantArray, idx: usize) -> alloc::string::String
+pub fn vortex_parquet_variant::ParquetVariantArray::clone(&self) -> vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::deserialize(bytes: &[u8], _dtype: &vortex_array::dtype::DType, _len: usize, _buffers: &[vortex_array::buffer::BufferHandle], _session: &vortex_session::VortexSession) -> vortex_error::VortexResult<Self::Metadata>
+impl core::convert::AsRef<dyn vortex_array::array::DynArray> for vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::dtype(_array: &vortex_parquet_variant::ParquetVariantArray) -> &vortex_array::dtype::DType
+pub fn vortex_parquet_variant::ParquetVariantArray::as_ref(&self) -> &dyn vortex_array::array::DynArray
 
-pub fn vortex_parquet_variant::ParquetVariant::execute(array: &Self::Array, _ctx: &mut vortex_array::executor::ExecutionCtx) -> vortex_error::VortexResult<vortex_array::executor::ExecutionStep>
+impl core::convert::From<vortex_parquet_variant::ParquetVariantArray> for vortex_array::array::ArrayRef
 
-pub fn vortex_parquet_variant::ParquetVariant::id(_array: &Self::Array) -> vortex_array::vtable::dyn_::ArrayId
+pub fn vortex_array::array::ArrayRef::from(value: vortex_parquet_variant::ParquetVariantArray) -> vortex_array::array::ArrayRef
 
-pub fn vortex_parquet_variant::ParquetVariant::len(array: &vortex_parquet_variant::ParquetVariantArray) -> usize
+impl core::fmt::Debug for vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::metadata(array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_error::VortexResult<Self::Metadata>
+pub fn vortex_parquet_variant::ParquetVariantArray::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result
 
-pub fn vortex_parquet_variant::ParquetVariant::nbuffers(_array: &vortex_parquet_variant::ParquetVariantArray) -> usize
+impl core::ops::deref::Deref for vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::nchildren(array: &vortex_parquet_variant::ParquetVariantArray) -> usize
+pub type vortex_parquet_variant::ParquetVariantArray::Target = dyn vortex_array::array::DynArray
 
-pub fn vortex_parquet_variant::ParquetVariant::reduce_parent(array: &Self::Array, parent: &vortex_array::array::ArrayRef, child_idx: usize) -> vortex_error::VortexResult<core::option::Option<vortex_array::array::ArrayRef>>
+pub fn vortex_parquet_variant::ParquetVariantArray::deref(&self) -> &Self::Target
 
-pub fn vortex_parquet_variant::ParquetVariant::serialize(metadata: Self::Metadata) -> vortex_error::VortexResult<core::option::Option<alloc::vec::Vec<u8>>>
+impl vortex_array::array::IntoArray for vortex_parquet_variant::ParquetVariantArray
 
-pub fn vortex_parquet_variant::ParquetVariant::stats(array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_array::stats::array::StatsSetRef<'_>
+pub fn vortex_parquet_variant::ParquetVariantArray::into_array(self) -> vortex_array::array::ArrayRef
 
-pub fn vortex_parquet_variant::ParquetVariant::with_children(array: &mut Self::Array, children: alloc::vec::Vec<vortex_array::array::ArrayRef>) -> vortex_error::VortexResult<()>
+pub struct vortex_parquet_variant::ParquetVariantMetadata
 
-impl vortex_array::vtable::validity::ValidityVTable<vortex_parquet_variant::ParquetVariant> for vortex_parquet_variant::ParquetVariant
+pub vortex_parquet_variant::ParquetVariantMetadata::has_value: bool
+
+pub vortex_parquet_variant::ParquetVariantMetadata::typed_value_dtype: core::option::Option<vortex_array::dtype::DType>
 
-pub fn vortex_parquet_variant::ParquetVariant::validity(_array: &vortex_parquet_variant::ParquetVariantArray) -> vortex_error::VortexResult<vortex_array::validity::Validity>
+impl core::clone::Clone for vortex_parquet_variant::ParquetVariantMetadata
+
+pub fn vortex_parquet_variant::ParquetVariantMetadata::clone(&self) -> vortex_parquet_variant::ParquetVariantMetadata
+
+impl core::fmt::Debug for vortex_parquet_variant::ParquetVariantMetadata
+
+pub fn vortex_parquet_variant::ParquetVariantMetadata::fmt(&self, f: &mut core::fmt::Formatter<'_>) -> core::fmt::Result

encodings/parquet-variant/src/lib.rs

@@ -234,7 +234,7 @@ impl ParquetVariantArray {
         };
         let pv =
             ParquetVariantArray::try_new_with_validity(validity, metadata, value, typed_value)?;
-        Ok(VariantArray::new_nullable(pv.into_array(), nullability).into_array())
+        Ok(VariantArray::new(pv.into_array(), nullability).into_array())
     }
 
     fn nchildren(&self) -> usize {
@@ -752,7 +752,7 @@ mod tests {
         let pv_array = ParquetVariantArray::try_new(metadata, None, Some(typed_value))?;
 
         // Wrap it in a VariantArray
-        let variant_array = VariantArray::new(pv_array.into_array());
+        let variant_array = VariantArray::new(pv_array.into_array(), Nullability::NonNullable);
 
         // Apply variant_get
         let target_dtype = DType::Primitive(PType::I32, Nullability::Nullable);
@@ -776,7 +776,7 @@ mod tests {
         let pv_array = ParquetVariantArray::try_new(metadata, Some(value), None)?;
 
         // Wrap it in a VariantArray
-        let variant_array = VariantArray::new(pv_array.into_array());
+        let variant_array = VariantArray::new(pv_array.into_array(), Nullability::NonNullable);
 
         // Apply variant_get - the rule returns None since there's no typed_value,
         // so the optimizer creates a lazy ScalarFnArray that will error on execute.
@@ -867,7 +867,8 @@ mod tests {
         let inner_value = VarBinViewArray::from_iter_bin([b"\x02", b"\x03", b"\x04"]).into_array();
         let inner_pv =
             ParquetVariantArray::try_new(inner_metadata, Some(inner_value), None).unwrap();
-        let typed_value = VariantArray::new(inner_pv.into_array()).into_array();
+        let typed_value =
+            VariantArray::new(inner_pv.into_array(), Nullability::NonNullable).into_array();
 
         let outer_pv =
             ParquetVariantArray::try_new(outer_metadata, None, Some(typed_value)).unwrap();