up

Author: sadko4u

include/private/dsp/arch/arm/neon-d32/pmath/lerp.h

@@ -468,6 +468,74 @@ namespace lsp
             );
         }
 
+        void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
+        {
+            ARCH_ARM_ASM
+            (
+                // x16 blocks
+                __ASM_EMIT("vld1.32     {d16[], d17[]}, [%[a]]")    // q8   = a
+                __ASM_EMIT("vld1.32     {d18[], d19[]}, [%[b]]")    // q9   = b
+                __ASM_EMIT("subs        %[count], #16")
+                __ASM_EMIT("vsub.f32    q9, q9, q8")                // q9   = b-a
+                __ASM_EMIT("blo         2f")
+                __ASM_EMIT("1:")
+                __ASM_EMIT("vldm        %[k]!, {q4-q7}")            // q4   = k
+                __ASM_EMIT("vmov        q0, q8")                    // q0   = a
+                __ASM_EMIT("vmov        q1, q8")
+                __ASM_EMIT("vmov        q2, q8")
+                __ASM_EMIT("vmov        q3, q8")
+                __ASM_EMIT("vmla.f32    q0, q4, q9")                // q0   = a + (b-a)*k
+                __ASM_EMIT("vmla.f32    q1, q5, q9")
+                __ASM_EMIT("vmla.f32    q2, q6, q9")
+                __ASM_EMIT("vmla.f32    q3, q7, q9")
+                __ASM_EMIT("subs        %[count], #16")
+                __ASM_EMIT("vstm        %[dst]!, {q0-q3}")
+                __ASM_EMIT("bhs         1b")
+                // x8 block
+                __ASM_EMIT("2:")
+                __ASM_EMIT("adds        %[count], #8")
+                __ASM_EMIT("blt         4f")
+                __ASM_EMIT("vldm        %[k]!, {q4-q5}")            // q4   = k
+                __ASM_EMIT("vmov        q0, q8")                    // q0   = a
+                __ASM_EMIT("vmov        q1, q8")
+                __ASM_EMIT("vmla.f32    q0, q4, q9")                // q0   = a + (b-a)*k
+                __ASM_EMIT("vmla.f32    q1, q5, q9")
+                __ASM_EMIT("sub         %[count], #8")
+                __ASM_EMIT("vstm        %[dst]!, {q0-q1}")
+                // x4 blocks
+                __ASM_EMIT("4:")
+                __ASM_EMIT("adds        %[count], #4")
+                __ASM_EMIT("blt         6f")
+                __ASM_EMIT("vldm        %[k]!, {q4}")               // q4   = k
+                __ASM_EMIT("vmov        q0, q8")                    // q0   = a
+                __ASM_EMIT("vmla.f32    q0, q4, q9")                // q0   = a + (b-a)*k
+                __ASM_EMIT("sub         %[count], #4")
+                __ASM_EMIT("vstm        %[dst]!, {q0}")
+                // x1 blocks
+                __ASM_EMIT("6:")
+                __ASM_EMIT("adds        %[count], #3")
+                __ASM_EMIT("blt         8f")
+                __ASM_EMIT("7:")
+                __ASM_EMIT("vld1.32     {d8[], d9[]}, [%[k]]!")     // q4   = k
+                __ASM_EMIT("vmov        q0, q8")                    // q0   = a
+                __ASM_EMIT("vmla.f32    q0, q4, q9")                // q0   = a + (b-a)*k
+                __ASM_EMIT("subs        %[count], #1")
+                __ASM_EMIT("vst1.32     {d0[0]}, [%[dst]]!")
+                __ASM_EMIT("bge         7b")
+                // end
+                __ASM_EMIT("8:")
+
+                : [dst] "+r" (dst), [k] "+r" (k),
+                  [count] "+r" (count)
+                : [a] "r" (&a),
+                  [b] "r" (&b)
+                : "cc", "memory",
+                  "q0", "q1", "q2", "q3",
+                  "q4", "q5", "q6", "q7",
+                  "q8", "q9"
+            );
+        }
+
     } /* namespace neon_d32 */
 } /* namespace lsp */
 

src/main/arm/neon-d32.cpp

@@ -479,7 +479,7 @@
                 EXPORT1(lerp_vkk);
                 EXPORT1(lerp_kvv);
                 EXPORT1(lerp_kvk);
-//                EXPORT1(lerp_kkv);
+                EXPORT1(lerp_kkv);
             }
         } /* namespace neon_d32 */
     } /* namespace lsp */

src/test/ptest/pmath/lerp_kkv.cpp

@@ -53,13 +53,13 @@ namespace lsp
         }
     )
 
-//    IF_ARCH_ARM(
-//        namespace neon_d32
-//        {
-//            void lerp_kkv(float *dst, float a, float b, const float *k, size_t count);
-//        }
-//    )
-//
+    IF_ARCH_ARM(
+        namespace neon_d32
+        {
+            void lerp_kkv(float *dst, float a, float b, const float *k, size_t count);
+        }
+    )
+
 //    IF_ARCH_AARCH64(
 //        namespace asimd
 //        {
@@ -111,7 +111,7 @@ PTEST_BEGIN("dsp.pmath", lerp_kkv, 5, 1000)
             IF_ARCH_X86(CALL(avx::lerp_kkv));
             IF_ARCH_X86(CALL(avx::lerp_kkv_fma3));
             IF_ARCH_X86(CALL(avx512::lerp_kkv));
-//            IF_ARCH_ARM(CALL(neon_d32::lerp_kkv));
+            IF_ARCH_ARM(CALL(neon_d32::lerp_kkv));
 //            IF_ARCH_AARCH64(CALL(asimd::lerp_kkv));
             PTEST_SEPARATOR;
         }

src/test/utest/pmath/lerp_kkv.cpp

@@ -49,13 +49,13 @@ namespace lsp
         }
     )
 
-//    IF_ARCH_ARM(
-//        namespace neon_d32
-//        {
-//            void lerp_kkv(float *dst, float a, float b, const float *k, size_t count);
-//        }
-//    )
-//
+    IF_ARCH_ARM(
+        namespace neon_d32
+        {
+            void lerp_kkv(float *dst, float a, float b, const float *k, size_t count);
+        }
+    )
+
 //    IF_ARCH_AARCH64(
 //        namespace asimd
 //        {
@@ -117,7 +117,7 @@ UTEST_BEGIN("dsp.pmath", lerp_kkv)
         IF_ARCH_X86(CALL(avx::lerp_kkv, 32));
         IF_ARCH_X86(CALL(avx::lerp_kkv_fma3, 32));
         IF_ARCH_X86(CALL(avx512::lerp_kkv, 64));
-//        IF_ARCH_ARM(CALL(neon_d32::lerp_kkv, 16));
+        IF_ARCH_ARM(CALL(neon_d32::lerp_kkv, 16));
 //        IF_ARCH_ARM(CALL(asimd::lerp_kkv, 16));
     }
 UTEST_END