nengel@2: /*
nengel@2:  * ARM NEON optimised integer operations
nengel@2:  * Copyright (c) 2009 Kostya Shishkov
nengel@2:  *
nengel@2:  * This file is part of FFmpeg.
nengel@2:  *
nengel@2:  * FFmpeg is free software; you can redistribute it and/or
nengel@2:  * modify it under the terms of the GNU Lesser General Public
nengel@2:  * License as published by the Free Software Foundation; either
nengel@2:  * version 2.1 of the License, or (at your option) any later version.
nengel@2:  *
nengel@2:  * FFmpeg is distributed in the hope that it will be useful,
nengel@2:  * but WITHOUT ANY WARRANTY; without even the implied warranty of
nengel@2:  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
nengel@2:  * Lesser General Public License for more details.
nengel@2:  *
nengel@2:  * You should have received a copy of the GNU Lesser General Public
nengel@2:  * License along with FFmpeg; if not, write to the Free Software
nengel@2:  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
nengel@2:  */
nengel@2: 
nengel@2: #include "asm.S"
nengel@2: 
nengel@2:         preserve8
nengel@2:         .fpu neon
nengel@2:         .text
nengel@2: 
nengel@2: function ff_scalarproduct_int16_neon, export=1
nengel@2:         vmov.i16        q0,  #0
nengel@2:         vmov.i16        q1,  #0
nengel@2:         vmov.i16        q2,  #0
nengel@2:         vmov.i16        q3,  #0
nengel@2:         negs            r3,  r3
nengel@2:         beq             2f
nengel@2: 
nengel@2:         vdup.s32        q12, r3
nengel@2: 1:      vld1.16         {d16-d17}, [r0]!
nengel@2:         vld1.16         {d20-d21}, [r1,:128]!
nengel@2:         vmull.s16       q12, d16,  d20
nengel@2:         vld1.16         {d18-d19}, [r0]!
nengel@2:         vmull.s16       q13, d17,  d21
nengel@2:         vld1.16         {d22-d23}, [r1,:128]!
nengel@2:         vmull.s16       q14, d18,  d22
nengel@2:         vmull.s16       q15, d19,  d23
nengel@2:         vshl.s32        q8,  q12,  q12
nengel@2:         vshl.s32        q9,  q13,  q12
nengel@2:         vadd.s32        q0,  q0,   q8
nengel@2:         vshl.s32        q10, q14,  q12
nengel@2:         vadd.s32        q1,  q1,   q9
nengel@2:         vshl.s32        q11, q15,  q12
nengel@2:         vadd.s32        q2,  q2,   q10
nengel@2:         vadd.s32        q3,  q3,   q11
nengel@2:         subs            r2,  r2,   #16
nengel@2:         bne             1b
nengel@2:         b               3f
nengel@2: 
nengel@2: 2:      vld1.16         {d16-d17}, [r0]!
nengel@2:         vld1.16         {d20-d21}, [r1,:128]!
nengel@2:         vmlal.s16       q0,  d16,  d20
nengel@2:         vld1.16         {d18-d19}, [r0]!
nengel@2:         vmlal.s16       q1,  d17,  d21
nengel@2:         vld1.16         {d22-d23}, [r1,:128]!
nengel@2:         vmlal.s16       q2,  d18,  d22
nengel@2:         vmlal.s16       q3,  d19,  d23
nengel@2:         subs            r2,  r2,   #16
nengel@2:         bne             2b
nengel@2: 
nengel@2: 3:      vpadd.s32       d16, d0,   d1
nengel@2:         vpadd.s32       d17, d2,   d3
nengel@2:         vpadd.s32       d10, d4,   d5
nengel@2:         vpadd.s32       d11, d6,   d7
nengel@2:         vpadd.s32       d0,  d16,  d17
nengel@2:         vpadd.s32       d1,  d10,  d11
nengel@2:         vpadd.s32       d2,  d0,   d1
nengel@2:         vpaddl.s32      d3,  d2
nengel@2:         vmov.32         r0,  d3[0]
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: @ scalarproduct_and_madd_int16(/*aligned*/v0,v1,v2,order,mul)
nengel@2: function ff_scalarproduct_and_madd_int16_neon, export=1
nengel@2:         vld1.16         {d28[],d29[]}, [sp]
nengel@2:         vmov.i16        q0,  #0
nengel@2:         vmov.i16        q1,  #0
nengel@2:         vmov.i16        q2,  #0
nengel@2:         vmov.i16        q3,  #0
nengel@2:         mov             r12, r0
nengel@2: 
nengel@2: 1:      vld1.16         {d16-d17}, [r0,:128]!
nengel@2:         vld1.16         {d18-d19}, [r1]!
nengel@2:         vld1.16         {d20-d21}, [r2]!
nengel@2:         vld1.16         {d22-d23}, [r0,:128]!
nengel@2:         vld1.16         {d24-d25}, [r1]!
nengel@2:         vld1.16         {d26-d27}, [r2]!
nengel@2:         vmul.s16        q10, q10,  q14
nengel@2:         vmul.s16        q13, q13,  q14
nengel@2:         vmlal.s16       q0,  d16,  d18
nengel@2:         vmlal.s16       q1,  d17,  d19
nengel@2:         vadd.s16        q10, q8,   q10
nengel@2:         vadd.s16        q13, q11,  q13
nengel@2:         vmlal.s16       q2,  d22,  d24
nengel@2:         vmlal.s16       q3,  d23,  d25
nengel@2:         vst1.16         {q10},     [r12,:128]!
nengel@2:         subs            r3,  r3,   #16
nengel@2:         vst1.16         {q13},     [r12,:128]!
nengel@2:         bne             1b
nengel@2: 
nengel@2:         vpadd.s32       d16, d0,   d1
nengel@2:         vpadd.s32       d17, d2,   d3
nengel@2:         vpadd.s32       d10, d4,   d5
nengel@2:         vpadd.s32       d11, d6,   d7
nengel@2:         vpadd.s32       d0,  d16,  d17
nengel@2:         vpadd.s32       d1,  d10,  d11
nengel@2:         vpadd.s32       d2,  d0,   d1
nengel@2:         vpaddl.s32      d3,  d2
nengel@2:         vmov.32         r0,  d3[0]
nengel@2:         bx              lr
nengel@2: endfunc