@/***************************************************************************** @* @* Copyright (C) 2012 Ittiam Systems Pvt Ltd, Bangalore @* @* Licensed under the Apache License, Version 2.0 (the "License"); @* you may not use this file except in compliance with the License. @* You may obtain a copy of the License at: @* @* http://www.apache.org/licenses/LICENSE-2.0 @* @* Unless required by applicable law or agreed to in writing, software @* distributed under the License is distributed on an "AS IS" BASIS, @* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. @* See the License for the specific language governing permissions and @* limitations under the License. @* @*****************************************************************************/ @/** @ ******************************************************************************* @ * @file @ * ihevc_itrans_recon_8x8_neon.s @ * @ * @brief @ * contains function definitions for single stage inverse transform @ * @ * @author @ * anand s @ * @ * @par list of functions: @ * - ihevc_itrans_recon_32x32() @ * @ * @remarks @ * the input buffer is being corrupted @ * @ ******************************************************************************* @*/ @/** @ ******************************************************************************* @ * @ * @brief @ * this function performs inverse transform and reconstruction for 8x8 @ * input block @ * @ * @par description: @ * performs inverse transform and adds the prediction data and clips output @ * to 8 bit @ * @ * @param[in] pi2_src @ * input 16x16 coefficients @ * @ * @param[in] pi2_tmp @ * temporary 16x16 buffer for storing inverse @ * @ * transform @ * 1st stage output @ * @ * @param[in] pu1_pred @ * prediction 16x16 block @ * @ * @param[out] pu1_dst @ * output 8x8 block @ * @ * @param[in] src_strd @ * input stride @ * @ * @param[in] pred_strd @ * prediction stride @ * @ * @param[in] dst_strd @ * output stride @ * @ * @param[in] shift @ * output shift @ * @ * @param[in] r12 @ * zero columns in pi2_src @ * @ * @returns void @ * @ * @remarks @ * none @ * @ ******************************************************************************* @ */ @void ihevc_itrans_recon_32x32(word16 *pi2_src, @ word16 *pi2_tmp, @ uword8 *pu1_pred, @ uword8 *pu1_dst, @ word32 src_strd, @ word32 pred_strd, @ word32 dst_strd, @ word32 r12 @ word32 r11 ) @**************variables vs registers************************* @ r0 => *pi2_src @ r1 => *pi2_tmp @ r2 => *pu1_pred @ r3 => *pu1_dst @ src_strd @ pred_strd @ dst_strd @ r12 @ r11 @d0[0]= 64 d2[0]=83 @d0[1]= 90 d2[1]=82 @d0[2]= 90 d2[2]=80 @d0[3]= 90 d2[3]=78 @d1[0]= 89 d3[0]=75 @d1[1]= 88 d3[1]=73 @d1[2]= 87 d3[2]=70 @d1[3]= 85 d3[3]=67 @d4[0]= 64 d6[0]=36 @d4[1]= 61 d6[1]=31 @d4[2]= 57 d6[2]=25 @d4[3]= 54 d6[3]=22 @d5[0]= 50 d7[0]=18 @d5[1]= 46 d7[1]=13 @d5[2]= 43 d7[2]=9 @d5[3]= 38 d7[3]=4 .text .align 4 .set shift_stage1_idct , 7 .set shift_stage2_idct , 12 @#define zero_cols r12 @#define zero_rows r11 .globl ihevc_itrans_recon_32x32_a9q .extern g_ai2_ihevc_trans_32_transpose g_ai2_ihevc_trans_32_transpose_addr: .long g_ai2_ihevc_trans_32_transpose - ulbl1 - 8 r5_addr: .word 0xfffff000 r9_addr: .word 0xffff0000 .type ihevc_itrans_recon_32x32_a9q, %function ihevc_itrans_recon_32x32_a9q: stmfd sp!,{r0-r12,lr} @ldr r8,[sp,#56] @ prediction stride @ldr r7,[sp,#64] @ destination stride ldr r6,[sp,#56] @ src stride ldr r12,[sp,#68] ldr r11,[sp,#72] mov r6,r6,lsl #1 @ x sizeof(word16) add r10,r6,r6, lsl #1 @ 3 rows mov r8,r0 ldr r14,g_ai2_ihevc_trans_32_transpose_addr ulbl1: add r14,r14,pc vld1.16 {d0,d1,d2,d3},[r14]! vld1.16 {d4,d5,d6,d7},[r14]! @registers which are free @ r10,r9,r11,r12 mov r9,#0xffffff00 mov r10,#0xfffffff0 ldr r5,r5_addr ldr r7,r9_addr cmp r12,r10 movhs r14,#1 bhs stage1 cmp r12,r9 movhs r14,#2 bhs stage1 cmp r12,r5 movhs r14,#3 bhs stage1 cmp r12,r7 movhs r14,#4 mov r14,#8 b stage1 @.ltorg dct_stage1: add r8,r8,#8 mov r0,r8 stage1: vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmull.s16 q12,d8,d0[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d0[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d0[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d2[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d0[2] vmull.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d1[2] vmull.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d2[2] vmull.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d3[2] cmp r11,r10 bhs shift1 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d1[1] vmlal.s16 q13,d14,d3[3] vmlal.s16 q14,d14,d6[1] vmlsl.s16 q15,d14,d7[1] vmlal.s16 q12,d15,d1[3] vmlal.s16 q13,d15,d5[1] vmlsl.s16 q14,d15,d7[1] vmlsl.s16 q15,d15,d3[3] vmlal.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d1[2] vmlal.s16 q11,d12,d3[0] vmlal.s16 q11,d13,d4[2] vmlal.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d7[2] vmlal.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d5[2] cmp r11,r9 bhs shift1 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d2[0] vmlal.s16 q10,d11,d2[2] vmlal.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d7[2] vmlsl.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d3[2] vmlsl.s16 q9,d10,d2[0] vmlsl.s16 q9,d11,d1[2] cmp r11,r5 bhs shift1 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d3[1] vmlsl.s16 q13,d14,d6[1] vmlsl.s16 q14,d14,d0[1] vmlsl.s16 q15,d14,d6[3] vmlal.s16 q12,d15,d3[3] vmlsl.s16 q13,d15,d4[3] vmlsl.s16 q14,d15,d2[3] vmlal.s16 q15,d15,d5[3] vmlal.s16 q10,d12,d3[0] vmlal.s16 q10,d13,d3[2] vmlsl.s16 q11,d12,d7[0] vmlsl.s16 q11,d13,d5[2] vmlsl.s16 q8,d12,d1[0] vmlsl.s16 q8,d13,d1[2] vmlsl.s16 q9,d12,d5[0] vmlal.s16 q9,d13,d7[2] cmp r11,r7 bhs shift1 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d4[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d2[2] vmlsl.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d6[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d0[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d5[1] vmlsl.s16 q13,d14,d0[2] vmlal.s16 q14,d14,d5[3] vmlal.s16 q15,d14,d4[3] vmlal.s16 q12,d15,d5[3] vmlsl.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d3[1] vmlsl.s16 q15,d15,d7[3] vmlal.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d5[2] vmlsl.s16 q11,d12,d1[0] vmlsl.s16 q11,d13,d0[2] vmlal.s16 q8,d12,d7[0] vmlal.s16 q8,d13,d4[2] vmlal.s16 q9,d12,d3[0] vmlal.s16 q9,d13,d6[2] vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d0[1] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d4[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d1[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d6[2] vmlsl.s16 q11,d10,d2[0] vmlsl.s16 q11,d11,d3[2] vmlal.s16 q8,d10,d2[0] vmlal.s16 q8,d11,d0[2] vmlsl.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d2[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d7[1] vmlsl.s16 q13,d14,d5[3] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d2[3] vmlal.s16 q12,d15,d7[3] vmlsl.s16 q13,d15,d7[1] vmlal.s16 q14,d15,d6[3] vmlsl.s16 q15,d15,d6[1] vmlal.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d7[2] vmlsl.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d6[2] vmlal.s16 q8,d12,d3[0] vmlal.s16 q8,d13,d5[2] vmlsl.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d4[2] shift1: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) @ registers used q15,q14,q6,q7 vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 @ d30 =r0 1- 4 values @ d31 =r2 1- 4 values @ d12=r1 1- 4 values @ d13=r3 1- 4 values @ d14 =r0 28-31 values @ d15 =r2 28- 31 values @ d18=r1 28- 31 values @ d19=r3 28- 31 values vst1.16 {q15},[r1]! vst1.16 {q6},[r1]! add r1,r1,#192 vst1.16 {q7},[r1]! vst1.16 {q9},[r1]! sub r1,r1,#224 mov r0,r8 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmull.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d4[2] vmull.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d5[2] vmull.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d6[2] vmull.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d7[2] cmp r11,r10 bhs shift2 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d4[3] vmlsl.s16 q13,d14,d2[1] vmlsl.s16 q14,d14,d0[1] vmlsl.s16 q15,d14,d2[3] vmlsl.s16 q12,d15,d0[3] vmlsl.s16 q13,d15,d3[1] vmlsl.s16 q14,d15,d6[3] vmlal.s16 q15,d15,d5[3] vmlsl.s16 q10,d12,d7[0] vmlsl.s16 q10,d13,d2[2] vmlsl.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d0[2] vmlsl.s16 q8,d12,d3[0] vmlsl.s16 q8,d13,d3[2] vmlsl.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d6[2] cmp r11,r9 bhs shift2 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlsl.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d2[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d6[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d2[0] vmlsl.s16 q10,d11,d6[2] vmlsl.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d4[2] vmlal.s16 q8,d10,d6[0] vmlal.s16 q8,d11,d0[2] vmlal.s16 q9,d10,d2[0] vmlal.s16 q9,d11,d5[2] cmp r11,r5 bhs shift2 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d2[3] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d5[3] vmlsl.s16 q15,d14,d0[3] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d6[3] vmlsl.s16 q14,d15,d0[3] vmlal.s16 q15,d15,d7[3] vmlal.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d0[2] vmlal.s16 q11,d12,d1[0] vmlal.s16 q11,d13,d6[2] vmlal.s16 q8,d12,d7[0] vmlsl.s16 q8,d13,d2[2] vmlsl.s16 q9,d12,d3[0] vmlsl.s16 q9,d13,d4[2] cmp r11,r7 bhs shift2 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d1[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d0[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d5[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d7[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d1[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d5[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d3[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d0[1] vmlal.s16 q13,d14,d6[1] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d1[1] vmlsl.s16 q12,d15,d3[3] vmlal.s16 q13,d15,d0[1] vmlsl.s16 q14,d15,d5[1] vmlsl.s16 q15,d15,d6[1] vmlsl.s16 q10,d12,d3[0] vmlsl.s16 q10,d13,d1[2] vmlsl.s16 q11,d12,d7[0] vmlal.s16 q11,d13,d3[2] vmlal.s16 q8,d12,d1[0] vmlal.s16 q8,d13,d7[2] vmlsl.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d2[2] vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d5[2] vmlal.s16 q11,d10,d2[0] vmlal.s16 q11,d11,d7[2] vmlsl.s16 q8,d10,d2[0] vmlsl.s16 q8,d11,d4[2] vmlal.s16 q9,d10,d6[0] vmlal.s16 q9,d11,d1[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d1[1] vmlsl.s16 q13,d14,d0[3] vmlal.s16 q14,d14,d1[3] vmlsl.s16 q15,d14,d3[1] vmlal.s16 q12,d15,d5[3] vmlsl.s16 q13,d15,d5[1] vmlal.s16 q14,d15,d4[3] vmlsl.s16 q15,d15,d4[1] vmlal.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d3[2] vmlsl.s16 q11,d12,d3[0] vmlsl.s16 q11,d13,d2[2] vmlal.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d1[2] vmlsl.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d0[2] shift2: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r1]! vst1.16 {q6},[r1]! add r1,r1,#128 vst1.16 {q7},[r1]! vst1.16 {q9},[r1]! sub r1,r1,#160 mov r0,r8 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmull.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d0[2] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d7[2] vmull.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d6[2] vmull.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d5[2] vmull.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d4[2] cmp r11,r10 bhs shift3 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d5[1] vmlsl.s16 q13,d14,d7[3] vmlal.s16 q14,d14,d5[3] vmlal.s16 q15,d14,d3[1] vmlal.s16 q12,d15,d2[1] vmlal.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d4[3] vmlsl.s16 q15,d15,d7[3] vmlsl.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d6[2] vmlsl.s16 q11,d12,d3[0] vmlal.s16 q11,d13,d3[2] vmlsl.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d0[2] vmlsl.s16 q9,d12,d7[0] vmlal.s16 q9,d13,d2[2] cmp r11,r9 bhs shift3 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d5[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d0[3] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d1[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d2[0] vmlsl.s16 q10,d11,d5[2] vmlal.s16 q11,d10,d6[0] vmlsl.s16 q11,d11,d0[2] vmlsl.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d4[2] vmlsl.s16 q9,d10,d2[0] vmlal.s16 q9,d11,d6[2] cmp r11,r5 bhs shift3 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d7[1] vmlal.s16 q13,d14,d2[1] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d5[1] vmlal.s16 q12,d15,d0[3] vmlal.s16 q13,d15,d7[1] vmlsl.s16 q14,d15,d1[1] vmlsl.s16 q15,d15,d6[1] vmlsl.s16 q10,d12,d3[0] vmlal.s16 q10,d13,d4[2] vmlal.s16 q11,d12,d7[0] vmlal.s16 q11,d13,d2[2] vmlal.s16 q8,d12,d1[0] vmlsl.s16 q8,d13,d6[2] vmlal.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d0[2] cmp r11,r7 bhs shift3 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlsl.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d0[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d6[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d0[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d2[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d3[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d5[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d1[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d7[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d6[3] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d1[3] vmlal.s16 q15,d14,d7[1] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d2[3] vmlal.s16 q14,d15,d7[1] vmlal.s16 q15,d15,d4[1] vmlsl.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d2[2] vmlal.s16 q11,d12,d1[0] vmlsl.s16 q11,d13,d7[2] vmlsl.s16 q8,d12,d7[0] vmlsl.s16 q8,d13,d3[2] vmlsl.s16 q9,d12,d3[0] vmlal.s16 q9,d13,d1[2] vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d0[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d6[0] vmlsl.s16 q10,d11,d1[2] vmlsl.s16 q11,d10,d2[0] vmlal.s16 q11,d11,d4[2] vmlal.s16 q8,d10,d2[0] vmlsl.s16 q8,d11,d7[2] vmlsl.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d5[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d4[3] vmlsl.s16 q13,d14,d6[1] vmlal.s16 q14,d14,d7[3] vmlal.s16 q15,d14,d6[3] vmlal.s16 q12,d15,d3[3] vmlsl.s16 q13,d15,d3[1] vmlal.s16 q14,d15,d2[3] vmlsl.s16 q15,d15,d2[1] vmlsl.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d0[2] vmlal.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d1[2] vmlsl.s16 q8,d12,d3[0] vmlal.s16 q8,d13,d2[2] vmlal.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d3[2] shift3: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r1]! vst1.16 {q6},[r1]! add r1,r1,#64 vst1.16 {q7},[r1]! vst1.16 {q9},[r1]! sub r1,r1,#96 mov r0,r8 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmull.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d7[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d5[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d3[2] vmull.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d2[2] vmull.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d1[2] vmull.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d0[2] cmp r11,r10 bhs shift4 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d0[1] vmlal.s16 q13,d14,d1[3] vmlal.s16 q14,d14,d4[1] vmlal.s16 q15,d14,d6[3] vmlsl.s16 q12,d15,d4[1] vmlsl.s16 q13,d15,d0[3] vmlsl.s16 q14,d15,d2[3] vmlsl.s16 q15,d15,d6[1] vmlal.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d5[2] vmlal.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d7[2] vmlal.s16 q8,d12,d3[0] vmlsl.s16 q8,d13,d4[2] vmlal.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d1[2] cmp r11,r9 bhs shift4 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d0[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d2[0] vmlal.s16 q10,d11,d1[2] vmlsl.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d3[2] vmlal.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d7[2] vmlal.s16 q9,d10,d2[0] vmlsl.s16 q9,d11,d2[2] cmp r11,r5 bhs shift4 vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d1[1] vmlsl.s16 q13,d14,d7[3] vmlal.s16 q14,d14,d1[3] vmlal.s16 q15,d14,d4[3] vmlal.s16 q12,d15,d2[1] vmlal.s16 q13,d15,d5[1] vmlsl.s16 q14,d15,d3[1] vmlsl.s16 q15,d15,d4[1] vmlsl.s16 q10,d12,d5[0] vmlsl.s16 q10,d13,d7[2] vmlsl.s16 q11,d12,d1[0] vmlal.s16 q11,d13,d1[2] vmlsl.s16 q8,d12,d7[0] vmlal.s16 q8,d13,d5[2] vmlal.s16 q9,d12,d3[0] vmlsl.s16 q9,d13,d3[2] cmp r11,r7 bhs shift4 vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d0[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d0[2] vmlsl.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d6[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d2[2] vmlal.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d4[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlal.s16 q12,d14,d3[1] vmlsl.s16 q13,d14,d2[1] vmlal.s16 q14,d14,d7[3] vmlal.s16 q15,d14,d2[3] vmlsl.s16 q12,d15,d0[3] vmlal.s16 q13,d15,d4[3] vmlal.s16 q14,d15,d6[3] vmlsl.s16 q15,d15,d2[1] vmlal.s16 q10,d12,d3[0] vmlsl.s16 q10,d13,d6[2] vmlal.s16 q11,d12,d7[0] vmlsl.s16 q11,d13,d4[2] vmlsl.s16 q8,d12,d1[0] vmlal.s16 q8,d13,d0[2] vmlal.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d5[2] vld1.16 d10,[r0],r6 vld1.16 d8,[r0],r6 vld1.16 d11,[r0],r6 vld1.16 d9,[r0],r6 vmlal.s16 q12,d8,d3[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d6[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d2[2] vmlal.s16 q11,d10,d2[0] vmlsl.s16 q11,d11,d0[2] vmlsl.s16 q8,d10,d2[0] vmlal.s16 q8,d11,d3[2] vmlal.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d6[2] vld1.16 d12,[r0],r6 vld1.16 d14,[r0],r6 vld1.16 d13,[r0],r6 vld1.16 d15,[r0],r6 vmlsl.s16 q12,d14,d5[1] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d2[1] vmlal.s16 q15,d14,d0[3] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d0[3] vmlsl.s16 q15,d15,d0[1] vmlsl.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d4[2] vmlal.s16 q11,d12,d3[0] vmlsl.s16 q11,d13,d5[2] vmlsl.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d6[2] vmlal.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d7[2] shift4: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r1]! vst1.16 {q6},[r1]! vst1.16 {q7},[r1]! vst1.16 {q9},[r1]! add r1,r1,#96 subs r14,r14,#1 bne dct_stage1 second_stage_dct: @ mov r0,r1 ldr r0,[sp] ldr r1,[sp,#4] ldr r8,[sp,#60] @ prediction stride ldr r7,[sp,#64] @ destination stride @ add r4,r2,r8, lsl #1 @ r4 = r2 + pred_strd * 2 => r4 points to 3rd row of pred data @ add r5,r8,r8, lsl #1 @ @ sub r0,r0,#512 mov r11,#0xfffffff0 mov r5, #0xffffff00 ldr r6,r5_addr ldr r9,r9_addr @ sub r1,r1,#2048 mov r4,r1 mov r10,#240 mov r14,#8 b stage2 @ registers free : @ arm registers used @ r8 : predicition stride @ r7 : destination stride @ r1: temp buffer @ r2 : pred buffer @ r3 : destination buffer @ r14 : loop counter @r0 : scratch buffer @r10 : used as stride @ r4 : used to store the initial address @r12 : zero cols @ r11 : 0xfffffff0 @ r5 : 0xffffff00 dct_stage2: add r4,r4,#32 mov r1,r4 stage2: vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmull.s16 q12,d8,d0[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d0[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d0[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d2[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d0[2] vmull.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d1[2] vmull.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d2[2] vmull.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d3[2] cmp r12,r11 bhs stage2_shift1 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d1[1] vmlal.s16 q13,d14,d3[3] vmlal.s16 q14,d14,d6[1] vmlsl.s16 q15,d14,d7[1] vmlal.s16 q12,d15,d1[3] vmlal.s16 q13,d15,d5[1] vmlsl.s16 q14,d15,d7[1] vmlsl.s16 q15,d15,d3[3] vmlal.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d1[2] vmlal.s16 q11,d12,d3[0] vmlal.s16 q11,d13,d4[2] vmlal.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d7[2] vmlal.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d5[2] cmp r12,r5 bhs stage2_shift1 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d2[0] vmlal.s16 q10,d11,d2[2] vmlal.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d7[2] vmlsl.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d3[2] vmlsl.s16 q9,d10,d2[0] vmlsl.s16 q9,d11,d1[2] cmp r12,r6 bhs stage2_shift1 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d3[1] vmlsl.s16 q13,d14,d6[1] vmlsl.s16 q14,d14,d0[1] vmlsl.s16 q15,d14,d6[3] vmlal.s16 q12,d15,d3[3] vmlsl.s16 q13,d15,d4[3] vmlsl.s16 q14,d15,d2[3] vmlal.s16 q15,d15,d5[3] vmlal.s16 q10,d12,d3[0] vmlal.s16 q10,d13,d3[2] vmlsl.s16 q11,d12,d7[0] vmlsl.s16 q11,d13,d5[2] vmlsl.s16 q8,d12,d1[0] vmlsl.s16 q8,d13,d1[2] vmlsl.s16 q9,d12,d5[0] vmlal.s16 q9,d13,d7[2] cmp r12,r9 bhs stage2_shift1 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d4[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d2[2] vmlsl.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d6[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d0[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d5[1] vmlsl.s16 q13,d14,d0[2] vmlal.s16 q14,d14,d5[3] vmlal.s16 q15,d14,d4[3] vmlal.s16 q12,d15,d5[3] vmlsl.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d3[1] vmlsl.s16 q15,d15,d7[3] vmlal.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d5[2] vmlsl.s16 q11,d12,d1[0] vmlsl.s16 q11,d13,d0[2] vmlal.s16 q8,d12,d7[0] vmlal.s16 q8,d13,d4[2] vmlal.s16 q9,d12,d3[0] vmlal.s16 q9,d13,d6[2] vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d0[1] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d4[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d1[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d6[2] vmlsl.s16 q11,d10,d2[0] vmlsl.s16 q11,d11,d3[2] vmlal.s16 q8,d10,d2[0] vmlal.s16 q8,d11,d0[2] vmlsl.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d2[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d7[1] vmlsl.s16 q13,d14,d5[3] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d2[3] vmlal.s16 q12,d15,d7[3] vmlsl.s16 q13,d15,d7[1] vmlal.s16 q14,d15,d6[3] vmlsl.s16 q15,d15,d6[1] vmlal.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d7[2] vmlsl.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d6[2] vmlal.s16 q8,d12,d3[0] vmlal.s16 q8,d13,d5[2] vmlsl.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d4[2] stage2_shift1: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d19,q5,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r0]! vst1.16 {q6},[r0]! vst1.16 {q7},[r0]! vst1.16 {q9},[r0]! mov r1,r4 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmull.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlal.s16 q10,d11,d4[2] vmull.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d5[2] vmull.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d6[2] vmull.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d7[2] cmp r12,r11 bhs stage2_shift2 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d4[3] vmlsl.s16 q13,d14,d2[1] vmlsl.s16 q14,d14,d0[1] vmlsl.s16 q15,d14,d2[3] vmlsl.s16 q12,d15,d0[3] vmlsl.s16 q13,d15,d3[1] vmlsl.s16 q14,d15,d6[3] vmlal.s16 q15,d15,d5[3] vmlsl.s16 q10,d12,d7[0] vmlsl.s16 q10,d13,d2[2] vmlsl.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d0[2] vmlsl.s16 q8,d12,d3[0] vmlsl.s16 q8,d13,d3[2] vmlsl.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d6[2] cmp r12,r5 bhs stage2_shift2 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlsl.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d2[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d6[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d2[0] vmlsl.s16 q10,d11,d6[2] vmlsl.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d4[2] vmlal.s16 q8,d10,d6[0] vmlal.s16 q8,d11,d0[2] vmlal.s16 q9,d10,d2[0] vmlal.s16 q9,d11,d5[2] cmp r12,r6 bhs stage2_shift2 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d2[3] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d5[3] vmlsl.s16 q15,d14,d0[3] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d6[3] vmlsl.s16 q14,d15,d0[3] vmlal.s16 q15,d15,d7[3] vmlal.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d0[2] vmlal.s16 q11,d12,d1[0] vmlal.s16 q11,d13,d6[2] vmlal.s16 q8,d12,d7[0] vmlsl.s16 q8,d13,d2[2] vmlsl.s16 q9,d12,d3[0] vmlsl.s16 q9,d13,d4[2] cmp r12,r9 bhs stage2_shift2 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d1[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d0[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d5[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d7[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d1[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d5[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d3[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d0[1] vmlal.s16 q13,d14,d6[1] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d1[1] vmlsl.s16 q12,d15,d3[3] vmlal.s16 q13,d15,d0[1] vmlsl.s16 q14,d15,d5[1] vmlsl.s16 q15,d15,d6[1] vmlsl.s16 q10,d12,d3[0] vmlsl.s16 q10,d13,d1[2] vmlsl.s16 q11,d12,d7[0] vmlal.s16 q11,d13,d3[2] vmlal.s16 q8,d12,d1[0] vmlal.s16 q8,d13,d7[2] vmlsl.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d2[2] vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d5[2] vmlal.s16 q11,d10,d2[0] vmlal.s16 q11,d11,d7[2] vmlsl.s16 q8,d10,d2[0] vmlsl.s16 q8,d11,d4[2] vmlal.s16 q9,d10,d6[0] vmlal.s16 q9,d11,d1[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d1[1] vmlsl.s16 q13,d14,d0[3] vmlal.s16 q14,d14,d1[3] vmlsl.s16 q15,d14,d3[1] vmlal.s16 q12,d15,d5[3] vmlsl.s16 q13,d15,d5[1] vmlal.s16 q14,d15,d4[3] vmlsl.s16 q15,d15,d4[1] vmlal.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d3[2] vmlsl.s16 q11,d12,d3[0] vmlsl.s16 q11,d13,d2[2] vmlal.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d1[2] vmlsl.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d0[2] stage2_shift2: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d19,q5,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r0]! vst1.16 {q6},[r0]! vst1.16 {q7},[r0]! vst1.16 {q9},[r0]! mov r1,r4 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmull.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d0[2] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d7[2] vmull.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d6[2] vmull.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d5[2] vmull.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d4[2] cmp r12,r11 bhs stage2_shift3 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d5[1] vmlsl.s16 q13,d14,d7[3] vmlal.s16 q14,d14,d5[3] vmlal.s16 q15,d14,d3[1] vmlal.s16 q12,d15,d2[1] vmlal.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d4[3] vmlsl.s16 q15,d15,d7[3] vmlsl.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d6[2] vmlsl.s16 q11,d12,d3[0] vmlal.s16 q11,d13,d3[2] vmlsl.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d0[2] vmlsl.s16 q9,d12,d7[0] vmlal.s16 q9,d13,d2[2] cmp r12,r5 bhs stage2_shift3 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d5[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d0[3] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d1[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d2[0] vmlsl.s16 q10,d11,d5[2] vmlal.s16 q11,d10,d6[0] vmlsl.s16 q11,d11,d0[2] vmlsl.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d4[2] vmlsl.s16 q9,d10,d2[0] vmlal.s16 q9,d11,d6[2] cmp r12,r6 bhs stage2_shift3 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d7[1] vmlal.s16 q13,d14,d2[1] vmlal.s16 q14,d14,d4[1] vmlsl.s16 q15,d14,d5[1] vmlal.s16 q12,d15,d0[3] vmlal.s16 q13,d15,d7[1] vmlsl.s16 q14,d15,d1[1] vmlsl.s16 q15,d15,d6[1] vmlsl.s16 q10,d12,d3[0] vmlal.s16 q10,d13,d4[2] vmlal.s16 q11,d12,d7[0] vmlal.s16 q11,d13,d2[2] vmlal.s16 q8,d12,d1[0] vmlsl.s16 q8,d13,d6[2] vmlal.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d0[2] cmp r12,r9 bhs stage2_shift3 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlsl.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d0[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d6[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d0[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d2[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d3[2] vmlsl.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d5[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d1[2] vmlal.s16 q9,d10,d0[0] vmlal.s16 q9,d11,d7[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d6[3] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d1[3] vmlal.s16 q15,d14,d7[1] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d2[3] vmlal.s16 q14,d15,d7[1] vmlal.s16 q15,d15,d4[1] vmlsl.s16 q10,d12,d5[0] vmlal.s16 q10,d13,d2[2] vmlal.s16 q11,d12,d1[0] vmlsl.s16 q11,d13,d7[2] vmlsl.s16 q8,d12,d7[0] vmlsl.s16 q8,d13,d3[2] vmlsl.s16 q9,d12,d3[0] vmlal.s16 q9,d13,d1[2] vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d0[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlal.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d6[0] vmlsl.s16 q10,d11,d1[2] vmlsl.s16 q11,d10,d2[0] vmlal.s16 q11,d11,d4[2] vmlal.s16 q8,d10,d2[0] vmlsl.s16 q8,d11,d7[2] vmlsl.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d5[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d4[3] vmlsl.s16 q13,d14,d6[1] vmlal.s16 q14,d14,d7[3] vmlal.s16 q15,d14,d6[3] vmlal.s16 q12,d15,d3[3] vmlsl.s16 q13,d15,d3[1] vmlal.s16 q14,d15,d2[3] vmlsl.s16 q15,d15,d2[1] vmlsl.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d0[2] vmlal.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d1[2] vmlsl.s16 q8,d12,d3[0] vmlal.s16 q8,d13,d2[2] vmlal.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d3[2] stage2_shift3: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d19,q5,#shift_stage2_idct @// r11 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r0]! vst1.16 {q6},[r0]! vst1.16 {q7},[r0]! vst1.16 {q9},[r0]! mov r1,r4 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmull.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) vmull.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) vmull.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) vmull.s16 q15,d8,d7[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d5[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) vmull.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d3[2] vmull.s16 q11,d10,d0[0] vmlsl.s16 q11,d11,d2[2] vmull.s16 q8,d10,d0[0] vmlsl.s16 q8,d11,d1[2] vmull.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d0[2] cmp r12,r11 bhs stage2_shift4 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d0[1] vmlal.s16 q13,d14,d1[3] vmlal.s16 q14,d14,d4[1] vmlal.s16 q15,d14,d6[3] vmlsl.s16 q12,d15,d4[1] vmlsl.s16 q13,d15,d0[3] vmlsl.s16 q14,d15,d2[3] vmlsl.s16 q15,d15,d6[1] vmlal.s16 q10,d12,d7[0] vmlal.s16 q10,d13,d5[2] vmlal.s16 q11,d12,d5[0] vmlsl.s16 q11,d13,d7[2] vmlal.s16 q8,d12,d3[0] vmlsl.s16 q8,d13,d4[2] vmlal.s16 q9,d12,d1[0] vmlsl.s16 q9,d13,d1[2] cmp r12,r5 bhs stage2_shift4 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) vmlal.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d0[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d2[0] vmlal.s16 q10,d11,d1[2] vmlsl.s16 q11,d10,d6[0] vmlal.s16 q11,d11,d3[2] vmlal.s16 q8,d10,d6[0] vmlsl.s16 q8,d11,d7[2] vmlal.s16 q9,d10,d2[0] vmlsl.s16 q9,d11,d2[2] cmp r12,r6 bhs stage2_shift4 vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d1[1] vmlsl.s16 q13,d14,d7[3] vmlal.s16 q14,d14,d1[3] vmlal.s16 q15,d14,d4[3] vmlal.s16 q12,d15,d2[1] vmlal.s16 q13,d15,d5[1] vmlsl.s16 q14,d15,d3[1] vmlsl.s16 q15,d15,d4[1] vmlsl.s16 q10,d12,d5[0] vmlsl.s16 q10,d13,d7[2] vmlsl.s16 q11,d12,d1[0] vmlal.s16 q11,d13,d1[2] vmlsl.s16 q8,d12,d7[0] vmlal.s16 q8,d13,d5[2] vmlal.s16 q9,d12,d3[0] vmlsl.s16 q9,d13,d3[2] cmp r12,r9 bhs stage2_shift4 vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) vmlal.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) vmlal.s16 q13,d9,d0[3] @// y1 * cos3 - y3 * sin1(part of b1) vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlal.s16 q10,d10,d0[0] vmlsl.s16 q10,d11,d0[2] vmlsl.s16 q11,d10,d0[0] vmlal.s16 q11,d11,d6[2] vmlsl.s16 q8,d10,d0[0] vmlal.s16 q8,d11,d2[2] vmlal.s16 q9,d10,d0[0] vmlsl.s16 q9,d11,d4[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlal.s16 q12,d14,d3[1] vmlsl.s16 q13,d14,d2[1] vmlal.s16 q14,d14,d7[3] vmlal.s16 q15,d14,d2[3] vmlsl.s16 q12,d15,d0[3] vmlal.s16 q13,d15,d4[3] vmlal.s16 q14,d15,d6[3] vmlsl.s16 q15,d15,d2[1] vmlal.s16 q10,d12,d3[0] vmlsl.s16 q10,d13,d6[2] vmlal.s16 q11,d12,d7[0] vmlsl.s16 q11,d13,d4[2] vmlsl.s16 q8,d12,d1[0] vmlal.s16 q8,d13,d0[2] vmlal.s16 q9,d12,d5[0] vmlsl.s16 q9,d13,d5[2] vld1.16 {d10,d11},[r1]! vld1.16 {d8,d9},[r1],r10 vmlal.s16 q12,d8,d3[3] @// y1 * cos1(part of b0) vmlsl.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) vmlsl.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) vmlsl.s16 q13,d9,d6[1] @// y1 * cos3 - y3 * sin1(part of b1) vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) vmlsl.s16 q10,d10,d6[0] vmlal.s16 q10,d11,d2[2] vmlal.s16 q11,d10,d2[0] vmlsl.s16 q11,d11,d0[2] vmlsl.s16 q8,d10,d2[0] vmlal.s16 q8,d11,d3[2] vmlal.s16 q9,d10,d6[0] vmlsl.s16 q9,d11,d6[2] vld1.16 {d12,d13},[r1]! vld1.16 {d14,d15},[r1],r10 vmlsl.s16 q12,d14,d5[1] vmlal.s16 q13,d14,d3[3] vmlsl.s16 q14,d14,d2[1] vmlal.s16 q15,d14,d0[3] vmlal.s16 q12,d15,d1[3] vmlsl.s16 q13,d15,d1[1] vmlal.s16 q14,d15,d0[3] vmlsl.s16 q15,d15,d0[1] vmlsl.s16 q10,d12,d1[0] vmlal.s16 q10,d13,d4[2] vmlal.s16 q11,d12,d3[0] vmlsl.s16 q11,d13,d5[2] vmlsl.s16 q8,d12,d5[0] vmlal.s16 q8,d13,d6[2] vmlal.s16 q9,d12,d7[0] vmlsl.s16 q9,d13,d7[2] stage2_shift4: vadd.s32 q4,q10,q12 vsub.s32 q5,q10,q12 vadd.s32 q6,q11,q13 vsub.s32 q12,q11,q13 vadd.s32 q7,q8,q14 vsub.s32 q13,q8,q14 vadd.s32 q8,q9,q15 vsub.s32 q14,q9,q15 vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d19,q5,#shift_stage2_idct @// r11 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) vtrn.16 q15,q6 vtrn.16 q7,q9 vtrn.32 d30,d31 vtrn.32 d12,d13 vtrn.32 d14,d15 vtrn.32 d18,d19 vst1.16 {q15},[r0]! vst1.16 {q6},[r0]! vst1.16 {q7},[r0]! vst1.16 {q9},[r0]! sub r0,r0,#256 prediction_buffer: vld1.16 {d12,d13},[r0]! vld1.16 {d14,d15},[r0]! add r0,r0,#32 vld1.16 {d16,d17},[r0]! vld1.16 {d18,d19},[r0]! add r0,r0,#32 vld1.16 {d20,d21},[r0]! vld1.16 {d22,d23},[r0]! add r0,r0,#32 vld1.16 {d24,d25},[r0]! vld1.16 {d26,d27},[r0]! @ d12 =r0 1- 4 values @ d13 =r2 1- 4 values @ d14=r1 1- 4 values @ d15=r3 1- 4 values @ d16 =r0 5- 8 values @ d17 =r2 5- 8 values @ d18=r1 5- 8 values @ d19=r3 5- 8 values @ d20 =r0 9- 12 values @ d21 =r2 9- 12 values @ d22=r1 9- 12 values @ d23=r3 9- 12 values @ d24 =r0 13-16 values @ d25 =r2 13- 16 values @ d26=r1 13- 16 values @ d27=r3 13- 16 values vswp d13,d16 vswp d21,d24 vswp d15,d18 vswp d23,d26 vld1.8 {d8,d9},[r2],r8 vld1.8 {d10,d11},[r2],r8 vld1.8 {d28,d29},[r2],r8 vld1.8 {d30,d31},[r2],r8 vaddw.u8 q6,q6,d8 vaddw.u8 q10,q10,d9 vaddw.u8 q7,q7,d10 vaddw.u8 q11,q11,d11 vaddw.u8 q8,q8,d28 vaddw.u8 q12,q12,d29 vaddw.u8 q9,q9,d30 vaddw.u8 q13,q13,d31 sub r2,r2,r8,lsl #2 add r2,r2,#16 vqmovun.s16 d12,q6 vqmovun.s16 d13,q10 vqmovun.s16 d20,q7 vqmovun.s16 d21,q11 vqmovun.s16 d14,q8 vqmovun.s16 d15,q12 vqmovun.s16 d22,q9 vqmovun.s16 d23,q13 vst1.8 {d12,d13},[r3],r7 vst1.8 {d20,d21},[r3],r7 vst1.8 {d14,d15},[r3],r7 vst1.8 {d22,d23},[r3],r7 sub r3,r3,r7,lsl #2 add r3,r3,#16 vld1.16 {d12,d13},[r0]! vld1.16 {d14,d15},[r0]! sub r0,r0,#96 vld1.16 {d16,d17},[r0]! vld1.16 {d18,d19},[r0]! sub r0,r0,#96 vld1.16 {d20,d21},[r0]! vld1.16 {d22,d23},[r0]! sub r0,r0,#96 vld1.16 {d24,d25},[r0]! vld1.16 {d26,d27},[r0]! sub r0,r0,#64 vswp d13,d16 vswp d21,d24 vswp d15,d18 vswp d23,d26 vld1.8 {d8,d9},[r2],r8 vld1.8 {d10,d11},[r2],r8 vld1.8 {d28,d29},[r2],r8 vld1.8 {d30,d31},[r2],r8 vaddw.u8 q6,q6,d8 vaddw.u8 q10,q10,d9 vaddw.u8 q7,q7,d10 vaddw.u8 q11,q11,d11 vaddw.u8 q8,q8,d28 vaddw.u8 q12,q12,d29 vaddw.u8 q9,q9,d30 vaddw.u8 q13,q13,d31 sub r2,r2,#16 vqmovun.s16 d12,q6 vqmovun.s16 d13,q10 vqmovun.s16 d20,q7 vqmovun.s16 d21,q11 vqmovun.s16 d14,q8 vqmovun.s16 d15,q12 vqmovun.s16 d22,q9 vqmovun.s16 d23,q13 vst1.8 {d12,d13},[r3],r7 vst1.8 {d20,d21},[r3],r7 vst1.8 {d14,d15},[r3],r7 vst1.8 {d22,d23},[r3],r7 sub r3,r3,#16 subs r14,r14,#1 bne dct_stage2 ldmfd sp!,{r0-r12,pc}