falkTX
/
FFmpeg
mirror of https://github.com/falkTX/FFmpeg.git
1
0
Fork 0
Code Issues 0 Releases 338 Wiki Activity
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
45208 Commits
32 Branches
283MB
Tree: 899ee03088
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '899ee03088'
${ noResults }
FFmpeg/libavcodec/arm/hevc_idct.S

985 lines
34KB
Raw Blame History 

  1. /*

  2.  * ARM NEON optimised IDCT functions for HEVC decoding

  3.  *

  4.  * Copyright (c) 2014 Seppo Tomperi <seppo.tomperi@vtt.fi>

  5.  * Copyright (c) 2017 Alexandra Hájková

  6.  *

  7.  * This file is part of Libav.

  8.  *

  9.  * Libav is free software; you can redistribute it and/or

  10.  * modify it under the terms of the GNU Lesser General Public

  11.  * License as published by the Free Software Foundation; either

  12.  * version 2.1 of the License, or (at your option) any later version.

  13.  *

  14.  * Libav is distributed in the hope that it will be useful,

  15.  * but WITHOUT ANY WARRANTY; without even the implied warranty of

  16.  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU

  17.  * Lesser General Public License for more details.

  18.  *

  19.  * You should have received a copy of the GNU Lesser General Public

  20.  * License along with Libav; if not, write to the Free Software

  21.  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA

  22.  */

  23. 

  24. #include "libavutil/arm/asm.S"

  25. 

  26. const trans, align=4

  27.         .short 64, 83, 64, 36

  28.         .short 89, 75, 50, 18

  29.         .short 90, 87, 80, 70

  30.         .short 57, 43, 25, 9

  31.         .short 90, 90, 88, 85

  32.         .short 82, 78, 73, 67

  33.         .short 61, 54, 46, 38

  34.         .short 31, 22, 13, 4

  35. endconst

  36. 

  37. .macro clip10 in1, in2, c1, c2

  38.         vmax.s16        \in1, \in1, \c1

  39.         vmax.s16        \in2, \in2, \c1

  40.         vmin.s16        \in1, \in1, \c2

  41.         vmin.s16        \in2, \in2, \c2

  42. .endm

  43. 

  44. function ff_hevc_add_residual_4x4_8_neon, export=1

  45.         vld1.16         {q0-q1}, [r1, :128]

  46.         vld1.32         d4[0], [r0, :32], r2

  47.         vld1.32         d4[1], [r0, :32], r2

  48.         vld1.32         d5[0], [r0, :32], r2

  49.         vld1.32         d5[1], [r0, :32], r2

  50.         sub             r0, r0, r2, lsl #2

  51.         vmovl.u8        q8, d4

  52.         vmovl.u8        q9, d5

  53.         vqadd.s16       q0, q0, q8

  54.         vqadd.s16       q1, q1, q9

  55.         vqmovun.s16     d0, q0

  56.         vqmovun.s16     d1, q1

  57.         vst1.32         d0[0], [r0, :32], r2

  58.         vst1.32         d0[1], [r0, :32], r2

  59.         vst1.32         d1[0], [r0, :32], r2

  60.         vst1.32         d1[1], [r0, :32], r2

  61.         bx              lr

  62. endfunc

  63. 

  64. function ff_hevc_add_residual_4x4_10_neon, export=1

  65.         mov             r12, r0

  66.         vld1.16         {q0-q1}, [r1, :128]

  67.         vld1.16         d4, [r12, :64], r2

  68.         vld1.16         d5, [r12, :64], r2

  69.         vld1.16         d6, [r12, :64], r2

  70.         vqadd.s16       q0, q2

  71.         vld1.16         d7, [r12, :64], r2

  72.         vmov.s16        q12, #0

  73.         vqadd.s16       q1, q3

  74.         vmvn.s16        q13, #0xFC00 @ vmov.s16 #0x3FF

  75.         clip10          q0, q1, q12, q13

  76.         vst1.16         d0, [r0, :64], r2

  77.         vst1.16         d1, [r0, :64], r2

  78.         vst1.16         d2, [r0, :64], r2

  79.         vst1.16         d3, [r0, :64], r2

  80.         bx              lr

  81. endfunc

  82. 

  83. function ff_hevc_add_residual_8x8_8_neon, export=1

  84.         add             r12, r0, r2

  85.         add             r2,  r2, r2

  86.         mov             r3,   #8

  87. 1:      subs            r3,   #2

  88.         vld1.8          {d16},   [r0,  :64]

  89.         vld1.8          {d17},   [r12, :64]

  90.         vmovl.u8        q9,   d16

  91.         vld1.16         {q0-q1}, [r1,  :128]!

  92.         vmovl.u8        q8,   d17

  93.         vqadd.s16       q0,   q9

  94.         vqadd.s16       q1,   q8

  95.         vqmovun.s16     d0,   q0

  96.         vqmovun.s16     d1,   q1

  97.         vst1.8          d0,   [r0,  :64], r2

  98.         vst1.8          d1,   [r12, :64], r2

  99.         bne             1b

  100.         bx              lr

  101. endfunc

  102. 

  103. function ff_hevc_add_residual_8x8_10_neon, export=1

  104.         add             r12, r0, r2

  105.         add             r2,  r2, r2

  106.         mov             r3,  #8

  107.         vmov.s16        q12, #0

  108.         vmvn.s16        q13, #0xFC00 @ vmov.s16 #0x3FF

  109. 1:      subs            r3,  #2

  110.         vld1.16         {q0-q1}, [r1, :128]!

  111.         vld1.16         {q8},    [r0, :128]

  112.         vqadd.s16       q0, q8

  113.         vld1.16         {q9},    [r12, :128]

  114.         vqadd.s16       q1, q9

  115.         clip10          q0, q1, q12, q13

  116.         vst1.16         {q0}, [r0, :128], r2

  117.         vst1.16         {q1}, [r12, :128], r2

  118.         bne             1b

  119.         bx              lr

  120. endfunc

  121. 

  122. function ff_hevc_add_residual_16x16_8_neon, export=1

  123.         mov             r3,  #16

  124.         add             r12, r0, r2

  125.         add             r2,  r2, r2

  126. 1:      subs            r3,  #2

  127.         vld1.8          {q8},     [r0, :128]

  128.         vld1.16         {q0, q1}, [r1, :128]!

  129.         vld1.8          {q11},    [r12, :128]

  130.         vld1.16         {q2, q3}, [r1, :128]!

  131.         vmovl.u8        q9,  d16

  132.         vmovl.u8        q10, d17

  133.         vmovl.u8        q12, d22

  134.         vmovl.u8        q13, d23

  135.         vqadd.s16       q0,  q9

  136.         vqadd.s16       q1,  q10

  137.         vqadd.s16       q2,  q12

  138.         vqadd.s16       q3,  q13

  139.         vqmovun.s16     d0,  q0

  140.         vqmovun.s16     d1,  q1

  141.         vqmovun.s16     d2,  q2

  142.         vqmovun.s16     d3,  q3

  143.         vst1.8          {q0},     [r0, :128], r2

  144.         vst1.8          {q1},     [r12, :128], r2

  145.         bne             1b

  146.         bx              lr

  147. endfunc

  148. 

  149. function ff_hevc_add_residual_16x16_10_neon, export=1

  150.         mov             r3,  #16

  151.         vmov.s16        q12, #0

  152.         vmvn.s16        q13, #0xFC00 @ vmov.s16 #0x3FF

  153.         add             r12, r0, r2

  154.         add             r2,  r2, r2

  155. 1:      subs            r3,  #2

  156.         vld1.16         {q8-q9},   [r0, :128]

  157.         vld1.16         {q0, q1},  [r1, :128]!

  158.         vqadd.s16       q0, q8

  159.         vld1.16         {q10-q11}, [r12, :128]

  160.         vqadd.s16       q1, q9

  161.         vld1.16         {q2, q3},  [r1, :128]!

  162.         vqadd.s16       q2, q10

  163.         vqadd.s16       q3, q11

  164.         clip10          q0, q1, q12, q13

  165.         clip10          q2, q3, q12, q13

  166.         vst1.16         {q0-q1},   [r0, :128], r2

  167.         vst1.16         {q2-q3},   [r12, :128], r2

  168.         bne             1b

  169.         bx              lr

  170. endfunc

  171. 

  172. function ff_hevc_add_residual_32x32_8_neon, export=1

  173.         vpush           {q4-q7}

  174.         add             r12, r0, r2

  175.         add             r2,  r2, r2

  176.         mov             r3,  #32

  177. 1:      subs            r3,  #2

  178.         vld1.8          {q12, q13}, [r0,  :128]

  179.         vmovl.u8        q8,  d24

  180.         vmovl.u8        q9,  d25

  181.         vld1.8          {q14, q15}, [r12, :128]

  182.         vmovl.u8        q10, d26

  183.         vmovl.u8        q11, d27

  184.         vmovl.u8        q12, d28

  185.         vldm            r1!, {q0-q7}

  186.         vmovl.u8        q13, d29

  187.         vmovl.u8        q14, d30

  188.         vmovl.u8        q15, d31

  189.         vqadd.s16       q0,  q8

  190.         vqadd.s16       q1,  q9

  191.         vqadd.s16       q2,  q10

  192.         vqadd.s16       q3,  q11

  193.         vqadd.s16       q4,  q12

  194.         vqadd.s16       q5,  q13

  195.         vqadd.s16       q6,  q14

  196.         vqadd.s16       q7,  q15

  197.         vqmovun.s16     d0,  q0

  198.         vqmovun.s16     d1,  q1

  199.         vqmovun.s16     d2,  q2

  200.         vqmovun.s16     d3,  q3

  201.         vqmovun.s16     d4,  q4

  202.         vqmovun.s16     d5,  q5

  203.         vst1.8          {q0, q1}, [r0, :128], r2

  204.         vqmovun.s16     d6,  q6

  205.         vqmovun.s16     d7,  q7

  206.         vst1.8          {q2, q3}, [r12, :128], r2

  207.         bne             1b

  208.         vpop            {q4-q7}

  209.         bx              lr

  210. endfunc

  211. 

  212. function ff_hevc_add_residual_32x32_10_neon, export=1

  213.         mov             r3,  #32

  214.         add             r12, r0, #32

  215.         vmov.s16        q12, #0

  216.         vmvn.s16        q13, #0xFC00 @ vmov.s16 #0x3FF

  217. 1:      subs            r3,  #1

  218.         vldm            r1!, {q0-q3}

  219.         vld1.16         {q8, q9},   [r0, :128]

  220.         vld1.16         {q10, q11}, [r12, :128]

  221.         vqadd.s16       q0, q8

  222.         vqadd.s16       q1, q9

  223.         vqadd.s16       q2, q10

  224.         vqadd.s16       q3, q11

  225.         clip10          q0, q1, q12, q13

  226.         clip10          q2, q3, q12, q13

  227.         vst1.16         {q0-q1},   [r0, :128], r2

  228.         vst1.16         {q2-q3},   [r12, :128], r2

  229.         bne             1b

  230.         bx              lr

  231. endfunc

  232. 

  233. .macro idct_4x4_dc bitdepth

  234. function ff_hevc_idct_4x4_dc_\bitdepth\()_neon, export=1

  235.         ldrsh           r1, [r0]

  236.         ldr             r2, =(1 << (13 - \bitdepth))

  237.         add             r1, #1

  238.         asr             r1, #1

  239.         add             r1, r2

  240.         asr             r1, #(14 - \bitdepth)

  241.         vdup.16         q0, r1

  242.         vdup.16         q1, r1

  243.         vst1.16         {q0, q1}, [r0, :128]

  244.         bx              lr

  245. endfunc

  246. .endm

  247. 

  248. .macro idct_8x8_dc bitdepth

  249. function ff_hevc_idct_8x8_dc_\bitdepth\()_neon, export=1

  250.         ldrsh           r1, [r0]

  251.         ldr             r2, =(1 << (13 - \bitdepth))

  252.         add             r1, #1

  253.         asr             r1, #1

  254.         add             r1, r2

  255.         asr             r1, #(14 - \bitdepth)

  256.         vdup.16         q8, r1

  257.         vdup.16         q9, r1

  258.         vmov.16         q10, q8

  259.         vmov.16         q11, q8

  260.         vmov.16         q12, q8

  261.         vmov.16         q13, q8

  262.         vmov.16         q14, q8

  263.         vmov.16         q15, q8

  264.         vstm            r0, {q8-q15}

  265.         bx              lr

  266. endfunc

  267. .endm

  268. 

  269. .macro idct_16x16_dc bitdepth

  270. function ff_hevc_idct_16x16_dc_\bitdepth\()_neon, export=1

  271.         ldrsh           r1, [r0]

  272.         ldr             r2, =(1 << (13 - \bitdepth))

  273.         add             r1, #1

  274.         asr             r1, #1

  275.         add             r1, r2

  276.         asr             r1, #(14 - \bitdepth)

  277.         vdup.16         q8, r1

  278.         vdup.16         q9, r1

  279.         vmov.16         q10, q8

  280.         vmov.16         q11, q8

  281.         vmov.16         q12, q8

  282.         vmov.16         q13, q8

  283.         vmov.16         q14, q8

  284.         vmov.16         q15, q8

  285.         vstm            r0!, {q8-q15}

  286.         vstm            r0!, {q8-q15}

  287.         vstm            r0!, {q8-q15}

  288.         vstm            r0, {q8-q15}

  289.         bx              lr

  290. endfunc

  291. .endm

  292. 

  293. .macro idct_32x32_dc bitdepth

  294. function ff_hevc_idct_32x32_dc_\bitdepth\()_neon, export=1

  295.         ldrsh           r1, [r0]

  296.         ldr             r2, =(1 << (13 - \bitdepth))

  297.         add             r1, #1

  298.         asr             r1, #1

  299.         add             r1, r2

  300.         asr             r1, #(14 - \bitdepth)

  301.         mov             r3, #16

  302.         vdup.16         q8, r1

  303.         vdup.16         q9, r1

  304.         vmov.16         q10, q8

  305.         vmov.16         q11, q8

  306.         vmov.16         q12, q8

  307.         vmov.16         q13, q8

  308.         vmov.16         q14, q8

  309.         vmov.16         q15, q8

  310. 1:      subs            r3, #1

  311.         vstm            r0!, {q8-q15}

  312.         bne             1b

  313.         bx              lr

  314. endfunc

  315. .endm

  316. 

  317. .macro sum_sub out, in, c, op

  318.   .ifc \op, +

  319.         vmlal.s16       \out, \in, \c

  320.   .else

  321.         vmlsl.s16       \out, \in, \c

  322.   .endif

  323. .endm

  324. 

  325. .macro tr_4x4 in0, in1, in2, in3, out0, out1, out2, out3, shift, tmp0, tmp1, tmp2, tmp3, tmp4

  326.          vshll.s16      \tmp0, \in0, #6

  327.          vmull.s16      \tmp2, \in1, d4[1]

  328.          vmov           \tmp1, \tmp0

  329.          vmull.s16      \tmp3, \in1, d4[3]

  330.          vmlal.s16      \tmp0, \in2, d4[0] @e0

  331.          vmlsl.s16      \tmp1, \in2, d4[0] @e1

  332.          vmlal.s16      \tmp2, \in3, d4[3] @o0

  333.          vmlsl.s16      \tmp3, \in3, d4[1] @o1

  334. 

  335.          vadd.s32       \tmp4, \tmp0, \tmp2

  336.          vsub.s32       \tmp0, \tmp0, \tmp2

  337.          vadd.s32       \tmp2, \tmp1, \tmp3

  338.          vsub.s32       \tmp1, \tmp1, \tmp3

  339.          vqrshrn.s32    \out0, \tmp4, #\shift

  340.          vqrshrn.s32    \out3, \tmp0, #\shift

  341.          vqrshrn.s32    \out1, \tmp2, #\shift

  342.          vqrshrn.s32    \out2, \tmp1, #\shift

  343. .endm

  344. 

  345. .macro tr_4x4_8 in0, in1, in2, in3, out0, out1, out2, out3, tmp0, tmp1, tmp2, tmp3

  346.          vshll.s16      \tmp0, \in0, #6

  347.          vld1.s16       {\in0}, [r1, :64]!

  348.          vmov           \tmp1, \tmp0

  349.          vmull.s16      \tmp2, \in1, \in0[1]

  350.          vmull.s16      \tmp3, \in1, \in0[3]

  351.          vmlal.s16      \tmp0, \in2, \in0[0] @e0

  352.          vmlsl.s16      \tmp1, \in2, \in0[0] @e1

  353.          vmlal.s16      \tmp2, \in3, \in0[3] @o0

  354.          vmlsl.s16      \tmp3, \in3, \in0[1] @o1

  355. 

  356.          vld1.s16       {\in0}, [r1, :64]

  357. 

  358.          vadd.s32       \out0, \tmp0, \tmp2

  359.          vadd.s32       \out1, \tmp1, \tmp3

  360.          vsub.s32       \out2, \tmp1, \tmp3

  361.          vsub.s32       \out3, \tmp0, \tmp2

  362. 

  363.          sub            r1,  r1,  #8

  364. .endm

  365. 

  366. @ Do a 4x4 transpose, using q registers for the subtransposes that don't

  367. @ need to address the indiviudal d registers.

  368. @ r0,r1 == rq0, r2,r3 == rq1

  369. .macro transpose_4x4 rq0, rq1, r0, r1, r2, r3

  370.         vtrn.32         \rq0, \rq1

  371.         vtrn.16         \r0,  \r1

  372.         vtrn.16         \r2,  \r3

  373. .endm

  374. 

  375. .macro idct_4x4 bitdepth

  376. function ff_hevc_idct_4x4_\bitdepth\()_neon, export=1

  377. @r0 - coeffs

  378.         vld1.s16        {q0-q1}, [r0, :128]

  379. 

  380.         movrel          r1, trans

  381.         vld1.s16        {d4}, [r1, :64]

  382. 

  383.         tr_4x4          d0, d1, d2, d3, d16, d17, d18, d19, 7, q10, q11, q12, q13, q0

  384.         transpose_4x4   q8, q9, d16, d17, d18, d19

  385. 

  386.         tr_4x4          d16, d17, d18, d19, d0, d1, d2, d3, 20 - \bitdepth, q10, q11, q12, q13, q0

  387.         transpose_4x4   q0, q1, d0, d1, d2, d3

  388.         vst1.s16        {d0-d3}, [r0, :128]

  389.         bx lr

  390. endfunc

  391. .endm

  392. 

  393. .macro transpose8_4x4 r0, r1, r2, r3

  394.         vtrn.16         \r0,  \r1

  395.         vtrn.16         \r2,  \r3

  396.         vtrn.32         \r0,  \r2

  397.         vtrn.32         \r1,  \r3

  398. .endm

  399. 

  400. .macro transpose_8x8 r0, r1, r2, r3, r4, r5, r6, r7, l0, l1, l2, l3, l4, l5, l6, l7

  401.         transpose8_4x4  \r0, \r1, \r2, \r3

  402.         transpose8_4x4  \r4, \r5, \r6, \r7

  403. 

  404.         transpose8_4x4  \l0, \l1, \l2, \l3

  405.         transpose8_4x4  \l4, \l5, \l6, \l7

  406. .endm

  407. 

  408. .macro tr_8x4 shift, in0, in1, in2, in3, in4, in5, in6, in7

  409.         tr_4x4_8        \in0, \in2, \in4, \in6, q8, q9, q10, q11, q12, q13, q14, q15

  410. 

  411.         vmull.s16       q14, \in1, \in0[2]

  412.         vmull.s16       q12, \in1, \in0[0]

  413.         vmull.s16       q13, \in1, \in0[1]

  414.         sum_sub         q14, \in3, \in0[0], -

  415.         sum_sub         q12, \in3, \in0[1], +

  416.         sum_sub         q13, \in3, \in0[3], -

  417. 

  418.         sum_sub         q14, \in5, \in0[3], +

  419.         sum_sub         q12, \in5, \in0[2], +

  420.         sum_sub         q13, \in5, \in0[0], -

  421. 

  422.         sum_sub         q14, \in7, \in0[1], +

  423.         sum_sub         q12, \in7, \in0[3], +

  424.         sum_sub         q13, \in7, \in0[2], -

  425. 

  426.         vadd.s32        q15, q10, q14

  427.         vsub.s32        q10, q10, q14

  428.         vqrshrn.s32     \in2, q15, \shift

  429. 

  430.         vmull.s16       q15, \in1, \in0[3]

  431.         sum_sub         q15, \in3, \in0[2], -

  432.         sum_sub         q15, \in5, \in0[1], +

  433.         sum_sub         q15, \in7, \in0[0], -

  434. 

  435.         vqrshrn.s32     \in5, q10,  \shift

  436. 

  437.         vadd.s32        q10, q8, q12

  438.         vsub.s32        q8,  q8, q12

  439.         vadd.s32        q12, q9, q13

  440.         vsub.s32        q9,  q9, q13

  441.         vadd.s32        q14, q11, q15

  442.         vsub.s32        q11, q11, q15

  443. 

  444.         vqrshrn.s32     \in0, q10, \shift

  445.         vqrshrn.s32     \in7, q8,  \shift

  446.         vqrshrn.s32     \in1, q12, \shift

  447.         vqrshrn.s32     \in6, q9,  \shift

  448.         vqrshrn.s32     \in3, q14, \shift

  449.         vqrshrn.s32     \in4, q11, \shift

  450. .endm

  451. 

  452. .macro idct_8x8 bitdepth

  453. function ff_hevc_idct_8x8_\bitdepth\()_neon, export=1

  454. @r0 - coeffs

  455.         vpush           {q4-q7}

  456. 

  457.         mov             r1,  r0

  458.         mov             r2,  #64

  459.         add             r3,  r0,  #32

  460.         vld1.s16        {q0-q1}, [r1,:128], r2

  461.         vld1.s16        {q2-q3}, [r3,:128], r2

  462.         vld1.s16        {q4-q5}, [r1,:128], r2

  463.         vld1.s16        {q6-q7}, [r3,:128], r2

  464. 

  465.         movrel          r1, trans

  466. 

  467.         tr_8x4          7, d0, d2, d4, d6, d8, d10, d12, d14

  468.         tr_8x4          7, d1, d3, d5, d7, d9, d11, d13, d15

  469. 

  470.         @ Transpose each 4x4 block, and swap how d4-d7 and d8-d11 are used.

  471.         @ Layout before:

  472.         @ d0  d1

  473.         @ d2  d3

  474.         @ d4  d5

  475.         @ d6  d7

  476.         @ d8  d9

  477.         @ d10 d11

  478.         @ d12 d13

  479.         @ d14 d15

  480.         transpose_8x8   d0, d2, d4, d6, d8, d10, d12, d14, d1, d3, d5, d7, d9, d11, d13, d15

  481.         @ Now the layout is:

  482.         @ d0  d8

  483.         @ d2  d10

  484.         @ d4  d12

  485.         @ d6  d14

  486.         @ d1  d9

  487.         @ d3  d11

  488.         @ d5  d13

  489.         @ d7  d15

  490. 

  491.         tr_8x4          20 - \bitdepth, d0, d2, d4, d6, d1, d3, d5, d7

  492.         vswp            d0, d8

  493.         tr_8x4          20 - \bitdepth, d0, d10, d12, d14, d9, d11, d13, d15

  494.         vswp            d0, d8

  495. 

  496.         transpose_8x8   d0, d2, d4, d6, d8, d10, d12, d14, d1, d3, d5, d7, d9, d11, d13, d15

  497. 

  498.         mov             r1,  r0

  499.         mov             r2,  #64

  500.         add             r3,  r0,  #32

  501.         vst1.s16        {q0-q1}, [r1,:128], r2

  502.         vst1.s16        {q2-q3}, [r3,:128], r2

  503.         vst1.s16        {q4-q5}, [r1,:128], r2

  504.         vst1.s16        {q6-q7}, [r3,:128], r2

  505. 

  506.         vpop            {q4-q7}

  507.         bx              lr

  508. endfunc

  509. .endm

  510. 

  511. .macro butterfly e, o, tmp_p, tmp_m

  512.         vadd.s32        \tmp_p, \e, \o

  513.         vsub.s32        \tmp_m, \e, \o

  514. .endm

  515. 

  516. .macro tr16_8x4 in0, in1, in2, in3, in4, in5, in6, in7, offset

  517.         tr_4x4_8        \in0, \in2, \in4, \in6, q8, q9, q10, q11, q12, q13, q14, q15

  518. 

  519.         vmull.s16       q12, \in1, \in0[0]

  520.         vmull.s16       q13, \in1, \in0[1]

  521.         vmull.s16       q14, \in1, \in0[2]

  522.         vmull.s16       q15, \in1, \in0[3]

  523.         sum_sub         q12, \in3, \in0[1], +

  524.         sum_sub         q13, \in3, \in0[3], -

  525.         sum_sub         q14, \in3, \in0[0], -

  526.         sum_sub         q15, \in3, \in0[2], -

  527. 

  528.         sum_sub         q12, \in5, \in0[2], +

  529.         sum_sub         q13, \in5, \in0[0], -

  530.         sum_sub         q14, \in5, \in0[3], +

  531.         sum_sub         q15, \in5, \in0[1], +

  532. 

  533.         sum_sub         q12, \in7, \in0[3], +

  534.         sum_sub         q13, \in7, \in0[2], -

  535.         sum_sub         q14, \in7, \in0[1], +

  536.         sum_sub         q15, \in7, \in0[0], -

  537. 

  538.         butterfly       q8,  q12, q0, q7

  539.         butterfly       q9,  q13, q1, q6

  540.         butterfly       q10, q14, q2, q5

  541.         butterfly       q11, q15, q3, q4

  542.         add             r4,  sp,  #\offset

  543.         vst1.s32        {q0-q1}, [r4, :128]!

  544.         vst1.s32        {q2-q3}, [r4, :128]!

  545.         vst1.s32        {q4-q5}, [r4, :128]!

  546.         vst1.s32        {q6-q7}, [r4, :128]

  547. .endm

  548. 

  549. .macro load16 in0, in1, in2, in3, in4, in5, in6, in7

  550.         vld1.s16        {\in0}, [r1, :64], r2

  551.         vld1.s16        {\in1}, [r3, :64], r2

  552.         vld1.s16        {\in2}, [r1, :64], r2

  553.         vld1.s16        {\in3}, [r3, :64], r2

  554.         vld1.s16        {\in4}, [r1, :64], r2

  555.         vld1.s16        {\in5}, [r3, :64], r2

  556.         vld1.s16        {\in6}, [r1, :64], r2

  557.         vld1.s16        {\in7}, [r3, :64], r2

  558. .endm

  559. 

  560. .macro add_member in, t0, t1, t2, t3, t4, t5, t6, t7, op0, op1, op2, op3, op4, op5, op6, op7

  561.         sum_sub q5,     \in, \t0, \op0

  562.         sum_sub q6,     \in, \t1, \op1

  563.         sum_sub q7,     \in, \t2, \op2

  564.         sum_sub q8,     \in, \t3, \op3

  565.         sum_sub q9,     \in, \t4, \op4

  566.         sum_sub q10,    \in, \t5, \op5

  567.         sum_sub q11,    \in, \t6, \op6

  568.         sum_sub q12,    \in, \t7, \op7

  569. .endm

  570. 

  571. .macro butterfly16 in0, in1, in2, in3, in4, in5, in6, in7

  572.         vadd.s32        q4, \in0, \in1

  573.         vsub.s32        \in0, \in0, \in1

  574.         vadd.s32        \in1, \in2, \in3

  575.         vsub.s32        \in2, \in2, \in3

  576.         vadd.s32        \in3, \in4, \in5

  577.         vsub.s32        \in4, \in4, \in5

  578.         vadd.s32        \in5, \in6, \in7

  579.         vsub.s32        \in6, \in6, \in7

  580. .endm

  581. 

  582. .macro store16 in0, in1, in2, in3, in4, in5, in6, in7, rx

  583.         vst1.s16        \in0, [r1, :64], r2

  584.         vst1.s16        \in1, [r3, :64], \rx

  585.         vst1.s16        \in2, [r1, :64], r2

  586.         vst1.s16        \in3, [r3, :64], \rx

  587.         vst1.s16        \in4, [r1, :64], r2

  588.         vst1.s16        \in5, [r3, :64], \rx

  589.         vst1.s16        \in6, [r1, :64], r2

  590.         vst1.s16        \in7, [r3, :64], \rx

  591. .endm

  592. 

  593. .macro scale out0, out1, out2, out3, out4, out5, out6, out7, in0, in1, in2, in3, in4, in5, in6, in7, shift

  594.         vqrshrn.s32     \out0, \in0, \shift

  595.         vqrshrn.s32     \out1, \in1, \shift

  596.         vqrshrn.s32     \out2, \in2, \shift

  597.         vqrshrn.s32     \out3, \in3, \shift

  598.         vqrshrn.s32     \out4, \in4, \shift

  599.         vqrshrn.s32     \out5, \in5, \shift

  600.         vqrshrn.s32     \out6, \in6, \shift

  601.         vqrshrn.s32     \out7, \in7, \shift

  602. .endm

  603. 

  604. @stores in1, in2, in4, in6 ascending from off1 and

  605. @stores in1, in3, in5, in7 descending from off2

  606. .macro store_to_stack off1, off2, in0, in2, in4, in6, in7, in5, in3, in1

  607.         add             r1, sp, #\off1

  608.         add             r3, sp, #\off2

  609.         mov             r2, #-16

  610.         vst1.s32        {\in0}, [r1, :128]!

  611.         vst1.s32        {\in1}, [r3, :128], r2

  612.         vst1.s32        {\in2}, [r1, :128]!

  613.         vst1.s32        {\in3}, [r3, :128], r2

  614.         vst1.s32        {\in4}, [r1, :128]!

  615.         vst1.s32        {\in5}, [r3, :128], r2

  616.         vst1.s32        {\in6}, [r1, :128]

  617.         vst1.s32        {\in7}, [r3, :128]

  618. .endm

  619. 

  620. .macro tr_16x4 name, shift, offset, step

  621. function func_tr_16x4_\name

  622.         mov             r1,  r5

  623.         add             r3, r5, #(\step * 64)

  624.         mov             r2, #(\step * 128)

  625.         load16          d0, d1, d2, d3, d4, d5, d6, d7

  626.         movrel          r1, trans

  627. 

  628.         tr16_8x4        d0, d1, d2, d3, d4, d5, d6, d7, \offset

  629. 

  630.         add             r1,  r5, #(\step * 32)

  631.         add             r3,  r5, #(\step * 3 *32)

  632.         mov             r2,  #(\step * 128)

  633.         load16          d8, d9, d2, d3, d4, d5, d6, d7

  634.         movrel          r1, trans + 16

  635.         vld1.s16        {q0}, [r1, :128]

  636.         vmull.s16       q5, d8, d0[0]

  637.         vmull.s16       q6, d8, d0[1]

  638.         vmull.s16       q7, d8, d0[2]

  639.         vmull.s16       q8, d8, d0[3]

  640.         vmull.s16       q9, d8, d1[0]

  641.         vmull.s16       q10, d8, d1[1]

  642.         vmull.s16       q11, d8, d1[2]

  643.         vmull.s16       q12, d8, d1[3]

  644. 

  645.         add_member      d9, d0[1], d1[0], d1[3], d1[1], d0[2], d0[0], d0[3], d1[2], +, +, +, -, -, -, -, -

  646.         add_member      d2, d0[2], d1[3], d0[3], d0[1], d1[2], d1[0], d0[0], d1[1], +, +, -, -, -, +, +, +

  647.         add_member      d3, d0[3], d1[1], d0[1], d1[3], d0[0], d1[2], d0[2], d1[0], +, -, -, +, +, +, -, -

  648.         add_member      d4, d1[0], d0[2], d1[2], d0[0], d1[3], d0[1], d1[1], d0[3], +, -, -, +, -, -, +, +

  649.         add_member      d5, d1[1], d0[0], d1[0], d1[2], d0[1], d0[3], d1[3], d0[2], +, -, +, +, -, +, +, -

  650.         add_member      d6, d1[2], d0[3], d0[0], d0[2], d1[1], d1[3], d1[0], d0[1], +, -, +, -, +, +, -, +

  651.         add_member      d7, d1[3], d1[2], d1[1], d1[0], d0[3], d0[2], d0[1], d0[0], +, -, +, -, +, -, +, -

  652. 

  653.         add             r4, sp, #\offset

  654.         vld1.s32        {q0-q1}, [r4, :128]!

  655.         vld1.s32        {q2-q3}, [r4, :128]!

  656. 

  657.         butterfly16     q0, q5, q1, q6, q2, q7, q3, q8

  658.     .if \shift > 0

  659.         scale           d26, d27, d28, d29, d30, d31, d16, d17, q4, q0, q5, q1, q6, q2, q7, q3, \shift

  660.         transpose8_4x4  d26, d28, d30, d16

  661.         transpose8_4x4  d17, d31, d29, d27

  662.         mov             r1, r6

  663.         add             r3, r6, #(24 +3*32)

  664.         mov             r2, #32

  665.         mov             r4, #-32

  666.         store16         d26, d27, d28, d29, d30, d31, d16, d17, r4

  667.     .else

  668.         store_to_stack  \offset, (\offset + 240), q4, q5, q6, q7, q3, q2, q1, q0

  669.     .endif

  670. 

  671.         add             r4, sp, #(\offset + 64)

  672.         vld1.s32        {q0-q1}, [r4, :128]!

  673.         vld1.s32        {q2-q3}, [r4, :128]

  674.         butterfly16     q0, q9, q1, q10, q2, q11, q3, q12

  675.     .if \shift > 0

  676.         scale           d26, d27, d28, d29, d30, d31, d8, d9, q4, q0, q9, q1, q10, q2, q11, q3, \shift

  677.         transpose8_4x4  d26, d28, d30, d8

  678.         transpose8_4x4  d9, d31, d29, d27

  679. 

  680.         add             r1, r6, #8

  681.         add             r3, r6, #(16 + 3 * 32)

  682.         mov             r2, #32

  683.         mov             r4, #-32

  684.         store16         d26, d27, d28, d29, d30, d31, d8, d9, r4

  685.     .else

  686.         store_to_stack (\offset + 64), (\offset + 176), q4, q9, q10, q11, q3, q2, q1, q0

  687.     .endif

  688. 

  689.         bx              lr

  690. endfunc

  691. .endm

  692. 

  693. .macro idct_16x16 bitdepth

  694. function ff_hevc_idct_16x16_\bitdepth\()_neon, export=1

  695. @r0 - coeffs

  696.         push            {r4-r7, lr}

  697.         vpush           {q4-q7}

  698. 

  699.         @ Align the stack, allocate a temp buffer

  700. T       mov             r7,  sp

  701. T       and             r7,  r7,  #15

  702. A       and             r7,  sp,  #15

  703.         add             r7,  r7,  #640

  704.         sub             sp,  sp,  r7

  705. 

  706. .irp i, 0, 1, 2, 3

  707.         add             r5, r0, #(8 * \i)

  708.         add             r6, sp, #(8 * \i * 16)

  709.         bl              func_tr_16x4_firstpass

  710. .endr

  711. 

  712. .irp i, 0, 1, 2, 3

  713.         add             r5, sp, #(8 * \i)

  714.         add             r6, r0, #(8 * \i * 16)

  715.         bl              func_tr_16x4_secondpass_\bitdepth

  716. .endr

  717. 

  718.         add             sp,  sp,  r7

  719. 

  720.         vpop            {q4-q7}

  721.         pop             {r4-r7, pc}

  722. endfunc

  723. .endm

  724. 

  725. .macro load32

  726.         add             r1,  r5, #64

  727.         add             r3,  r1, #128

  728.         mov             r2,  #256

  729.         vld1.s16        {d4}, [r1, :64], r2

  730.         vld1.s16        {d5}, [r3, :64], r2

  731.         vld1.s16        {d6}, [r1, :64], r2

  732.         vld1.s16        {d7}, [r3, :64], r2

  733.         vld1.s16        {d8}, [r1, :64], r2

  734.         vld1.s16        {d9}, [r3, :64], r2

  735.         vld1.s16        {d10}, [r1, :64], r2

  736.         vld1.s16        {d11}, [r3, :64], r2

  737.         vld1.s16        {d12}, [r1, :64], r2

  738.         vld1.s16        {d13}, [r3, :64], r2

  739.         vld1.s16        {d14}, [r1, :64], r2

  740.         vld1.s16        {d15}, [r3, :64], r2

  741.         vld1.s16        {d16}, [r1, :64], r2

  742.         vld1.s16        {d17}, [r3, :64], r2

  743.         vld1.s16        {d18}, [r1, :64], r2

  744.         vld1.s16        {d19}, [r3, :64], r2

  745. .endm

  746. 

  747. .macro add_member32 in, t0, t1, t2, t3, op0, op1, op2, op3

  748.         sum_sub q10,     \in, \t0, \op0

  749.         sum_sub q11,     \in, \t1, \op1

  750.         sum_sub q12,     \in, \t2, \op2

  751.         sum_sub q13,     \in, \t3, \op3

  752. .endm

  753. 

  754. .macro butterfly32 in0, in1, in2, in3

  755.         vadd.s32        q1, \in0, \in1

  756.         vsub.s32        \in0, \in0, \in1

  757.         vadd.s32        \in1, \in2, \in3

  758.         vsub.s32        \in2, \in2, \in3

  759. .endm

  760. 

  761. .macro scale32 out0, out1, out2, out3, in0, in1, in2, in3, shift

  762.         vqrshrn.s32     \out0, \in0, \shift

  763.         vqrshrn.s32     \out1, \in1, \shift

  764.         vqrshrn.s32     \out2, \in2, \shift

  765.         vqrshrn.s32     \out3, \in3, \shift

  766. .endm

  767. 

  768. .macro multiply in

  769.         vmull.s16       q10, d4, \in[0]

  770.         vmull.s16       q11, d4, \in[1]

  771.         vmull.s16       q12, d4, \in[2]

  772.         vmull.s16       q13, d4, \in[3]

  773. .endm

  774. 

  775. .macro scale_store shift

  776.         vld1.s16        {q14-q15}, [r4, :128]!

  777.         butterfly32     q14, q10, q15, q11

  778.         scale32         d22, d23, d20, d21, q1, q14, q10, q15, \shift

  779. 

  780.         vld1.s16        {q14-q15}, [r4, :128]!

  781.         butterfly32     q14, q12, q15, q13

  782.         scale32         d2, d3, d28, d29, q1, q14, q12, q15, \shift

  783.         transpose8_4x4  d22, d20, d2, d28

  784.         transpose8_4x4  d29, d3, d21, d23

  785.         store16         d22, d23, d20, d21, d2, d3, d28, d29, r8

  786. 

  787.         @ reload multiplication coefficiens to q1

  788.         vld1.s16        {q1}, [r9, :128]

  789. .endm

  790. 

  791. function tr_block1

  792.         multiply        d0

  793.         add_member32    d5,  d0[1], d1[0], d1[3], d2[2], +, +, +, +

  794.         add_member32    d6,  d0[2], d1[3], d3[0], d3[2], +, +, +, -

  795.         add_member32    d7,  d0[3], d2[2], d3[2], d1[3], +, +, -, -

  796.         add_member32    d8,  d1[0], d3[1], d2[1], d0[0], +, +, -, -

  797.         add_member32    d9,  d1[1], d3[3], d1[0], d1[2], +, -, -, -

  798.         add_member32    d10, d1[2], d3[0], d0[0], d3[1], +, -, -, -

  799.         add_member32    d11, d1[3], d2[1], d1[1], d2[3], +, -, -, +

  800.         add_member32    d12, d2[0], d1[2], d2[2], d1[0], +, -, -, +

  801.         add_member32    d13, d2[1], d0[3], d3[3], d0[2], +, -, -, +

  802.         add_member32    d14, d2[2], d0[1], d2[3], d2[1], +, -, +, +

  803.         add_member32    d15, d2[3], d0[2], d1[2], d3[3], +, -, +, -

  804.         add_member32    d16, d3[0], d1[1], d0[1], d2[0], +, -, +, -

  805.         add_member32    d17, d3[1], d2[0], d0[3], d0[1], +, -, +, -

  806.         add_member32    d18, d3[2], d2[3], d2[0], d1[1], +, -, +, -

  807.         add_member32    d19, d3[3], d3[2], d3[1], d3[0], +, -, +, -

  808.         bx              lr

  809. endfunc

  810. 

  811. function tr_block2

  812.         multiply        d1

  813.         add_member32    d5,  d3[1], d3[3], d3[0], d2[1], +, -, -, -

  814.         add_member32    d6,  d2[1], d1[0], d0[0], d1[1], -, -, -, -

  815.         add_member32    d7,  d0[0], d1[2], d3[1], d2[3], -, -, -, +

  816.         add_member32    d8,  d2[0], d3[2], d1[1], d0[3], -, +, +, +

  817.         add_member32    d9,  d3[2], d0[3], d1[3], d3[1], +, +, +, -

  818.         add_member32    d10, d1[1], d1[3], d2[3], d0[0], +, +, -, -

  819.         add_member32    d11, d0[3], d3[1], d0[1], d3[3], +, -, -, +

  820.         add_member32    d12, d3[0], d0[2], d3[2], d0[1], +, -, -, +

  821.         add_member32    d13, d2[2], d2[0], d1[0], d3[2], -, -, +, +

  822.         add_member32    d14, d0[1], d3[0], d2[0], d0[2], -, +, +, -

  823.         add_member32    d15, d1[3], d0[1], d2[2], d3[0], -, +, -, -

  824.         add_member32    d16, d3[3], d2[1], d0[2], d1[0], +, +, -, +

  825.         add_member32    d17, d1[2], d2[3], d3[3], d2[2], +, -, -, +

  826.         add_member32    d18, d0[2], d0[1], d0[3], d1[2], +, -, +, -

  827.         add_member32    d19, d2[3], d2[2], d2[1], d2[0], +, -, +, -

  828.         bx              lr

  829. endfunc

  830. 

  831. function tr_block3

  832.         multiply        d2

  833.         add_member32    d5,  d1[2], d0[3], d0[0], d0[2], -, -, -, -

  834.         add_member32    d6,  d2[2], d3[3], d2[3], d1[2], -, -, +, +

  835.         add_member32    d7,  d1[0], d0[2], d2[1], d3[3], +, +, +, -

  836.         add_member32    d8,  d3[0], d2[2], d0[1], d1[3], +, -, -, -

  837.         add_member32    d9,  d0[2], d2[0], d3[0], d0[0], -, -, +, +

  838.         add_member32    d10, d3[2], d1[0], d2[0], d2[2], -, +, +, -

  839.         add_member32    d11, d0[0], d3[2], d0[2], d3[0], +, +, -, -

  840.         add_member32    d12, d3[3], d0[1], d3[1], d0[3], -, -, +, +

  841.         add_member32    d13, d0[1], d2[3], d1[3], d1[1], -, +, +, -

  842.         add_member32    d14, d3[1], d1[3], d0[3], d3[2], +, +, -, +

  843.         add_member32    d15, d0[3], d1[1], d3[2], d2[0], +, -, +, +

  844.         add_member32    d16, d2[3], d3[1], d1[2], d0[1], -, -, +, -

  845.         add_member32    d17, d1[1], d0[0], d1[0], d2[1], -, +, -, +

  846.         add_member32    d18, d2[1], d3[0], d3[3], d3[1], +, -, +, +

  847.         add_member32    d19, d1[3], d1[2], d1[1], d1[0], +, -, +, -

  848.         bx              lr

  849. endfunc

  850. 

  851. function tr_block4

  852.         multiply        d3

  853.         add_member32    d5,  d1[1], d2[0], d2[3], d3[2], -, -, -, -

  854.         add_member32    d6,  d0[0], d0[3], d2[0], d3[1], +, +, +, +

  855.         add_member32    d7,  d2[0], d0[0], d1[1], d3[0], -, -, -, -

  856.         add_member32    d8,  d3[3], d1[2], d0[2], d2[3], +, +, +, +

  857.         add_member32    d9,  d2[1], d2[3], d0[0], d2[2], +, -, -, -

  858.         add_member32    d10, d0[2], d3[3], d0[3], d2[1], -, -, +, +

  859.         add_member32    d11, d1[0], d2[2], d1[2], d2[0], +, +, -, -

  860.         add_member32    d12, d2[3], d1[1], d2[1], d1[3], -, -, +, +

  861.         add_member32    d13, d3[1], d0[1], d3[0], d1[2], -, +, -, -

  862.         add_member32    d14, d1[2], d1[0], d3[3], d1[1], +, -, +, +

  863.         add_member32    d15, d0[1], d2[1], d3[1], d1[0], -, +, +, -

  864.         add_member32    d16, d1[3], d3[2], d2[2], d0[3], +, -, -, +

  865.         add_member32    d17, d3[2], d3[0], d1[3], d0[2], -, -, +, -

  866.         add_member32    d18, d2[2], d1[3], d1[0], d0[1], -, +, -, +

  867.         add_member32    d19, d0[3], d0[2], d0[1], d0[0], +, -, +, -

  868.         bx              lr

  869. endfunc

  870. 

  871. .macro tr_32x4 name, shift

  872. function func_tr_32x4_\name

  873.         mov             r10, lr

  874.         bl              func_tr_16x4_noscale

  875. 

  876.         load32

  877.         movrel          r9, trans + 32

  878.         vld1.s16        {q0}, [r9, :128]!

  879.         vld1.s16        {q1}, [r9, :128]

  880. 

  881.         bl              tr_block1

  882. 

  883.         add             r4, sp, #2048

  884.         vld1.s16        {q14-q15}, [r4, :128]!

  885.         butterfly32     q14, q10, q15, q11

  886.         scale32         d22, d23, d20, d21, q1, q14, q10, q15, \shift

  887. 

  888.         vld1.s16        {q14-q15}, [r4, :128]!

  889.         butterfly32     q14, q12, q15, q13

  890.         scale32         d2, d3, d28, d29, q1, q14, q12, q15, \shift

  891. 

  892.         transpose8_4x4  d22, d20, d2, d28

  893.         transpose8_4x4  d29, d3, d21, d23

  894.         mov             r1, r11

  895.         mov             r2, #64

  896.         mov             r8, #-64

  897.         add             r3, r11, #(56 + 3 * 64)

  898.         store16         d22, d23, d20, d21, d2, d3, d28, d29, r8

  899. 

  900.         @ reload multiplication coefficiens to q1

  901.         vld1.s16        {q1}, [r9, :128]

  902. 

  903.         bl              tr_block2

  904.         add             r1, r11, #8

  905.         add             r3, r11, #(48 + 3 * 64)

  906.         mov             r2, #64

  907.         mov             r8, #-64

  908.         scale_store     \shift

  909. 

  910.         bl              tr_block3

  911.         add             r1, r11, #16

  912.         add             r3, r11, #(40 + 3 * 64)

  913.         mov             r2, #64

  914.         mov             r8, #-64

  915.         scale_store     \shift

  916. 

  917.         bl              tr_block4

  918.         add             r1, r11, #24

  919.         add             r3, r11, #(32 + 3 * 64)

  920.         mov             r2, #64

  921.         mov             r8, #-64

  922.         scale_store     \shift

  923. 

  924.         bx               r10

  925. endfunc

  926. .endm

  927. 

  928. .macro idct_32x32 bitdepth

  929. function ff_hevc_idct_32x32_\bitdepth\()_neon, export=1

  930. @r0 - coeffs

  931.         push            {r4-r11, lr}

  932.         vpush           {q4-q7}

  933. 

  934.         @ Align the stack, allocate a temp buffer

  935. T       mov             r7,  sp

  936. T       and             r7,  r7,  #15

  937. A       and             r7,  sp,  #15

  938.         add             r7,  r7,  #2432

  939.         sub             sp,  sp,  r7

  940. 

  941. .irp i, 0, 1, 2, 3, 4, 5, 6, 7

  942.         add             r5, r0, #(8 * \i)

  943.         add             r11, sp, #(8 * \i * 32)

  944.         bl              func_tr_32x4_firstpass

  945. .endr

  946. 

  947. .irp i, 0, 1, 2, 3, 4, 5, 6, 7

  948.         add             r5, sp, #(8 * \i)

  949.         add             r11, r0, #(8 * \i * 32)

  950.         bl              func_tr_32x4_secondpass_\bitdepth

  951. .endr

  952. 

  953.         add             sp,  sp,  r7

  954.         vpop            {q4-q7}

  955.         pop             {r4-r11, pc}

  956. endfunc

  957. .endm

  958. 

  959. tr_16x4 firstpass, 7, 512, 1

  960. tr_16x4 secondpass_8, 20 - 8, 512, 1

  961. tr_16x4 secondpass_10, 20 - 10, 512, 1

  962. tr_16x4 noscale, 0, 2048, 4

  963. .ltorg

  964. tr_32x4 firstpass, 7

  965. tr_32x4 secondpass_8, 20 - 8

  966. tr_32x4 secondpass_10, 20 - 10

  967. .ltorg

  968. 

  969. idct_4x4 8

  970. idct_4x4_dc 8

  971. idct_4x4 10

  972. idct_4x4_dc 10

  973. idct_8x8 8

  974. idct_8x8_dc 8

  975. idct_8x8 10

  976. idct_8x8_dc 10

  977. idct_16x16 8

  978. idct_16x16_dc 8

  979. idct_16x16 10

  980. idct_16x16_dc 10

  981. idct_32x32 8

  982. idct_32x32_dc 8

  983. idct_32x32 10

  984. idct_32x32_dc 10