| @@ -72,25 +72,25 @@ SECTION .text | |||
| STORE_DIFFx2 m2, m3, m4, m5, %1, %3 | |||
| %endmacro | |||
| %macro IDCT_ADD_10 1 | |||
| cglobal h264_idct_add_10_%1, 3,3 | |||
| %macro IDCT_ADD_10 0 | |||
| cglobal h264_idct_add_10, 3,3 | |||
| IDCT4_ADD_10 r0, r1, r2 | |||
| RET | |||
| %endmacro | |||
| INIT_XMM | |||
| IDCT_ADD_10 sse2 | |||
| INIT_XMM sse2 | |||
| IDCT_ADD_10 | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT_ADD_10 avx | |||
| INIT_XMM avx | |||
| IDCT_ADD_10 | |||
| %endif | |||
| ;----------------------------------------------------------------------------- | |||
| ; h264_idct_add16(pixel *dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8]) | |||
| ;----------------------------------------------------------------------------- | |||
| ;;;;;;; NO FATE SAMPLES TRIGGER THIS | |||
| %macro ADD4x4IDCT 1 | |||
| add4x4_idct_%1: | |||
| %macro ADD4x4IDCT 0 | |||
| add4x4_idct %+ SUFFIX: | |||
| add r5, r0 | |||
| mova m0, [r2+ 0] | |||
| mova m1, [r2+16] | |||
| @@ -107,52 +107,52 @@ add4x4_idct_%1: | |||
| ret | |||
| %endmacro | |||
| INIT_XMM | |||
| INIT_XMM sse2 | |||
| ALIGN 16 | |||
| ADD4x4IDCT sse2 | |||
| ADD4x4IDCT | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| INIT_XMM avx | |||
| ALIGN 16 | |||
| ADD4x4IDCT avx | |||
| ADD4x4IDCT | |||
| %endif | |||
| %macro ADD16_OP 3 | |||
| cmp byte [r4+%3], 0 | |||
| jz .skipblock%2 | |||
| mov r5d, [r1+%2*4] | |||
| call add4x4_idct_%1 | |||
| .skipblock%2: | |||
| %if %2<15 | |||
| %macro ADD16_OP 2 | |||
| cmp byte [r4+%2], 0 | |||
| jz .skipblock%1 | |||
| mov r5d, [r1+%1*4] | |||
| call add4x4_idct %+ SUFFIX | |||
| .skipblock%1: | |||
| %if %1<15 | |||
| add r2, 64 | |||
| %endif | |||
| %endmacro | |||
| %macro IDCT_ADD16_10 1 | |||
| cglobal h264_idct_add16_10_%1, 5,6 | |||
| ADD16_OP %1, 0, 4+1*8 | |||
| ADD16_OP %1, 1, 5+1*8 | |||
| ADD16_OP %1, 2, 4+2*8 | |||
| ADD16_OP %1, 3, 5+2*8 | |||
| ADD16_OP %1, 4, 6+1*8 | |||
| ADD16_OP %1, 5, 7+1*8 | |||
| ADD16_OP %1, 6, 6+2*8 | |||
| ADD16_OP %1, 7, 7+2*8 | |||
| ADD16_OP %1, 8, 4+3*8 | |||
| ADD16_OP %1, 9, 5+3*8 | |||
| ADD16_OP %1, 10, 4+4*8 | |||
| ADD16_OP %1, 11, 5+4*8 | |||
| ADD16_OP %1, 12, 6+3*8 | |||
| ADD16_OP %1, 13, 7+3*8 | |||
| ADD16_OP %1, 14, 6+4*8 | |||
| ADD16_OP %1, 15, 7+4*8 | |||
| %macro IDCT_ADD16_10 0 | |||
| cglobal h264_idct_add16_10, 5,6 | |||
| ADD16_OP 0, 4+1*8 | |||
| ADD16_OP 1, 5+1*8 | |||
| ADD16_OP 2, 4+2*8 | |||
| ADD16_OP 3, 5+2*8 | |||
| ADD16_OP 4, 6+1*8 | |||
| ADD16_OP 5, 7+1*8 | |||
| ADD16_OP 6, 6+2*8 | |||
| ADD16_OP 7, 7+2*8 | |||
| ADD16_OP 8, 4+3*8 | |||
| ADD16_OP 9, 5+3*8 | |||
| ADD16_OP 10, 4+4*8 | |||
| ADD16_OP 11, 5+4*8 | |||
| ADD16_OP 12, 6+3*8 | |||
| ADD16_OP 13, 7+3*8 | |||
| ADD16_OP 14, 6+4*8 | |||
| ADD16_OP 15, 7+4*8 | |||
| REP_RET | |||
| %endmacro | |||
| INIT_XMM | |||
| IDCT_ADD16_10 sse2 | |||
| INIT_XMM sse2 | |||
| IDCT_ADD16_10 | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT_ADD16_10 avx | |||
| INIT_XMM avx | |||
| IDCT_ADD16_10 | |||
| %endif | |||
| ;----------------------------------------------------------------------------- | |||
| @@ -185,8 +185,8 @@ IDCT_ADD16_10 avx | |||
| mova [%1+%3 ], m4 | |||
| %endmacro | |||
| INIT_MMX | |||
| cglobal h264_idct_dc_add_10_mmx2,3,3 | |||
| INIT_MMX mmx2 | |||
| cglobal h264_idct_dc_add_10,3,3 | |||
| movd m0, [r1] | |||
| paddd m0, [pd_32] | |||
| psrad m0, 6 | |||
| @@ -199,8 +199,8 @@ cglobal h264_idct_dc_add_10_mmx2,3,3 | |||
| ;----------------------------------------------------------------------------- | |||
| ; void h264_idct8_dc_add(pixel *dst, dctcoef *block, int stride) | |||
| ;----------------------------------------------------------------------------- | |||
| %macro IDCT8_DC_ADD 1 | |||
| cglobal h264_idct8_dc_add_10_%1,3,3,7 | |||
| %macro IDCT8_DC_ADD 0 | |||
| cglobal h264_idct8_dc_add_10,3,3,7 | |||
| mov r1d, [r1] | |||
| add r1, 32 | |||
| sar r1, 6 | |||
| @@ -214,45 +214,45 @@ cglobal h264_idct8_dc_add_10_%1,3,3,7 | |||
| RET | |||
| %endmacro | |||
| INIT_XMM | |||
| IDCT8_DC_ADD sse2 | |||
| INIT_XMM sse2 | |||
| IDCT8_DC_ADD | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT8_DC_ADD avx | |||
| INIT_XMM avx | |||
| IDCT8_DC_ADD | |||
| %endif | |||
| ;----------------------------------------------------------------------------- | |||
| ; h264_idct_add16intra(pixel *dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8]) | |||
| ;----------------------------------------------------------------------------- | |||
| %macro AC 2 | |||
| .ac%2 | |||
| mov r5d, [r1+(%2+0)*4] | |||
| call add4x4_idct_%1 | |||
| mov r5d, [r1+(%2+1)*4] | |||
| %macro AC 1 | |||
| .ac%1 | |||
| mov r5d, [r1+(%1+0)*4] | |||
| call add4x4_idct %+ SUFFIX | |||
| mov r5d, [r1+(%1+1)*4] | |||
| add r2, 64 | |||
| call add4x4_idct_%1 | |||
| call add4x4_idct %+ SUFFIX | |||
| add r2, 64 | |||
| jmp .skipadd%2 | |||
| jmp .skipadd%1 | |||
| %endmacro | |||
| %assign last_block 16 | |||
| %macro ADD16_OP_INTRA 3 | |||
| cmp word [r4+%3], 0 | |||
| jnz .ac%2 | |||
| %macro ADD16_OP_INTRA 2 | |||
| cmp word [r4+%2], 0 | |||
| jnz .ac%1 | |||
| mov r5d, [r2+ 0] | |||
| or r5d, [r2+64] | |||
| jz .skipblock%2 | |||
| mov r5d, [r1+(%2+0)*4] | |||
| call idct_dc_add_%1 | |||
| .skipblock%2: | |||
| %if %2<last_block-2 | |||
| jz .skipblock%1 | |||
| mov r5d, [r1+(%1+0)*4] | |||
| call idct_dc_add %+ SUFFIX | |||
| .skipblock%1: | |||
| %if %1<last_block-2 | |||
| add r2, 128 | |||
| %endif | |||
| .skipadd%2: | |||
| .skipadd%1: | |||
| %endmacro | |||
| %macro IDCT_ADD16INTRA_10 1 | |||
| idct_dc_add_%1: | |||
| %macro IDCT_ADD16INTRA_10 0 | |||
| idct_dc_add %+ SUFFIX: | |||
| add r5, r0 | |||
| movq m0, [r2+ 0] | |||
| movhps m0, [r2+64] | |||
| @@ -265,46 +265,46 @@ idct_dc_add_%1: | |||
| IDCT_DC_ADD_OP_10 r5, r3, r6 | |||
| ret | |||
| cglobal h264_idct_add16intra_10_%1,5,7,8 | |||
| ADD16_OP_INTRA %1, 0, 4+1*8 | |||
| ADD16_OP_INTRA %1, 2, 4+2*8 | |||
| ADD16_OP_INTRA %1, 4, 6+1*8 | |||
| ADD16_OP_INTRA %1, 6, 6+2*8 | |||
| ADD16_OP_INTRA %1, 8, 4+3*8 | |||
| ADD16_OP_INTRA %1, 10, 4+4*8 | |||
| ADD16_OP_INTRA %1, 12, 6+3*8 | |||
| ADD16_OP_INTRA %1, 14, 6+4*8 | |||
| cglobal h264_idct_add16intra_10,5,7,8 | |||
| ADD16_OP_INTRA 0, 4+1*8 | |||
| ADD16_OP_INTRA 2, 4+2*8 | |||
| ADD16_OP_INTRA 4, 6+1*8 | |||
| ADD16_OP_INTRA 6, 6+2*8 | |||
| ADD16_OP_INTRA 8, 4+3*8 | |||
| ADD16_OP_INTRA 10, 4+4*8 | |||
| ADD16_OP_INTRA 12, 6+3*8 | |||
| ADD16_OP_INTRA 14, 6+4*8 | |||
| REP_RET | |||
| AC %1, 8 | |||
| AC %1, 10 | |||
| AC %1, 12 | |||
| AC %1, 14 | |||
| AC %1, 0 | |||
| AC %1, 2 | |||
| AC %1, 4 | |||
| AC %1, 6 | |||
| AC 8 | |||
| AC 10 | |||
| AC 12 | |||
| AC 14 | |||
| AC 0 | |||
| AC 2 | |||
| AC 4 | |||
| AC 6 | |||
| %endmacro | |||
| INIT_XMM | |||
| IDCT_ADD16INTRA_10 sse2 | |||
| INIT_XMM sse2 | |||
| IDCT_ADD16INTRA_10 | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT_ADD16INTRA_10 avx | |||
| INIT_XMM avx | |||
| IDCT_ADD16INTRA_10 | |||
| %endif | |||
| %assign last_block 36 | |||
| ;----------------------------------------------------------------------------- | |||
| ; h264_idct_add8(pixel **dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8]) | |||
| ;----------------------------------------------------------------------------- | |||
| %macro IDCT_ADD8 1 | |||
| cglobal h264_idct_add8_10_%1,5,8,7 | |||
| %macro IDCT_ADD8 0 | |||
| cglobal h264_idct_add8_10,5,8,7 | |||
| %if ARCH_X86_64 | |||
| mov r7, r0 | |||
| %endif | |||
| add r2, 1024 | |||
| mov r0, [r0] | |||
| ADD16_OP_INTRA %1, 16, 4+ 6*8 | |||
| ADD16_OP_INTRA %1, 18, 4+ 7*8 | |||
| ADD16_OP_INTRA 16, 4+ 6*8 | |||
| ADD16_OP_INTRA 18, 4+ 7*8 | |||
| add r2, 1024-128*2 | |||
| %if ARCH_X86_64 | |||
| mov r0, [r7+gprsize] | |||
| @@ -312,21 +312,21 @@ cglobal h264_idct_add8_10_%1,5,8,7 | |||
| mov r0, r0m | |||
| mov r0, [r0+gprsize] | |||
| %endif | |||
| ADD16_OP_INTRA %1, 32, 4+11*8 | |||
| ADD16_OP_INTRA %1, 34, 4+12*8 | |||
| ADD16_OP_INTRA 32, 4+11*8 | |||
| ADD16_OP_INTRA 34, 4+12*8 | |||
| REP_RET | |||
| AC %1, 16 | |||
| AC %1, 18 | |||
| AC %1, 32 | |||
| AC %1, 34 | |||
| AC 16 | |||
| AC 18 | |||
| AC 32 | |||
| AC 34 | |||
| %endmacro ; IDCT_ADD8 | |||
| INIT_XMM | |||
| IDCT_ADD8 sse2 | |||
| INIT_XMM sse2 | |||
| IDCT_ADD8 | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT_ADD8 avx | |||
| INIT_XMM avx | |||
| IDCT_ADD8 | |||
| %endif | |||
| ;----------------------------------------------------------------------------- | |||
| @@ -432,19 +432,19 @@ IDCT_ADD8 avx | |||
| STORE_DIFFx2 m0, m1, m6, m7, %1, %3 | |||
| %endmacro | |||
| %macro IDCT8_ADD 1 | |||
| cglobal h264_idct8_add_10_%1, 3,4,16 | |||
| %macro IDCT8_ADD 0 | |||
| cglobal h264_idct8_add_10, 3,4,16 | |||
| %if UNIX64 == 0 | |||
| %assign pad 16-gprsize-(stack_offset&15) | |||
| sub rsp, pad | |||
| call h264_idct8_add1_10_%1 | |||
| call h264_idct8_add1_10 %+ SUFFIX | |||
| add rsp, pad | |||
| RET | |||
| %endif | |||
| ALIGN 16 | |||
| ; TODO: does not need to use stack | |||
| h264_idct8_add1_10_%1: | |||
| h264_idct8_add1_10 %+ SUFFIX: | |||
| %assign pad 256+16-gprsize | |||
| sub rsp, pad | |||
| add dword [r1], 32 | |||
| @@ -499,31 +499,31 @@ h264_idct8_add1_10_%1: | |||
| ret | |||
| %endmacro | |||
| INIT_XMM | |||
| IDCT8_ADD sse2 | |||
| INIT_XMM sse2 | |||
| IDCT8_ADD | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT8_ADD avx | |||
| INIT_XMM avx | |||
| IDCT8_ADD | |||
| %endif | |||
| ;----------------------------------------------------------------------------- | |||
| ; h264_idct8_add4(pixel **dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8]) | |||
| ;----------------------------------------------------------------------------- | |||
| ;;;;;;; NO FATE SAMPLES TRIGGER THIS | |||
| %macro IDCT8_ADD4_OP 3 | |||
| cmp byte [r4+%3], 0 | |||
| jz .skipblock%2 | |||
| mov r0d, [r6+%2*4] | |||
| %macro IDCT8_ADD4_OP 2 | |||
| cmp byte [r4+%2], 0 | |||
| jz .skipblock%1 | |||
| mov r0d, [r6+%1*4] | |||
| add r0, r5 | |||
| call h264_idct8_add1_10_%1 | |||
| .skipblock%2: | |||
| %if %2<12 | |||
| call h264_idct8_add1_10 %+ SUFFIX | |||
| .skipblock%1: | |||
| %if %1<12 | |||
| add r1, 256 | |||
| %endif | |||
| %endmacro | |||
| %macro IDCT8_ADD4 1 | |||
| cglobal h264_idct8_add4_10_%1, 0,7,16 | |||
| %macro IDCT8_ADD4 0 | |||
| cglobal h264_idct8_add4_10, 0,7,16 | |||
| %assign pad 16-gprsize-(stack_offset&15) | |||
| SUB rsp, pad | |||
| mov r5, r0mp | |||
| @@ -531,17 +531,17 @@ cglobal h264_idct8_add4_10_%1, 0,7,16 | |||
| mov r1, r2mp | |||
| mov r2d, r3m | |||
| movifnidn r4, r4mp | |||
| IDCT8_ADD4_OP %1, 0, 4+1*8 | |||
| IDCT8_ADD4_OP %1, 4, 6+1*8 | |||
| IDCT8_ADD4_OP %1, 8, 4+3*8 | |||
| IDCT8_ADD4_OP %1, 12, 6+3*8 | |||
| IDCT8_ADD4_OP 0, 4+1*8 | |||
| IDCT8_ADD4_OP 4, 6+1*8 | |||
| IDCT8_ADD4_OP 8, 4+3*8 | |||
| IDCT8_ADD4_OP 12, 6+3*8 | |||
| ADD rsp, pad | |||
| RET | |||
| %endmacro ; IDCT8_ADD4 | |||
| INIT_XMM | |||
| IDCT8_ADD4 sse2 | |||
| INIT_XMM sse2 | |||
| IDCT8_ADD4 | |||
| %if HAVE_AVX | |||
| INIT_AVX | |||
| IDCT8_ADD4 avx | |||
| INIT_XMM avx | |||
| IDCT8_ADD4 | |||
| %endif | |||