You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

807 lines
16KB

  1. ;*****************************************************************************
  2. ;* x86util.asm
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2008-2010 x264 project
  5. ;*
  6. ;* Authors: Loren Merritt <lorenm@u.washington.edu>
  7. ;* Holger Lubitz <holger@lubitz.org>
  8. ;*
  9. ;* This file is part of FFmpeg.
  10. ;*
  11. ;* FFmpeg is free software; you can redistribute it and/or
  12. ;* modify it under the terms of the GNU Lesser General Public
  13. ;* License as published by the Free Software Foundation; either
  14. ;* version 2.1 of the License, or (at your option) any later version.
  15. ;*
  16. ;* FFmpeg is distributed in the hope that it will be useful,
  17. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  18. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  19. ;* Lesser General Public License for more details.
  20. ;*
  21. ;* You should have received a copy of the GNU Lesser General Public
  22. ;* License along with FFmpeg; if not, write to the Free Software
  23. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  24. ;******************************************************************************
  25. %define private_prefix ff
  26. %define public_prefix avpriv
  27. %define cpuflags_mmxext cpuflags_mmx2
  28. %include "libavutil/x86/x86inc.asm"
  29. %macro SBUTTERFLY 4
  30. %if avx_enabled == 0
  31. mova m%4, m%2
  32. punpckl%1 m%2, m%3
  33. punpckh%1 m%4, m%3
  34. %else
  35. punpckh%1 m%4, m%2, m%3
  36. punpckl%1 m%2, m%3
  37. %endif
  38. SWAP %3, %4
  39. %endmacro
  40. %macro SBUTTERFLY2 4
  41. punpckl%1 m%4, m%2, m%3
  42. punpckh%1 m%2, m%2, m%3
  43. SWAP %2, %4, %3
  44. %endmacro
  45. %macro SBUTTERFLYPS 3
  46. unpcklps m%3, m%1, m%2
  47. unpckhps m%1, m%1, m%2
  48. SWAP %1, %3, %2
  49. %endmacro
  50. %macro TRANSPOSE4x4B 5
  51. SBUTTERFLY bw, %1, %2, %5
  52. SBUTTERFLY bw, %3, %4, %5
  53. SBUTTERFLY wd, %1, %3, %5
  54. SBUTTERFLY wd, %2, %4, %5
  55. SWAP %2, %3
  56. %endmacro
  57. %macro TRANSPOSE4x4W 5
  58. SBUTTERFLY wd, %1, %2, %5
  59. SBUTTERFLY wd, %3, %4, %5
  60. SBUTTERFLY dq, %1, %3, %5
  61. SBUTTERFLY dq, %2, %4, %5
  62. SWAP %2, %3
  63. %endmacro
  64. %macro TRANSPOSE2x4x4B 5
  65. SBUTTERFLY bw, %1, %2, %5
  66. SBUTTERFLY bw, %3, %4, %5
  67. SBUTTERFLY wd, %1, %3, %5
  68. SBUTTERFLY wd, %2, %4, %5
  69. SBUTTERFLY dq, %1, %2, %5
  70. SBUTTERFLY dq, %3, %4, %5
  71. %endmacro
  72. %macro TRANSPOSE2x4x4W 5
  73. SBUTTERFLY wd, %1, %2, %5
  74. SBUTTERFLY wd, %3, %4, %5
  75. SBUTTERFLY dq, %1, %3, %5
  76. SBUTTERFLY dq, %2, %4, %5
  77. SBUTTERFLY qdq, %1, %2, %5
  78. SBUTTERFLY qdq, %3, %4, %5
  79. %endmacro
  80. %macro TRANSPOSE4x4D 5
  81. SBUTTERFLY dq, %1, %2, %5
  82. SBUTTERFLY dq, %3, %4, %5
  83. SBUTTERFLY qdq, %1, %3, %5
  84. SBUTTERFLY qdq, %2, %4, %5
  85. SWAP %2, %3
  86. %endmacro
  87. ; identical behavior to TRANSPOSE4x4D, but using SSE1 float ops
  88. %macro TRANSPOSE4x4PS 5
  89. SBUTTERFLYPS %1, %2, %5
  90. SBUTTERFLYPS %3, %4, %5
  91. movlhps m%5, m%1, m%3
  92. movhlps m%3, m%1
  93. SWAP %5, %1
  94. movlhps m%5, m%2, m%4
  95. movhlps m%4, m%2
  96. SWAP %5, %2, %3
  97. %endmacro
  98. %macro TRANSPOSE8x4D 9-11
  99. %if ARCH_X86_64
  100. SBUTTERFLY dq, %1, %2, %9
  101. SBUTTERFLY dq, %3, %4, %9
  102. SBUTTERFLY dq, %5, %6, %9
  103. SBUTTERFLY dq, %7, %8, %9
  104. SBUTTERFLY qdq, %1, %3, %9
  105. SBUTTERFLY qdq, %2, %4, %9
  106. SBUTTERFLY qdq, %5, %7, %9
  107. SBUTTERFLY qdq, %6, %8, %9
  108. SWAP %2, %5
  109. SWAP %4, %7
  110. %else
  111. ; in: m0..m7
  112. ; out: m0..m7, unless %11 in which case m2 is in %9
  113. ; spills into %9 and %10
  114. movdqa %9, m%7
  115. SBUTTERFLY dq, %1, %2, %7
  116. movdqa %10, m%2
  117. movdqa m%7, %9
  118. SBUTTERFLY dq, %3, %4, %2
  119. SBUTTERFLY dq, %5, %6, %2
  120. SBUTTERFLY dq, %7, %8, %2
  121. SBUTTERFLY qdq, %1, %3, %2
  122. movdqa %9, m%3
  123. movdqa m%2, %10
  124. SBUTTERFLY qdq, %2, %4, %3
  125. SBUTTERFLY qdq, %5, %7, %3
  126. SBUTTERFLY qdq, %6, %8, %3
  127. SWAP %2, %5
  128. SWAP %4, %7
  129. %if %0<11
  130. movdqa m%3, %9
  131. %endif
  132. %endif
  133. %endmacro
  134. %macro TRANSPOSE8x8W 9-11
  135. %if ARCH_X86_64
  136. SBUTTERFLY wd, %1, %2, %9
  137. SBUTTERFLY wd, %3, %4, %9
  138. SBUTTERFLY wd, %5, %6, %9
  139. SBUTTERFLY wd, %7, %8, %9
  140. SBUTTERFLY dq, %1, %3, %9
  141. SBUTTERFLY dq, %2, %4, %9
  142. SBUTTERFLY dq, %5, %7, %9
  143. SBUTTERFLY dq, %6, %8, %9
  144. SBUTTERFLY qdq, %1, %5, %9
  145. SBUTTERFLY qdq, %2, %6, %9
  146. SBUTTERFLY qdq, %3, %7, %9
  147. SBUTTERFLY qdq, %4, %8, %9
  148. SWAP %2, %5
  149. SWAP %4, %7
  150. %else
  151. ; in: m0..m7, unless %11 in which case m6 is in %9
  152. ; out: m0..m7, unless %11 in which case m4 is in %10
  153. ; spills into %9 and %10
  154. %if %0<11
  155. movdqa %9, m%7
  156. %endif
  157. SBUTTERFLY wd, %1, %2, %7
  158. movdqa %10, m%2
  159. movdqa m%7, %9
  160. SBUTTERFLY wd, %3, %4, %2
  161. SBUTTERFLY wd, %5, %6, %2
  162. SBUTTERFLY wd, %7, %8, %2
  163. SBUTTERFLY dq, %1, %3, %2
  164. movdqa %9, m%3
  165. movdqa m%2, %10
  166. SBUTTERFLY dq, %2, %4, %3
  167. SBUTTERFLY dq, %5, %7, %3
  168. SBUTTERFLY dq, %6, %8, %3
  169. SBUTTERFLY qdq, %1, %5, %3
  170. SBUTTERFLY qdq, %2, %6, %3
  171. movdqa %10, m%2
  172. movdqa m%3, %9
  173. SBUTTERFLY qdq, %3, %7, %2
  174. SBUTTERFLY qdq, %4, %8, %2
  175. SWAP %2, %5
  176. SWAP %4, %7
  177. %if %0<11
  178. movdqa m%5, %10
  179. %endif
  180. %endif
  181. %endmacro
  182. ; PABSW macro assumes %1 != %2, while ABS1/2 macros work in-place
  183. %macro PABSW 2
  184. %if cpuflag(ssse3)
  185. pabsw %1, %2
  186. %elif cpuflag(mmxext)
  187. pxor %1, %1
  188. psubw %1, %2
  189. pmaxsw %1, %2
  190. %else
  191. pxor %1, %1
  192. pcmpgtw %1, %2
  193. pxor %2, %1
  194. psubw %2, %1
  195. SWAP %1, %2
  196. %endif
  197. %endmacro
  198. %macro PSIGNW 2
  199. %if cpuflag(ssse3)
  200. psignw %1, %2
  201. %else
  202. pxor %1, %2
  203. psubw %1, %2
  204. %endif
  205. %endmacro
  206. %macro ABS1 2
  207. %if cpuflag(ssse3)
  208. pabsw %1, %1
  209. %elif cpuflag(mmxext) ; a, tmp
  210. pxor %2, %2
  211. psubw %2, %1
  212. pmaxsw %1, %2
  213. %else ; a, tmp
  214. pxor %2, %2
  215. pcmpgtw %2, %1
  216. pxor %1, %2
  217. psubw %1, %2
  218. %endif
  219. %endmacro
  220. %macro ABS2 4
  221. %if cpuflag(ssse3)
  222. pabsw %1, %1
  223. pabsw %2, %2
  224. %elif cpuflag(mmxext) ; a, b, tmp0, tmp1
  225. pxor %3, %3
  226. pxor %4, %4
  227. psubw %3, %1
  228. psubw %4, %2
  229. pmaxsw %1, %3
  230. pmaxsw %2, %4
  231. %else ; a, b, tmp0, tmp1
  232. pxor %3, %3
  233. pxor %4, %4
  234. pcmpgtw %3, %1
  235. pcmpgtw %4, %2
  236. pxor %1, %3
  237. pxor %2, %4
  238. psubw %1, %3
  239. psubw %2, %4
  240. %endif
  241. %endmacro
  242. %macro ABSB 2 ; source mmreg, temp mmreg (unused for ssse3)
  243. %if cpuflag(ssse3)
  244. pabsb %1, %1
  245. %else
  246. pxor %2, %2
  247. psubb %2, %1
  248. pminub %1, %2
  249. %endif
  250. %endmacro
  251. %macro ABSB2 4 ; src1, src2, tmp1, tmp2 (tmp1/2 unused for SSSE3)
  252. %if cpuflag(ssse3)
  253. pabsb %1, %1
  254. pabsb %2, %2
  255. %else
  256. pxor %3, %3
  257. pxor %4, %4
  258. psubb %3, %1
  259. psubb %4, %2
  260. pminub %1, %3
  261. pminub %2, %4
  262. %endif
  263. %endmacro
  264. %macro ABSD2_MMX 4
  265. pxor %3, %3
  266. pxor %4, %4
  267. pcmpgtd %3, %1
  268. pcmpgtd %4, %2
  269. pxor %1, %3
  270. pxor %2, %4
  271. psubd %1, %3
  272. psubd %2, %4
  273. %endmacro
  274. %macro ABS4 6
  275. ABS2 %1, %2, %5, %6
  276. ABS2 %3, %4, %5, %6
  277. %endmacro
  278. %macro SPLATB_LOAD 3
  279. %if cpuflag(ssse3)
  280. movd %1, [%2-3]
  281. pshufb %1, %3
  282. %else
  283. movd %1, [%2-3] ;to avoid crossing a cacheline
  284. punpcklbw %1, %1
  285. SPLATW %1, %1, 3
  286. %endif
  287. %endmacro
  288. %macro SPLATB_REG 3
  289. %if cpuflag(ssse3)
  290. movd %1, %2d
  291. pshufb %1, %3
  292. %else
  293. movd %1, %2d
  294. punpcklbw %1, %1
  295. SPLATW %1, %1, 0
  296. %endif
  297. %endmacro
  298. %macro HADDD 2 ; sum junk
  299. %if sizeof%1 == 32
  300. %define %2 xmm%2
  301. vextracti128 %2, %1, 1
  302. %define %1 xmm%1
  303. paddd %1, %2
  304. %endif
  305. %if mmsize >= 16
  306. %if cpuflag(xop) && sizeof%1 == 16
  307. vphadddq %1, %1
  308. %endif
  309. movhlps %2, %1
  310. paddd %1, %2
  311. %endif
  312. %if notcpuflag(xop) || sizeof%1 != 16
  313. %if cpuflag(mmxext)
  314. PSHUFLW %2, %1, q0032
  315. %else ; mmx
  316. mova %2, %1
  317. psrlq %2, 32
  318. %endif
  319. paddd %1, %2
  320. %endif
  321. %undef %1
  322. %undef %2
  323. %endmacro
  324. %macro HADDW 2 ; reg, tmp
  325. %if cpuflag(xop) && sizeof%1 == 16
  326. vphaddwq %1, %1
  327. movhlps %2, %1
  328. paddd %1, %2
  329. %else
  330. pmaddwd %1, [pw_1]
  331. HADDD %1, %2
  332. %endif
  333. %endmacro
  334. %macro HADDPS 3 ; dst, src, tmp
  335. %if cpuflag(sse3)
  336. haddps %1, %1, %2
  337. %else
  338. movaps %3, %1
  339. shufps %1, %2, q2020
  340. shufps %3, %2, q3131
  341. addps %1, %3
  342. %endif
  343. %endmacro
  344. %macro PALIGNR 4-5
  345. %if cpuflag(ssse3)
  346. %if %0==5
  347. palignr %1, %2, %3, %4
  348. %else
  349. palignr %1, %2, %3
  350. %endif
  351. %elif cpuflag(mmx) ; [dst,] src1, src2, imm, tmp
  352. %define %%dst %1
  353. %if %0==5
  354. %ifnidn %1, %2
  355. mova %%dst, %2
  356. %endif
  357. %rotate 1
  358. %endif
  359. %ifnidn %4, %2
  360. mova %4, %2
  361. %endif
  362. %if mmsize==8
  363. psllq %%dst, (8-%3)*8
  364. psrlq %4, %3*8
  365. %else
  366. pslldq %%dst, 16-%3
  367. psrldq %4, %3
  368. %endif
  369. por %%dst, %4
  370. %endif
  371. %endmacro
  372. %macro PAVGB 2-4
  373. %if cpuflag(mmxext)
  374. pavgb %1, %2
  375. %elif cpuflag(3dnow)
  376. pavgusb %1, %2
  377. %elif cpuflag(mmx)
  378. movu %3, %2
  379. por %3, %1
  380. pxor %1, %2
  381. pand %1, %4
  382. psrlq %1, 1
  383. psubb %3, %1
  384. SWAP %1, %3
  385. %endif
  386. %endmacro
  387. %macro PSHUFLW 1+
  388. %if mmsize == 8
  389. pshufw %1
  390. %else
  391. pshuflw %1
  392. %endif
  393. %endmacro
  394. %macro PSWAPD 2
  395. %if cpuflag(mmxext)
  396. pshufw %1, %2, q1032
  397. %elif cpuflag(3dnowext)
  398. pswapd %1, %2
  399. %elif cpuflag(3dnow)
  400. movq %1, %2
  401. psrlq %1, 32
  402. punpckldq %1, %2
  403. %endif
  404. %endmacro
  405. %macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
  406. %ifnum %5
  407. pand m%3, m%5, m%4 ; src .. y6 .. y4
  408. pand m%1, m%5, m%2 ; dst .. y6 .. y4
  409. %else
  410. mova m%1, %5
  411. pand m%3, m%1, m%4 ; src .. y6 .. y4
  412. pand m%1, m%1, m%2 ; dst .. y6 .. y4
  413. %endif
  414. psrlw m%2, 8 ; dst .. y7 .. y5
  415. psrlw m%4, 8 ; src .. y7 .. y5
  416. %endmacro
  417. %macro SUMSUB_BA 3-4
  418. %if %0==3
  419. padd%1 m%2, m%3
  420. padd%1 m%3, m%3
  421. psub%1 m%3, m%2
  422. %else
  423. %if avx_enabled == 0
  424. mova m%4, m%2
  425. padd%1 m%2, m%3
  426. psub%1 m%3, m%4
  427. %else
  428. padd%1 m%4, m%2, m%3
  429. psub%1 m%3, m%2
  430. SWAP %2, %4
  431. %endif
  432. %endif
  433. %endmacro
  434. %macro SUMSUB_BADC 5-6
  435. %if %0==6
  436. SUMSUB_BA %1, %2, %3, %6
  437. SUMSUB_BA %1, %4, %5, %6
  438. %else
  439. padd%1 m%2, m%3
  440. padd%1 m%4, m%5
  441. padd%1 m%3, m%3
  442. padd%1 m%5, m%5
  443. psub%1 m%3, m%2
  444. psub%1 m%5, m%4
  445. %endif
  446. %endmacro
  447. %macro SUMSUB2_AB 4
  448. %ifnum %3
  449. psub%1 m%4, m%2, m%3
  450. psub%1 m%4, m%3
  451. padd%1 m%2, m%2
  452. padd%1 m%2, m%3
  453. %else
  454. mova m%4, m%2
  455. padd%1 m%2, m%2
  456. padd%1 m%2, %3
  457. psub%1 m%4, %3
  458. psub%1 m%4, %3
  459. %endif
  460. %endmacro
  461. %macro SUMSUB2_BA 4
  462. %if avx_enabled == 0
  463. mova m%4, m%2
  464. padd%1 m%2, m%3
  465. padd%1 m%2, m%3
  466. psub%1 m%3, m%4
  467. psub%1 m%3, m%4
  468. %else
  469. padd%1 m%4, m%2, m%3
  470. padd%1 m%4, m%3
  471. psub%1 m%3, m%2
  472. psub%1 m%3, m%2
  473. SWAP %2, %4
  474. %endif
  475. %endmacro
  476. %macro SUMSUBD2_AB 5
  477. %ifnum %4
  478. psra%1 m%5, m%2, 1 ; %3: %3>>1
  479. psra%1 m%4, m%3, 1 ; %2: %2>>1
  480. padd%1 m%4, m%2 ; %3: %3>>1+%2
  481. psub%1 m%5, m%3 ; %2: %2>>1-%3
  482. SWAP %2, %5
  483. SWAP %3, %4
  484. %else
  485. mova %5, m%2
  486. mova %4, m%3
  487. psra%1 m%3, 1 ; %3: %3>>1
  488. psra%1 m%2, 1 ; %2: %2>>1
  489. padd%1 m%3, %5 ; %3: %3>>1+%2
  490. psub%1 m%2, %4 ; %2: %2>>1-%3
  491. %endif
  492. %endmacro
  493. %macro DCT4_1D 5
  494. %ifnum %5
  495. SUMSUB_BADC w, %4, %1, %3, %2, %5
  496. SUMSUB_BA w, %3, %4, %5
  497. SUMSUB2_AB w, %1, %2, %5
  498. SWAP %1, %3, %4, %5, %2
  499. %else
  500. SUMSUB_BADC w, %4, %1, %3, %2
  501. SUMSUB_BA w, %3, %4
  502. mova [%5], m%2
  503. SUMSUB2_AB w, %1, [%5], %2
  504. SWAP %1, %3, %4, %2
  505. %endif
  506. %endmacro
  507. %macro IDCT4_1D 6-7
  508. %ifnum %6
  509. SUMSUBD2_AB %1, %3, %5, %7, %6
  510. ; %3: %3>>1-%5 %5: %3+%5>>1
  511. SUMSUB_BA %1, %4, %2, %7
  512. ; %4: %2+%4 %2: %2-%4
  513. SUMSUB_BADC %1, %5, %4, %3, %2, %7
  514. ; %5: %2+%4 + (%3+%5>>1)
  515. ; %4: %2+%4 - (%3+%5>>1)
  516. ; %3: %2-%4 + (%3>>1-%5)
  517. ; %2: %2-%4 - (%3>>1-%5)
  518. %else
  519. %ifidn %1, w
  520. SUMSUBD2_AB %1, %3, %5, [%6], [%6+16]
  521. %else
  522. SUMSUBD2_AB %1, %3, %5, [%6], [%6+32]
  523. %endif
  524. SUMSUB_BA %1, %4, %2
  525. SUMSUB_BADC %1, %5, %4, %3, %2
  526. %endif
  527. SWAP %2, %5, %4
  528. ; %2: %2+%4 + (%3+%5>>1) row0
  529. ; %3: %2-%4 + (%3>>1-%5) row1
  530. ; %4: %2-%4 - (%3>>1-%5) row2
  531. ; %5: %2+%4 - (%3+%5>>1) row3
  532. %endmacro
  533. %macro LOAD_DIFF 5
  534. %ifidn %3, none
  535. movh %1, %4
  536. movh %2, %5
  537. punpcklbw %1, %2
  538. punpcklbw %2, %2
  539. psubw %1, %2
  540. %else
  541. movh %1, %4
  542. punpcklbw %1, %3
  543. movh %2, %5
  544. punpcklbw %2, %3
  545. psubw %1, %2
  546. %endif
  547. %endmacro
  548. %macro STORE_DCT 6
  549. movq [%5+%6+ 0], m%1
  550. movq [%5+%6+ 8], m%2
  551. movq [%5+%6+16], m%3
  552. movq [%5+%6+24], m%4
  553. movhps [%5+%6+32], m%1
  554. movhps [%5+%6+40], m%2
  555. movhps [%5+%6+48], m%3
  556. movhps [%5+%6+56], m%4
  557. %endmacro
  558. %macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
  559. LOAD_DIFF m%1, m%5, m%7, [%8], [%9]
  560. LOAD_DIFF m%2, m%6, m%7, [%8+r1], [%9+r3]
  561. LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
  562. LOAD_DIFF m%4, m%6, m%7, [%8+r4], [%9+r5]
  563. %if %10
  564. lea %8, [%8+4*r1]
  565. lea %9, [%9+4*r3]
  566. %endif
  567. %endmacro
  568. %macro DIFFx2 6-7
  569. movh %3, %5
  570. punpcklbw %3, %4
  571. psraw %1, 6
  572. paddsw %1, %3
  573. movh %3, %6
  574. punpcklbw %3, %4
  575. psraw %2, 6
  576. paddsw %2, %3
  577. packuswb %2, %1
  578. %endmacro
  579. %macro STORE_DIFF 4
  580. movh %2, %4
  581. punpcklbw %2, %3
  582. psraw %1, 6
  583. paddsw %1, %2
  584. packuswb %1, %1
  585. movh %4, %1
  586. %endmacro
  587. %macro STORE_DIFFx2 8 ; add1, add2, reg1, reg2, zero, shift, source, stride
  588. movh %3, [%7]
  589. movh %4, [%7+%8]
  590. psraw %1, %6
  591. psraw %2, %6
  592. punpcklbw %3, %5
  593. punpcklbw %4, %5
  594. paddw %3, %1
  595. paddw %4, %2
  596. packuswb %3, %5
  597. packuswb %4, %5
  598. movh [%7], %3
  599. movh [%7+%8], %4
  600. %endmacro
  601. %macro PMINUB 3 ; dst, src, ignored
  602. %if cpuflag(mmxext)
  603. pminub %1, %2
  604. %else ; dst, src, tmp
  605. mova %3, %1
  606. psubusb %3, %2
  607. psubb %1, %3
  608. %endif
  609. %endmacro
  610. %macro SPLATW 2-3 0
  611. %if cpuflag(avx2) && %3 == 0
  612. vpbroadcastw %1, %2
  613. %elif mmsize == 16
  614. pshuflw %1, %2, (%3)*0x55
  615. punpcklqdq %1, %1
  616. %elif cpuflag(mmxext)
  617. pshufw %1, %2, (%3)*0x55
  618. %else
  619. %ifnidn %1, %2
  620. mova %1, %2
  621. %endif
  622. %if %3 & 2
  623. punpckhwd %1, %1
  624. %else
  625. punpcklwd %1, %1
  626. %endif
  627. %if %3 & 1
  628. punpckhwd %1, %1
  629. %else
  630. punpcklwd %1, %1
  631. %endif
  632. %endif
  633. %endmacro
  634. %macro SPLATD 1
  635. %if mmsize == 8
  636. punpckldq %1, %1
  637. %elif cpuflag(sse2)
  638. pshufd %1, %1, 0
  639. %elif cpuflag(sse)
  640. shufps %1, %1, 0
  641. %endif
  642. %endmacro
  643. %macro CLIPUB 3 ;(dst, min, max)
  644. pmaxub %1, %2
  645. pminub %1, %3
  646. %endmacro
  647. %macro CLIPW 3 ;(dst, min, max)
  648. pmaxsw %1, %2
  649. pminsw %1, %3
  650. %endmacro
  651. %macro PMINSD_MMX 3 ; dst, src, tmp
  652. mova %3, %2
  653. pcmpgtd %3, %1
  654. pxor %1, %2
  655. pand %1, %3
  656. pxor %1, %2
  657. %endmacro
  658. %macro PMAXSD_MMX 3 ; dst, src, tmp
  659. mova %3, %1
  660. pcmpgtd %3, %2
  661. pand %1, %3
  662. pandn %3, %2
  663. por %1, %3
  664. %endmacro
  665. %macro CLIPD_MMX 3-4 ; src/dst, min, max, tmp
  666. PMINSD_MMX %1, %3, %4
  667. PMAXSD_MMX %1, %2, %4
  668. %endmacro
  669. %macro CLIPD_SSE2 3-4 ; src/dst, min (float), max (float), unused
  670. cvtdq2ps %1, %1
  671. minps %1, %3
  672. maxps %1, %2
  673. cvtps2dq %1, %1
  674. %endmacro
  675. %macro CLIPD_SSE41 3-4 ; src/dst, min, max, unused
  676. pminsd %1, %3
  677. pmaxsd %1, %2
  678. %endmacro
  679. %macro VBROADCASTSS 2 ; dst xmm/ymm, src m32
  680. %if cpuflag(avx)
  681. vbroadcastss %1, %2
  682. %else ; sse
  683. movss %1, %2
  684. shufps %1, %1, 0
  685. %endif
  686. %endmacro
  687. %macro VBROADCASTSD 2 ; dst xmm/ymm, src m64
  688. %if cpuflag(avx) && mmsize == 32
  689. vbroadcastsd %1, %2
  690. %elif cpuflag(sse3)
  691. movddup %1, %2
  692. %else ; sse2
  693. movsd %1, %2
  694. movlhps %1, %1
  695. %endif
  696. %endmacro
  697. %macro SHUFFLE_MASK_W 8
  698. %rep 8
  699. %if %1>=0x80
  700. db %1, %1
  701. %else
  702. db %1*2
  703. db %1*2+1
  704. %endif
  705. %rotate 1
  706. %endrep
  707. %endmacro
  708. %macro PMOVSXWD 2; dst, src
  709. %if cpuflag(sse4)
  710. pmovsxwd %1, %2
  711. %else
  712. %ifnidn %1, %2
  713. mova %1, %2
  714. %endif
  715. punpcklwd %1, %1
  716. psrad %1, 16
  717. %endif
  718. %endmacro
  719. ; Wrapper for non-FMA version of fmaddps
  720. %macro FMULADD_PS 5
  721. %if cpuflag(fma3) || cpuflag(fma4)
  722. fmaddps %1, %2, %3, %4
  723. %elifidn %1, %4
  724. mulps %5, %2, %3
  725. addps %1, %4, %5
  726. %else
  727. mulps %1, %2, %3
  728. addps %1, %4
  729. %endif
  730. %endmacro
  731. %macro LSHIFT 2
  732. %if mmsize > 8
  733. pslldq %1, %2
  734. %else
  735. psllq %1, 8*(%2)
  736. %endif
  737. %endmacro
  738. %macro RSHIFT 2
  739. %if mmsize > 8
  740. psrldq %1, %2
  741. %else
  742. psrlq %1, 8*(%2)
  743. %endif
  744. %endmacro