Trong kỹ xảo điện ảnh, di chuyển khớp là một kỹ thuật điện ảnh cho phép đưa đồ họa máy tính vào các cảnh quay trực tiếp với vị trí, tỷ lệ, định hướng và chuyển động chính xác so với các đối tượng được chụp trong ảnh. Thuật ngữ này được sử dụng một cách lỏng lẻo để mô tả một số phương pháp khác nhau để trích xuất thông tin chuyển động của máy ảnh từ một hình ảnh chuyển động. Đôi khi được gọi là theo dõi chuyển động hoặc giải quyết camera di chuyển khớp có liên quan đến rotoscoping và chụp ảnh. Di chuyển khớp đôi khi bị nhầm lẫn với chụp chuyển động, ghi lại chuyển động của các vật thể, thường là các tác nhân của con người, thay vì máy ảnh. Thông thường, chụp chuyển động đòi hỏi máy ảnh và cảm biến đặc biệt và môi trường được kiểm soát (mặc dù các phát triển gần đây như máy ảnh Kinect và FaceID của Apple đã bắt đầu thay đổi điều này). Di chuyển khớp cũng khác với chụp ảnh điều khiển chuyển động, sử dụng phần cứng cơ học để thực hiện nhiều chuyển động camera giống hệt nhau. Ngược lại, di chuyển khớp thường là một công nghệ dựa trên phần mềm, được áp dụng sau khi thực tế cho các cảnh quay bình thường được ghi lại trong môi trường không được kiểm soát với một máy ảnh thông thường.
Di chuyển đối sánh chủ yếu được sử dụng để theo dõi chuyển động của máy ảnh thông qua một cảnh quay để di chuyển máy ảnh ảo giống hệt nhau có thể được sao chép trong chương trình hoạt hình 3D. Khi các yếu tố hoạt hình mới được kết hợp lại vào cảnh quay trực tiếp ban đầu, chúng sẽ xuất hiện trong phối cảnh hoàn hảo và do đó xuất hiện liền mạch.
Vì chủ yếu dựa trên phần mềm, di chuyển khớp ngày càng trở nên hợp lý vì chi phí cho sức mạnh máy tính đã giảm; bây giờ nó là một công cụ hiệu ứng hình ảnh đã được thiết lập và thậm chí còn được sử dụng trong các chương trình phát sóng truyền hình trực tiếp như là một phần của việc cung cấp các hiệu ứng như tuyến dưới ảo màu vàng trong bóng đá Mỹ.
Nguyên tắc [ chỉnh sửa ]
Quá trình di chuyển trận đấu có thể được chia thành hai bước.
Theo dõi [ chỉnh sửa ]
Bước đầu tiên là xác định và theo dõi các tính năng. Tính năng là một điểm cụ thể trong hình ảnh mà thuật toán theo dõi có thể khóa và theo dõi qua nhiều khung hình (SynthEyes gọi chúng là blips ). Các tính năng thường được chọn vì chúng là các điểm sáng / tối, cạnh hoặc góc tùy thuộc vào thuật toán theo dõi cụ thể. Các chương trình phổ biến sử dụng khớp mẫu dựa trên điểm NCC và lỗi RMS. Điều quan trọng là mỗi tính năng thể hiện một điểm cụ thể trên bề mặt của một vật thể thực. Khi một tính năng được theo dõi, nó trở thành một chuỗi các tọa độ hai chiều đại diện cho vị trí của đối tượng địa lý trên một loạt các khung. Loạt bài này được gọi là một "theo dõi". Khi các bản nhạc đã được tạo, chúng có thể được sử dụng ngay lập tức để theo dõi chuyển động 2D hoặc sau đó được sử dụng để tính toán thông tin 3D.
Hiệu chỉnh [ chỉnh sửa ]
Bước thứ hai liên quan đến việc giải quyết chuyển động 3D. Quá trình này cố gắng lấy được chuyển động của máy ảnh bằng cách giải quyết phép chiếu ngược của các đường dẫn 2D cho vị trí của máy ảnh. Quá trình này được gọi là hiệu chuẩn.
Khi một điểm trên bề mặt của vật thể ba chiều được chụp ảnh, vị trí của nó trong khung 2D có thể được tính bằng chức năng chiếu 3D. Chúng ta có thể coi máy ảnh là một bản tóm tắt chứa tất cả các thông số cần thiết để mô hình hóa máy ảnh trong thế giới thực hoặc ảo. Do đó, máy ảnh là một vectơ bao gồm các yếu tố của nó là vị trí của máy ảnh, hướng của nó, độ dài tiêu cự và các thông số có thể khác xác định cách máy ảnh tập trung ánh sáng vào mặt phẳng phim. Chính xác cách thức vectơ này được xây dựng không quan trọng miễn là có chức năng chiếu tương thích P .
Chức năng trình chiếu P lấy đầu vào là một vectơ máy ảnh (ký hiệu là máy ảnh ) và một vectơ khác vị trí của một điểm 3D trong không gian (ký hiệu là xyz ) và trả về một điểm 2D đã được chiếu lên một mặt phẳng trước máy ảnh (ký hiệu là XY ). Chúng ta có thể bày tỏ điều này:
- XY = P ( máy ảnh xyz )
Hàm chiếu biến đổi điểm 3D và loại bỏ thành phần chiều sâu. Không biết độ sâu của thành phần, chức năng chiếu ngược chỉ có thể trả về một tập hợp các điểm 3D có thể, tạo thành một đường phát ra từ điểm nút của ống kính máy ảnh và đi qua điểm 2D được chiếu. Chúng ta có thể biểu thị phép chiếu ngược như sau:
- xyz ∈ P '( máy ảnh XY )
hoặc
- { xyz : P ( máy ảnh xyz ) = XY }
Hãy nói rằng chúng ta đang ở trong một tình huống các tính năng chúng tôi đang theo dõi nằm trên bề mặt của một vật thể cứng nhắc như tòa nhà. Vì chúng ta biết rằng điểm thực xyz sẽ vẫn ở cùng một vị trí trong không gian thực từ khung hình này sang khung hình tiếp theo, chúng ta có thể biến điểm đó thành một hằng số mặc dù chúng ta không biết nó ở đâu. Vì thế:
- xyz i = xyz j
trong đó các chỉ số i đề cập đến các khung tùy ý trong ảnh chúng tôi đang phân tích. Vì điều này luôn luôn đúng nên chúng ta biết rằng:
- P '( máy ảnh i XY i ) P' ( máy ảnh j XY j ) ≠ {}
Bởi vì giá trị của XY i đã được xác định cho tất cả các khung rằng tính năng này được theo dõi bởi chương trình theo dõi, chúng ta có thể giải quyết chức năng chiếu ngược giữa hai khung hình miễn là máy ảnh P '( i XY i ) P '( máy ảnh j XY j ) là một bộ nhỏ. Tập hợp các vectơ có thể của máy ảnh giải phương trình tại i và j (ký hiệu là C ij ).
- C ij = {( máy ảnh i máy ảnh j ): P ' ] máy ảnh i XY i ) P '( máy ảnh j XY j ) {})
Vì vậy, có một tập hợp các cặp vectơ máy ảnh C ij trong đó giao điểm của các hình chiếu ngược của hai điểm XY i và XY j là một sản phẩm không trống rỗng, hy vọng nhỏ, đặt chính giữa vào một điểm dừng lý thuyết xyz .
Nói cách khác, hãy tưởng tượng một điểm đen trôi nổi trong khoảng trống trắng và máy ảnh. Đối với bất kỳ vị trí nào trong không gian mà chúng ta đặt máy ảnh, có một tập hợp các tham số tương ứng (hướng, độ dài tiêu cự, v.v.) sẽ chụp ảnh điểm đen đó chính xác theo cùng một cách. Vì C có số lượng thành viên vô hạn, một điểm không bao giờ là đủ để xác định vị trí máy ảnh thực tế.
Khi chúng tôi bắt đầu thêm các điểm theo dõi, chúng tôi có thể thu hẹp các vị trí camera có thể. Ví dụ: nếu chúng ta có một tập hợp các điểm { xyz i, 0 …, xyz i, n } và { xyz j, 0 …, xyz j, n } trong đó tôi và j vẫn đề cập đến khung và n là một chỉ mục cho một trong nhiều điểm theo dõi chúng tôi đang theo dõi. Chúng ta có thể rút ra một tập hợp các cặp vectơ máy ảnh {C i, j, 0 …, C i, j, n }.
Bằng cách này, nhiều bản nhạc cho phép chúng tôi thu hẹp các thông số camera có thể. Tập hợp các tham số camera có thể phù hợp, F, là giao điểm của tất cả các bộ:
- F = C i, j, 0 ∩ … C i, j, n
Càng ít yếu tố trong tập hợp này chúng ta càng có thể đến gần hơn trích xuất các thông số thực tế của máy ảnh. Trong các lỗi thực tế được đưa vào quy trình theo dõi đòi hỏi một cách tiếp cận thống kê hơn để xác định một vectơ camera tốt cho mỗi khung hình, các thuật toán tối ưu hóa và điều chỉnh khối bó thường được sử dụng. Thật không may, có rất nhiều yếu tố cho một vectơ máy ảnh mà khi mọi tham số đều miễn phí, chúng ta vẫn không thể thu hẹp F xuống một khả năng duy nhất cho dù chúng ta có theo dõi bao nhiêu tính năng. Chúng ta càng có thể hạn chế các tham số khác nhau, đặc biệt là độ dài tiêu cự, càng dễ xác định giải pháp.
Trong tất cả, quy trình giải quyết 3D là quá trình thu hẹp các giải pháp khả thi cho chuyển động của máy ảnh cho đến khi chúng tôi đạt được một giải pháp phù hợp với nhu cầu của hỗn hợp mà chúng tôi đang cố gắng tạo ra.
Phép chiếu đám mây điểm [ chỉnh sửa ]
Khi vị trí máy ảnh đã được xác định cho mọi khung hình, sau đó có thể ước tính vị trí của từng đối tượng trong không gian thực bằng phép chiếu ngược. Tập hợp các điểm kết quả thường được gọi là đám mây điểm vì hình dạng thô của nó giống như một tinh vân. Vì các đám mây điểm thường tiết lộ một số hình dạng của cảnh 3D, chúng có thể được sử dụng làm tài liệu tham khảo cho việc đặt các vật thể tổng hợp hoặc bằng chương trình tái tạo để tạo phiên bản 3D của cảnh thực tế.
Xác định mặt phẳng mặt đất [ chỉnh sửa ]
Máy ảnh và đám mây điểm cần được định hướng trong một loại không gian. Do đó, một khi hiệu chuẩn hoàn tất, cần xác định mặt phẳng mặt đất. Thông thường, đây là mặt phẳng đơn vị xác định tỷ lệ, định hướng và nguồn gốc của không gian chiếu. Một số chương trình cố gắng thực hiện điều này tự động, mặc dù người dùng thường định nghĩa mặt phẳng này thường xuyên hơn. Vì các mặt phẳng dịch chuyển thực hiện một phép biến đổi đơn giản của tất cả các điểm, vị trí thực tế của mặt phẳng thực sự là một vấn đề thuận tiện.
Tái thiết [ chỉnh sửa ]
Tái thiết là quá trình tương tác tái tạo một đối tượng được chụp bằng dữ liệu theo dõi. Kỹ thuật này có liên quan đến chụp ảnh. Trong trường hợp cụ thể này, chúng tôi đề cập đến việc sử dụng phần mềm di chuyển khớp để dựng lại cảnh từ các cảnh quay ngẫu nhiên.
Một chương trình tái tạo có thể tạo ra các vật thể ba chiều bắt chước các vật thể thật từ cảnh được chụp. Sử dụng dữ liệu từ đám mây điểm và ước tính của người dùng, chương trình có thể tạo một đối tượng ảo và sau đó trích xuất một kết cấu từ các cảnh quay có thể được chiếu lên đối tượng ảo dưới dạng kết cấu bề mặt.
2D so với 3D [ chỉnh sửa ]
Di chuyển khớp có hai hình thức. Một số chương trình tổng hợp, chẳng hạn như Shake, Adobe After Effects và Discreet Combasing, bao gồm các khả năng theo dõi chuyển động hai chiều
[1959016] . Di chuyển hai chiều chỉ di chuyển theo dõi các tính năng trong không gian hai chiều, mà không liên quan đến chuyển động của máy ảnh hoặc biến dạng. Nó có thể được sử dụng để thêm hiệu ứng làm mờ chuyển động hoặc ổn định hình ảnh cho các cảnh quay. Kỹ thuật này là đủ để tạo hiệu ứng thực tế khi cảnh quay gốc không bao gồm những thay đổi lớn trong phối cảnh camera. Ví dụ, một bảng quảng cáo nằm sâu trong nền của bức ảnh thường có thể được thay thế bằng cách sử dụng theo dõi hai chiều.
Công cụ di chuyển khớp ba chiều cho phép ngoại suy thông tin ba chiều từ chụp ảnh hai chiều. Những công cụ này cho phép người dùng lấy được chuyển động của camera và chuyển động tương đối khác từ các cảnh quay tùy ý. Thông tin theo dõi có thể được chuyển sang phần mềm đồ họa máy tính và được sử dụng để làm động các camera ảo và các đối tượng mô phỏng. Các chương trình có khả năng di chuyển khớp 3D bao gồm:
- 3DEqualizer từ Science.D.Vutions (đã giành được giải thưởng Hàn lâm về thành tựu kỹ thuật) [1]
- Blender (mã nguồn mở; sử dụng libmv)
- Voodoo
- ACTS theo dõi camera tự động với hệ thống phục hồi độ sâu dày đặc để xử lý Trình tự hình ảnh / video
- LS-ACTS một hệ thống chuyển động cấu trúc mạnh mẽ và hiệu quả, có thể xử lý các bộ dữ liệu chuỗi hình ảnh / video lớn trong thời gian thực và hoạt động mạnh mẽ trong các trường hợp đầy thách thức (ví dụ như trình tự lặp lại và nhiều trình tự) [19659161] VISCODA VooCAT
- Icarus (dự án nghiên cứu của Đại học Manchester, hiện đã ngừng nhưng vẫn phổ biến)
- Maya MatchMover
- Pixel Farm PFTrack, PFMatchit, PFHoe (dựa trên thuật toán PFTrack) 19659161] Boujou (đã giành giải thưởng Emmy năm 2002)
- NukeX từ The Foundry
- fayIN một plugin cho Adobe After Effects từ fayteq
- CameraTracker (một plugin cho Adobe After Effects)
- Vid eoTrace từ Punchcard (phần mềm tạo mô hình 3D từ video và hình ảnh)
- IXIR 2D Track Editor Nó có khả năng theo dõi 2D và các tệp Mặt nạ của phần mềm như 3D Equalizer, PFTrack, Boujou, SynthEyes, Matchmover, Movimento, Nuke, Shake, Fusion, After Effects, Combburn, Mocha, Silhouette
- mocha Pro từ Imagineer Systems, tiện ích dựa trên Planar Tracker để sản xuất bài đăng
Tự động so với theo dõi tương tác [ chỉnh sửa ]
Có hai phương pháp mà thông tin chuyển động có thể được trích xuất từ một hình ảnh. Theo dõi tương tác, đôi khi được gọi là "theo dõi có giám sát", dựa vào người dùng để theo dõi các tính năng thông qua một cảnh. Theo dõi tự động dựa trên các thuật toán máy tính để xác định và theo dõi các tính năng thông qua một shot. Các chuyển động điểm được theo dõi sau đó được sử dụng để tính toán "giải pháp". Giải pháp này bao gồm tất cả các thông tin của máy ảnh như chuyển động, tiêu cự và méo ống kính.
Ưu điểm của theo dõi tự động là máy tính có thể tạo ra nhiều điểm nhanh hơn so với con người. Một số lượng lớn các điểm có thể được phân tích với số liệu thống kê để xác định dữ liệu đáng tin cậy nhất. Nhược điểm của theo dõi tự động là tùy thuộc vào thuật toán, máy tính có thể dễ bị nhầm lẫn khi theo dõi các đối tượng thông qua cảnh. Các phương pháp theo dõi tự động đặc biệt không hiệu quả trong các bức ảnh liên quan đến chuyển động của camera nhanh như nhìn thấy với máy ảnh cầm tay và trong các bức ảnh với chủ đề lặp đi lặp lại như gạch nhỏ hoặc bất kỳ kiểu mẫu thông thường nào trong đó một khu vực không khác biệt lắm. Phương pháp theo dõi này cũng bị ảnh hưởng khi một ảnh có chứa một lượng lớn chuyển động mờ, làm cho các chi tiết nhỏ cần phân biệt khó hơn.
Ưu điểm của theo dõi tương tác là người dùng có thể theo dõi các tính năng thông qua toàn bộ cảnh và sẽ không bị nhầm lẫn bởi các tính năng không cứng nhắc. Người dùng cũng có thể xác định vị trí của các tính năng trong ảnh bị mờ do chuyển động; cực kỳ khó khăn cho một trình theo dõi tự động để tìm chính xác các tính năng có độ mờ chuyển động cao. Nhược điểm của theo dõi tương tác là người dùng chắc chắn sẽ đưa ra các lỗi nhỏ khi họ theo dõi các đối tượng qua cảnh, điều này có thể dẫn đến cái được gọi là "trôi".
Theo dõi chuyển động cấp chuyên nghiệp thường đạt được bằng cách sử dụng kết hợp các kỹ thuật tương tác và tự động. Một nghệ sĩ có thể loại bỏ các điểm rõ ràng dị thường và sử dụng "thảm theo dõi" để chặn thông tin khó hiểu ra khỏi quy trình theo dõi tự động. Thảm theo dõi cũng được sử dụng để bao phủ các khu vực của cảnh quay có chứa các yếu tố chuyển động như diễn viên hoặc quạt trần quay.
mattes theo dõi [ chỉnh sửa ]
Một mờ theo dõi là khái niệm tương tự như mờ rác được sử dụng trong tổng hợp mờ đi du lịch. Tuy nhiên, mục đích của việc theo dõi mờ là để ngăn các thuật toán theo dõi sử dụng các điểm theo dõi không đáng tin cậy, không liên quan hoặc không cứng nhắc. Ví dụ, trong một cảnh mà diễn viên đi trước nền, nghệ sĩ theo dõi sẽ chỉ muốn sử dụng nền để theo dõi máy ảnh qua cảnh đó, biết rằng chuyển động của diễn viên sẽ bỏ qua các tính toán. Trong trường hợp này, nghệ sĩ sẽ xây dựng một mờ theo dõi để theo dõi diễn viên thông qua cảnh đó, chặn thông tin đó khỏi quá trình theo dõi.
Tinh chỉnh [ chỉnh sửa ]
Vì thường có nhiều giải pháp khả thi cho quy trình hiệu chuẩn và có thể tích lũy một lượng lỗi đáng kể, bước cuối cùng để di chuyển thường liên quan đến việc tinh chỉnh giải pháp bằng tay. Điều này có thể có nghĩa là thay đổi chính chuyển động của máy ảnh hoặc đưa ra gợi ý cho cơ chế hiệu chỉnh. Hiệu chuẩn tương tác này được gọi là "tinh chỉnh".
Hầu hết các ứng dụng di chuyển khớp đều dựa trên các thuật toán tương tự để theo dõi và hiệu chuẩn. Thông thường, kết quả ban đầu thu được là tương tự nhau. Tuy nhiên, mỗi chương trình có khả năng tinh chế khác nhau.
Thời gian thực [ chỉnh sửa ]
Theo dõi máy ảnh theo thời gian thực đang được sử dụng rộng rãi hơn trong sản xuất phim truyện để cho phép các yếu tố sẽ được đưa vào hậu kỳ hình dung trực tiếp trên thiết lập. Điều này có lợi ích là giúp đạo diễn và diễn viên cải thiện các màn trình diễn bằng cách thực sự thấy các phần mở rộng đã đặt hoặc các ký tự CGI trong khi (hoặc ngay sau đó) họ thực hiện. Họ không còn cần phải thực hiện với màn hình xanh / xanh và không có phản hồi về kết quả cuối cùng. Các tham chiếu mắt, định vị diễn viên và tương tác CGI giờ đây có thể được thực hiện trực tiếp trên thiết lập cho mọi người tự tin rằng cảnh quay là chính xác và sẽ hoạt động trong hỗn hợp cuối cùng.
Để đạt được điều này, một số thành phần từ phần cứng đến phần mềm cần phải được kết hợp. Phần mềm thu thập tất cả 6 độ chuyển động tự do của máy ảnh cũng như siêu dữ liệu như zoom, tiêu cự, mống mắt và các yếu tố màn trập từ nhiều loại thiết bị phần cứng khác nhau, từ các hệ thống chụp chuyển động như hệ thống dựa trên đèn LED hoạt động từ PhaseSpace, các hệ thống thụ động như Phân tích chuyển động hoặc Vicon, cho các bộ mã hóa quay được trang bị cho cần cẩu và búp bê máy ảnh như Technocranes và Fisher Dollies, hoặc các cảm biến quán tính và con quay được gắn trực tiếp vào máy ảnh. Ngoài ra còn có các hệ thống theo dõi dựa trên laser có thể được gắn vào bất cứ thứ gì, kể cả Steadicams, để theo dõi các camera bên ngoài trong mưa ở khoảng cách lên đến 30 mét.
Camera điều khiển chuyển động cũng có thể được sử dụng làm nguồn hoặc đích cho dữ liệu camera 3D. Di chuyển máy ảnh có thể được hiển thị trước trước và sau đó được chuyển đổi thành dữ liệu điều khiển chuyển động điều khiển một cần trục máy ảnh dọc theo đường dẫn chính xác như máy ảnh 3D. Bộ mã hóa trên cần trục cũng có thể được sử dụng trong thời gian thực được cài đặt để đảo ngược quá trình này để tạo ra các camera 3D trực tiếp. Dữ liệu có thể được gửi đến bất kỳ số lượng ứng dụng 3D khác nhau, cho phép các nghệ sĩ 3D sửa đổi các yếu tố CGI của họ cũng được cài đặt. Ưu điểm chính là đặt ra các vấn đề thiết kế sẽ gây tốn thời gian và các vấn đề tốn kém sau khi xuống dòng có thể được sắp xếp trong quá trình quay, đảm bảo các diễn viên "phù hợp" trong từng môi trường cho mỗi cảnh quay trong khi họ thực hiện.
Các hệ thống chụp chuyển động thời gian thực cũng có thể được trộn lẫn trong luồng dữ liệu máy ảnh cho phép các ký tự ảo được chèn vào các bức ảnh trực tiếp trên thiết bị. Điều này cải thiện đáng kể sự tương tác giữa các nhân vật điều khiển MoCap thực và không thực vì cả hai màn trình diễn CG và CG đều có thể được biên đạo cùng nhau.
Xem thêm [ chỉnh sửa ]
Tài liệu tham khảo [ chỉnh sửa ]
Liên kết ngoài [