Reproducibility là gì

Crúc thích: Nguim phiên bản bài viết này bàn về “reproducible research”, tại đây chúng tôi tạm thời dịch là “phân tích khả lặp”, có mang cầm lược về “nghiên cứu và phân tích khả lặp” là các loại nghiên cứu khoa học không những bao gồm report công dụng phân tích ngoài ra bao hàm đầy đủ các bước tiến hành, bên cạnh đó chào làng những biết tin cần thiết (dữ liệu, thuật toán thù áp dụng,…) nhằm người khác rất có thể triển khai lại nghiên cứu nhằm mục đích xác nhận tính đúng mực cùng không ngừng mở rộng nghiên cứu dựa trên nền tảng nghiên cứu và phân tích cũ. Ở đây “reproducible” tốt “reproducibility” với nghĩa có khả năng lặp lại, có chức năng triển khai lại phân tích đã được chào làng.

Bạn đang xem: Reproducibility là gì

Khoa học hiện giờ được biết sẽ lâm vào hoàn cảnh cuộc rủi ro khủng hoảng về kĩ năng tái lặp. Khả năng tái lặp có vẻ được hoan nghênh và hay là yếu tố đề xuất đối với những phân tích mang tính xã hội (chẳng hạn trên các tập san nhỏng nature hay science). Luận điểm thông thường đến xu hướng này là câu hỏi các nghiên cứu có công dụng được triển khai lại một phương pháp độc lập thì sẽ sở hữu được tính tin tưởng cao hơn nữa gần như nghiên cứu chẳng thể tiến hành lại một cách chủ quyền. Cũng bắt buộc để ý rằng nghiên cứu khả lặp không chỉ là có chân thành và ý nghĩa xác minc, hơn thế nữa nữa nó vẫn đem lại công dụng thiết thực đến bài toán không ngừng mở rộng nghiên cứu tuyệt xây cất các phân tích tương tự. Khó có thể tra cứu thấy phần đông ý kiến làm phản bác những luận điểm bên trên, tuy nhiên yêu cầu xét cho tới thực tiễn rằng với mỗi đội nghiên cứu cũng cần phải đầu tư chi tiêu một nguồn lực có sẵn nhất quyết vào việc có tác dụng cho những nghiên cứu của mình trở thành khả lặp so với các nhà nghiên cứu tự do. Chẳng hạn vấn đề tái diễn cục bộ đông đảo thí nghiệm vào phòng xem sét. Tuy nhiên cũng có không ít thay đổi thể đơn giản hơn, chẳng hạn như kĩ năng tái diễn phân tích dựa trên các bộ tài liệu đang biết.

Các một số loại nghiên cứu và phân tích khoa học khác biệt đã khác biệt về kĩ năng tái lặp. Một ví dụ là nghiên cứu và phân tích toán thù học tập, trong không ít trường hòa hợp những nghiên cứu và phân tích này cho phép việc khả lặp dựa vào đa số pmùi hương trình vào bạn dạng thảo. Một ví dụ không giống là những nghiên cứu và phân tích hiện nay ngôi trường, thường xuyên thì kết quả nhờ vào vào những yếu tố ko kiểm soát và điều hành được. Chẳng hạn việc tái lập toàn thể một nghiên cứu và phân tích về ảnh hưởng của một cơn sốt tức thì trước cùng sau khi nó xảy ra dường như là điều chẳng thể, tối thiểu xét về tính chất hiệu quả của chính nó.

Phạm vi bây giờ về năng lực tái lập sẽ ở chỗ nào kia giữa hai ví dụ mà công ty chúng tôi chỉ ra rằng sinh sống trên, cùng phạm vi này thu nhỏ nhắn tuyệt mở rộng phụ thuộc vào vào những bộ phương pháp sẵn tất cả cho các nhà nghiên cứu. Phần mềm mối cung cấp mngơi nghỉ, điện toán đám mây, lưu trữ tài liệu và vô vàn những khí cụ điện toán thù sẵn bao gồm vẫn không ngừng mở rộng phạm vi này trong bài toán chất nhận được những nghiên cứu khả lặp có thể được tiến hành trên nhiều các loại nghiên cứu hơn hai ví dụ sinh sống bên trên. Tuy nhiên, lối chơi chữ về một cuộc rủi ro của nghiên cứu và phân tích khả lặp cho thấy thêm rằng các bộ vẻ ngoài hiện nay, tuy nhiên hết sức đặc biệt quan trọng, tuy thế chưa xử lý được sự việc một biện pháp triệt để.

Bây Giờ chúng tôi sẽ thao tác làm việc trong một dự án về một phân tích bao gồm mức độ phức hợp vừa phải với một lượng tài liệu cũng vừa đề xuất (49061 dòng) và công ty chúng tôi vẫn thí điểm coi để biến đổi nó thành một phân tích khả lặp hoàn toàn thì cần được có tác dụng hầu như gì. (Nghiên cứu vớt này vấn đáp cho một câu hỏi khôn xiết 1-1 giản: loại thân gỗ chiếm tỉ lệ thành phần từng nào vào giới thực vật?). Kinh nghiệm của Shop chúng tôi trong việc cố gắng biến chuyển phân tích này biến hóa khả lặp hoàn toàn có thể có lợi mang đến các đàm luận tiếp theo sau về cách có tác dụng nắm nào nhằm các đơn vị kỹ thuật đề nghị ít thời hạn với ít yếu tố kinh nghiệm hơn công ty chúng tôi để tiến hành những nghiên cứu và phân tích khả lặp của riêng rẽ bọn họ. Nói phương pháp khác, vấn đề làm này cho biết thêm Shop chúng tôi hữu dụng tới mức làm sao trong bài toán mở rộng phạm vi khả lặp đến những một số loại nghiên cứu rộng với bằng cách đó, khiến cho khoa học ngày dần đáng tin cậy rộng.

Cuối thuộc, so với và report của Cửa Hàng chúng tôi đã có được tái lặp một bí quyết tự do với tương đối tiện lợi mang đến phần đa ai hy vọng tái lặp nghiên cứu và phân tích này, cơ mà để thực hiện được câu hỏi tái lặp ở tại mức độ này chưa phải là ko buộc phải vứt công sức. Cho phần lớn ai quyên tâm, cục bộ mã lệnh với tài liệu của Shop chúng tôi gồm sẵn ở địa chỉ này.

Có 2 phần trong Việc biến chuyển một dự án công trình trnghỉ ngơi đề xuất khả lặp: tài liệu với các so sánh sẽ triển khai. Chúng tôi cũng lưu ý rằng thực tế dự án công trình này là khả thi vì chưng mọi cách tân và phát triển vừa mới đây trong việc tàng trữ tài liệu. Công vấn đề viết một mã lệnh nhằm thiết lập tài liệu thiết yếu trường đoản cú Dryad với sẵn sàng mang lại việc đối chiếu nó tương đối là đơn giản. Tuy nhiên, điều này chỉ minh chứng một ban đầu cho thách thức: bước phân tích tài liệu bây giờ trở nên bước trở ngại nhất. Những điều ngay tiếp theo là list ngắn đều bài học kinh nghiệm rút ra tự trong thực tế thao tác của chúng tôi. Mỗi bài học kinh nghiệm cho biết thêm một thách thức Shop chúng tôi đề nghị vượt qua vào quá trình tiến hành nghiên cứu khả lặp cùng phương tiện Shop chúng tôi chọn để tuyên chiến đối đầu với thách thức kia.

Những thách thức và hình thức mang đến bài toán tái lặp

Sử dụng nguồn tài liệu tiêu chuẩn

Chúng tôi mua dữ liệu về trường đoản cú những mối cung cấp chuẩn chỉnh (Dryad và The Plant List) và chỉ còn chỉnh sửa chúng sử dụng các câu lệnh nhằm bảo đảm phần đông thay đổi bảo toàn được ngulặng vẹn tính chất của dữ liệu lúc đầu. Lợi ích của những dữ liệu msinh sống vẫn chỉ được phân biệt giả dụ bọn họ tôn trọng tính định danh của tài liệu với không tạo ra hàng ngàn bạn dạng sửa đổi chỉ khác nhau đôi chút. Điều này cũng giúp cho Việc ghi công của những fan đóng góp tài liệu. Tuy nhiên những vụ việc nhỏng những tiêu chuẩn chỉnh phân nhiều loại chưa thống tốt nhất vẫn đang là một trong những đồ dùng cản mập so với các tài liệu về sinh thái học.

Kết hòa hợp lưu ý đến và mã lệnh

Chúng tôi áp dụng gói knitr mang đến R để thực thi các phân tích theo phong cách xây dựng tất cả phân tích và lý giải. Toàn cỗ những so sánh, bao gồm hồ hết biện giải cho những hàm cốt tử hoàn toàn có thể tra cứu thấy trên trên đây. Tuy nhiên, làm việc với những đội mã lệnh dài giỏi buộc phải thời hạn đáng kể nhằm chạy vẫn đã là một trong những sự việc choáng váng.

Kết xuất các thông số kỹ thuật động

Toàn cỗ vấn đề xử lý tài liệu của Cửa Hàng chúng tôi được tiến hành bởi vì những mã lệnh, và công ty chúng tôi có thể xóa hết các thông số cổng đầu ra với sản xuất lại bọn chúng một phương pháp dễ dàng.

Xem thêm: Nên Chọn Loại Nào Giữa Cây Nước Nóng Lạnh Tiếng Anh Là Gì ? Cây Nước Nóng Lạnh Tiếng Anh Là Gì

Tự hễ lưu trữ những thành tố phú thuộc

Chúng tôi sử dụng GNU make để thống trị các thành tố dựa vào trong dự án, chỉ chuyển đổi phần đa phần phải sửa lại. Công ráng này cũng giúp cho quá trình cải tiến và phát triển dự án biến chuyển một các bước từ gói gọn.

Quản lý phiên bản

Toàn bộ mã lệnh của công ty chúng tôi được thống trị phiên bản áp dụng git từ bỏ lúc ban đầu, vấn đề đó được cho phép Shop chúng tôi kiểm soát và điều hành các phiên phiên bản cũ một bí quyết thuận lợi. Đây cũng là trung trung ương tài liệu của phần đa đồ vật Cửa Hàng chúng tôi làm. Xem bài viết này để xem sứ mệnh to lớn béo của làm chủ phiên bản cho tới quá trình phân tích.

Tự động đánh giá những thay đổi nhằm bảo vệ ko phát sinh vấn đề

Chúng tôi sử dụng môi trường hệ thống tích thích hợp liên tục (continuous integration) Travis CI để đo lường đổi khác vào so với để ngăn ngừa lỗi. Mỗi khi Cửa Hàng chúng tôi tạo thành một biến hóa, hệ thống này sở hữu mã nguồn của chúng tôi xuống bên cạnh đó với những tài liệu liên quan với chạy so sánh, với đã gửi mang lại công ty chúng tôi một thư năng lượng điện tử ví như vày nguyên do nào đấy phân tích bị lỗi. Hệ thống này thậm chí còn cài đặt lên các phiên phiên bản sẽ biên dịch của so với và ghi chú mỗi khi chạy.

Đóng gói các thành tố prúc thuộc

Chúng tôi áp dụng gói packrat mang lại R để thống trị cùng lưu trữ các gói R phụ thuộc vào để chắc chắn là khả năng khả lặp trong tương lai. Về phương diện triết lý, điều này nghĩa là nếu như phiên bạn dạng của gói ứng dụng kia biến hóa nhiều đến nấc tạo ra lỗi vào mã lệnh của chúng tôi thì Shop chúng tôi đã gồm sẵn một phiên bản tàng trữ có thể áp dụng được. Đây là một trong những quy định bắt đầu, công ty chúng tôi chưa xác thực được nó gồm chuyển động hay là không.

Những thử thách còn quăng quật ngỏ

Chúng tôi nhận thấy rằng bài toán thay đổi những phân tích đang chuyển động từ bỏ máy tính của người này (với số đông cấu hình thiết lập cá thể mang lại máy tính của họ) thanh lịch người khác là một việc trở ngại. Ví dụ nhỏng sự việc này. Thật khó khăn để tham dự đoán thù được đa số nguyên nhân dẫn tới không đúng sót: trong quá trình tái lặp nghiên cứu và phân tích này vì Carl Boettiger một sự việc đã tạo ra vì vấn đề không triển khai xong tư liệu về những phiên phiên bản gói cung cấp R quan trọng.Gói mã lệnh xúc tiến những công việc bên trên là tương đương về form size Khi thực hiện so sánh vào thực tế; đây là một thử thách thiệt sự cho các đơn vị phân tích. Việc áp dụng nhiều ngữ điệu cùng framework khác nhau làm cho ngày càng tăng hưởng thụ về những mảng kỹ năng và kiến thức mang ý nghĩa kỹ năng rộng, cũng như năng lực xẩy ra các sự việc sẽ tăng thêm. Càng tự động hóa hóa quy trình này thì các nghiên cứu và phân tích khả lặp vẫn càng trở đề nghị thịnh hành.

Pmùi hương pháp tiếp cận sử dụng hệ thống tích vừa lòng liên tục tất cả tiềm năng lớn giúp cho việc cai quản những dự án nghiên cứu và phân tích dựa trên công nghệ năng lượng điện toán trsinh hoạt yêu cầu thuận lợi rộng. Tuy nhiên, mặc dù so với của Shop chúng tôi mang ý nghĩa cơ chế nhiều hơn thế nữa là áp dụng thực tế, nó sẽ bị số lượng giới hạn làm việc các mặt: đòi hỏi dự án công trình đề xuất là mối cung cấp msống, đối chiếu bắt buộc chạy tương đối nhanh (bên dưới 1 giờ). Những số lượng giới hạn này là phải chăng so với những hình thức miễn chi phí nhưng nó sẽ không thể đáp ứng được những dự án phân tích áp dụng những đọc tin “nhạy cảm cảm” cùng các tính tân oán rất có thể kéo dãn dài những giờ đồng hồ hay những ngày.

Chúng tôi nhận biết phương châm khả lặp mang đến dự án đã trở thành một ví dụ có ích, và nó đang trở thành nền tảng gốc rễ cho những dự án tiếp sau. Tuy nhiên, quy trình này vẫn trngơi nghỉ đề nghị thức tạp rộng nhiều, làm cho vấn đề hướng dẫn cho người không giống phương pháp để khiến cho dự án công trình của mình trngơi nghỉ nên tái lặp không dễ dàng chỉ qua lời nói.Chúng ta rất cần được cải cách và phát triển phần nhiều quy định, tối thiểu cần dễ sử dụng nlỗi cai quản phiên phiên bản trước lúc bọn họ mong mỏi ngóng câu hỏi tái lặp dự án biến một xu hướng chung.Chúng tôi ko phản bội bác bỏ chủ ý của Titus Brown về Việc tái lặp một phần thì xuất sắc hơn là ko tái lặp gì cả (một nửa số bạn tạo nên công việc của mình có công dụng tái lặp 1/2 dường như giỏi rộng 5% số người làm cho côgn câu hỏi của mình có khả năng tái lặp 100%!). Tuy nhiên, Shop chúng tôi ko đồng tình với ý kiến của Titus nhận định rằng hầu như điều khoản mới là không cần thiết. Những nguyên tắc ngày nay là rất cổ hủ cùng nhiều đến mức khó mong chờ các đơn vị khoa học áp dụng trên diện rộng xu hướng tái lặp vì mục tiêu bao gồm của họ không hẳn nhằm tái lặp. Nếu cho rằng vấn đề tái lặp là không thu hút, họ cấp thiết mong đợi fan không giống vứt thời hạn với sức lực lao động của họ ra nhằm góp sức mang đến cộng đồng phần nhiều sản phẩm công nghệ giỏi rất đẹp.

Những nỗ lực cố gắng không giống cho mục tiêu dễ dàng và đơn giản là triển khai lại nghiên cứu tại 1 máy vi tính không giống cũng ko khả thi rộng cố gắng nỗ lực của Shop chúng tôi là bao. Một phân tích của nhóm UBC Reproducibility cho biết bọn họ cấp thiết tái lặp hiệu quả của 30% hầu hết phân tích được chào làng thực hiện gói hỗ trợ phổ biến STRUCTURE, với cùng tài liệu được cung ứng vì người sáng tác. Một trường vừa lòng xứng đáng ảm đạm rộng, một nhóm nghiên cứu và phân tích trên đại học Arizona cho biết thêm bọn họ chỉ rất có thể build được khoảng chừng 1/2 số phần mềm nguồn mngơi nghỉ mà họ hoàn toàn có thể cài đặt xuống cơ mà chưa xét cho tới vấn đề soát sổ tác dụng của ứng dụng (để ý rằng nghiên cứu và phân tích này bây chừ đã làm được tái lặp!).

Xem thêm: Download Tải Game Hà Lạc Quần Hiệp Truyện, Tải Hà Lạc Quần Hiệp Truyện Việt Hóa

Quá trình làm cho nghiên cứu của công ty chúng tôi trlàm việc phải khả lặp cho biết họ chỉ sẽ tiến được đa số bước nhỏ tuổi trong Việc khiến cho nghiên cứu khả lặp trsinh hoạt cần thông dụng đối với các công ty công nghệ trong thực tiễn.


Chuyên mục: Công Nghệ 4.0