Aku telah datang ke dalam konflik dengan co-penulis ketika diminta untuk melakukan hal-hal yang saya anggap akan dipertanyakan.
Setelah saya diberitahu untuk mencoba setiap kemungkinan spesifikasi dari variabel dependen (jumlah, proporsi, indikator biner, anda nama itu) dalam regresi sampai aku menemukan hubungan yang signifikan. Itu saja, tidak ada pembenaran untuk memilih salah satu spesifikasi di atas yang lain selain menemukan makna. Terkenal ekspedisi memancing untuk starfish (juga dikenal sebagai P-Hacking).
Di lain kesempatan, saya diminta untuk menulis ulang teori bagian dari kertas untuk mencerminkan temuan insidental dari analisis kami, sehingga muncul seolah-olah kita mengajukan pertanyaan tentang temuan insidental dan telah datang dengan didukung hipotesis a priori. Terkenal hypothesising setelah hasilnya diketahui (Harking).
Dalam kedua kasus, saya menolak untuk mematuhi dan menjelaskan alasan saya, apa yang menyebabkan konflik dengan pihak lain. Saya mencoba yang terbaik untuk tidak terdengar menuduh (untuk tidak memberikan kesan bahwa saya meragukan etika dari pihak lain), tetapi meskipun demikian menyebabkan gesekan dan memburuknya hubungan kerja. Dalam argumen panjang yang diikuti, saya diberitahu bahwa 'ilmu sosial tidak dilakukan seperti ilmu-ilmu alam,' dan bahwa aku adalah 'terlalu kaku,' 'terlalu positivis,' dan semua orang yang melakukan hal-hal ini yang saya sedang diminta untuk melakukan. Argumen memuncak dengan saya diminta untuk 'berhenti menghalangi kemajuan dari kertas,' apa yang membuat saya merasa sangat frustrasi.
Sejak itu saya telah melihat beberapa kasus-kasus dari apa yang saya kira ini jenis penelitian praktek. Misalnya, mahasiswa PhD yang datang ke saya untuk bertanya tentang apa yang mereka harus berubah dalam model mereka sehingga hasil mereka keluar signifikan, dan orang-orang yang bekerja di laboratorium komputer seperti saya yang meminta saya untuk jenis yang sama membantu.
Saya menganggap ini hal serius yang patut dipertanyakan dari sudut pandang etika, dan ingin dapat menentang mereka secara efektif. Namun, pihak-pihak lain yang biasanya dialami para peneliti atau mahasiswa di bawah pengawasan seorang peneliti berpengalaman. Sebagai seorang peneliti muda, saya merasa bahwa saya'm pada posisi yang kurang menguntungkan ketika berdebat melawan. Hal ini sering terjadi bahwa saya'm berdebat terhadap instruksi dari seseorang yang memiliki lebih banyak pengalaman, publikasi, dan, konon, pengetahuan dari yang saya lakukan.
Ini adalah salah satu dari kasus-kasus di mana kita bisa't berbuat banyak tetapi cobalah untuk menjadi yang 'perubahan yang kita inginkan untuk membawa tentang,' shud itu, dan hanya memastikan bahwa kita melakukan hal yang benar dengan diri kita sendiri? Kita harus berbicara lebih sering? Jika demikian, apapun strategi yang baik untuk menjadi lebih efektif dan meyakinkan?
p.s. Tag adalah ilmu sosial karena bidang saya, tetapi saya rasa bahwa hal ini terjadi di daerah lain juga, dan saya menyambut baik masukan dari bidang lain.
EDIT 1: Dalam contoh 2), pada saat tidak ada siapa pun menyarankan bahwa kami akan mengkonfirmasi hipotesis baru dalam set data baru. Tujuannya adalah untuk berpura-pura bahwa kita sudah benar dari awal, yang adalah mengapa saya keberatan.
EDIT 2: Hanya untuk membuat jelas. Saya menyadari cara yang tepat untuk melakukan hal-hal ini (yaitu validasi silang, confirmatory analisis dalam dataset baru, menghukum untuk beberapa pengujian statistik, dll.). Ini adalah pertanyaan tentang bagaimana untuk berpendapat bahwa p-hacking dan harking tidak cara untuk pergi.
EDIT 3: aku tidak mengetahui kuat konotasi dari kata kesalahan. Saya telah diedit dan diganti dengan 'dipertanyakan praktek riset'
Hal semacam ini terjadi baik dalam ilmu-ilmu sosial, DAN ilmu-ilmu fisik. Misalnya, sering seorang ilmuwan akan mengumpulkan data untuk menguji teori, tetapi juga akan mengumpulkan banyak data asing. Analisis ini data asing sering harus dipertimbangkan eksplorasi dan label seperti itu (karena hasil yang signifikan dapat terjadi karena beberapa tes) [Sebagai contoh lain, anda don't ingin tahu seberapa sering kimiawan ulangi percobaan sampai mereka mendapatkan hasil yang baik, kemudian berhenti dan melaporkan bahwa hasil tanpa menyebutkan bahwa itu adalah yang terbaik dalam 20 percobaan!]
Solusi tercepat adalah untuk setuju untuk melakukan beberapa analisis, tapi kemudian memberitahu apa yang anda lakukan dalam bagian metodologi. Jika anda mengatakan bahwa anda menganalisis beberapa cara dan salah satu cara menunjukkan signifikansi, pembaca dapat memutuskan apakah atau tidak percaya hasilnya. Hanya memberitahu anda co-penulis yang tidak menyebutkan bahwa anda melakukan beberapa analisis meninggalkan penelitian tidak dijelaskan.
Namun, anda dapat (kadang-kadang) menyimpan hari. Jika, misalnya, anda melakukan 10 analisis yang berbeda dan memilih salah satu yang terbaik, anda'll be ok jika hasil yang akan terus di bawah koreksi Bonferroni (yaitu bukan membutuhkan signifikansi pada level 0,05, anda memerlukan signifikansi di atas 0.05/#tes tingkat). Sehingga tes akhir menunjukkan nilai p-value seperti 0.000001, anda mungkin berada di dasar aman.
Pendekatan lain adalah untuk memperoleh memutuskan bahwa beberapa tes yang jelas (confirmatory) dan beberapa hanya mencari seluruh data (eksplorasi). Kemudian anda dapat menunjukkan konfirmasi hasil, sedangkan pelabelan sesuatu yang menarik di antara 'eksplorasi' hasil sebagai 'perlu penelitian lebih lanjut'. Artinya, anda dapat mencampur beralasan tes dengan 'data pengerukan' asalkan anda mengetahui perbedaan antara dua set tes.
Tapi jika isn't mungkin untuk menyelamatkan hasilnya, saya'd pergi dengan bersikeras bahwa mereka menggambarkan apa yang mereka lakukan, dengan komentar bahwa jika mereka malu untuk menggambarkan hal itu, mereka seharusnya't telah melakukan itu. :)
Anda bisa juga menambahkan bahwa hal ini sering jelas (setidaknya untuk statistik) bahwa peneliti telah ditarik trik ini. Ketika kita melihat sebuah tes di isolasi itu tidak akan terjadi kepada kita untuk menjadi jelas pendekatan, atau hipotesis yang kita'a tidak memilih apriori, itu terlihat mencurigakan. Misalnya, saya baru saja membaca sebuah kertas yang menyatakan bahwa kelompok tertentu dari orang-orang yang cenderung untuk bunuh diri lebih sering jika mereka LAHIR di musim Semi. Sudah jelas bahwa HANYA menguji pengaruh dari kelahiran di musim Semi itu bukan sesuatu yang akan terjadi pada siapa saja, tanpa pengujian efek dari kelahiran di musim lainnya. Jadi mereka mungkin memiliki palsu hasil karena untuk beberapa perbandingan.
Ini adalah pertanyaan yang sangat bagus. Saya pikir anda (dan orang lain dalam situasi yang sama) harus berbicara, tapi saya menyadari bahwa ini adalah sangat sulit untuk dilakukan. Dua hal yang saya'd sarankan:
Cobalah untuk mencari tahu apakah orang yang anda're berurusan dengan memahami bahwa metode mereka're mengusulkan (p-hacking, dll.) yang cerdik atau tidak-yaitu apakah itu's merupakan masalah etika atau ketidaktahuan. Ini lebih sulit dari kelihatannya, karena saya pikir banyak orang yang benar-benar don't memahami bagaimana mudahnya untuk menemukan pola-pola dalam kebisingan, dan bagaimana "peneliti derajat kebebasan" membuat palsu pola mudah untuk menghasilkan. Meminta orang-orang, non-confrontationally, untuk menjelaskan bagaimana melakukan tes pada "setiap kemungkinan spesifikasi dari variabel dependen" dan memilih orang-orang dengan "p<0.05" sesuai dengan <5% dari "random" dataset yang memiliki fitur menarik akan membuat ini lebih jelas, dan mungkin akan memberikan anda wawasan tentang pertanyaan etika atau ketidaktahuan. I'd bertaruh bahwa sebagian kecil dari orang-orang yang tidak't sengaja tidak etis, tapi mereka berawan memahami data kuantitatif mengaburkan etika berpikir.
Sesuatu yang saya've ditemukan bermanfaat dalam terkait konteks adalah untuk menghasilkan data simulasi dan benar-benar menunjukkan prinsip bahwa anda're berdebat. Misalnya, menghasilkan dataset sifat khusus kebisingan dan menunjukkan bahwa cukup dengan variabel-variabel untuk membandingkan antara satu selalu dapat menemukan "yang signifikan" hubungan. (Jelas, tanpa mengoreksi untuk beberapa perbandingan.) Ini mungkin tampak aneh, tapi melihat ini di data simulasi tampaknya membantu.
Good luck!
Kenji, Selama beberapa tahun terakhir, saya telah memberikan melanjutkan pendidikan saja disebut Kesalahan Umum dalam Menggunakan Statistik: Bercak Mereka dan Menghindari Mereka. Saya berharap bahwa beberapa pendekatan yang saya telah diambil mungkin bisa membantu anda dalam meyakinkan rekan anda bahwa perubahan yang dibutuhkan.
Pertama, saya don't memulai dengan mengatakan bahwa hal-hal yang tidak etis (meskipun saya mungkin mendapatkan bahwa pada akhirnya). Saya bicara bukan tentang kesalahan, kesalahpahaman, dan kebingungan. Saya juga di beberapa titik memperkenalkan gagasan bahwa "Yang's the way we've selalu melakukan hal-hal" tidak't membuat cara yang benar.
Saya juga menggunakan metafora "permainan telepon" bahwa banyak orang telah bermain sebagai seorang anak: orang-orang yang duduk dalam lingkaran; satu orang berbisik sesuatu ke telinga orang-orang di samping mereka; orang itu berbisik apa yang dia/dia dengar ke orang berikutnya, dan sebagainya di sekitar lingkaran. Orang terakhir yang mengatakan apa yang mereka dengar suara keras, dan orang pertama yang mengungkapkan kalimat asli. Biasanya keduanya begitu berbeda bahwa itu's lucu. Menerapkan metafora untuk pengajaran statistika: seseorang benar-benar mencoba untuk memahami ide-ide yang kompleks dari frequentist statistik; akhirnya mereka percaya mereka bisa melakukannya, dan lulus dirasakan mereka (tapi agak cacat) pemahaman terhadap orang lain; beberapa penerima (dengan niat baik) membuat lebih oversimplifications atau salah tafsir dan melewati mereka ke lebih banyak orang -- dan seterusnya ke bawah garis. Akhirnya yang serius cacat versi yang muncul di buku-buku pelajaran dan menjadi praktek standar.
Catatan untuk saya melanjutkan ed saja tersedia secara bebas di http://www.ma.utexas.edu/users/mks/CommonMistakes2015/commonmistakeshome2015.html. Merasa bebas untuk menggunakan mereka dengan cara apapun-misalnya, memiliki diskusi informal seminar menggunakan mereka (atau sebagian dari mereka) sebagai latar belakang membaca yang mungkin bisa membantu mengkomunikasikan ide-ide. Anda akan perhatikan bahwa pertama "kesalahan Umum" yang dibahas adalah "Berharap terlalu banyak ketidakpastian." Memang itu adalah kesalahan fundamental yang mendasari banyak dari apa yang telah salah dalam menggunakan statistik. Rekomendasi yang diberikan ada titik awal yang baik untuk membantu rekan-rekan mulai melihat titik dari semua kesalahan-kesalahan lain.
Tentunya website ini juga memiliki link ke beberapa demo online yang membantu untuk beberapa dalam memahami masalah-masalah yang sering dipoles.
I've juga dilakukan beberapa blogging pada tema umum di http://www.ma.utexas.edu/blogs/mks/. Beberapa dari juni 2014 entri yang sangat relevan.
Saya harap saran ini dan sumber daya yang bermanfaat. Merasa bebas untuk menghubungi saya jika anda memiliki pertanyaan.
Anda naluriah kekhawatiran tentang membuat hipotesis dari data dan berpura-pura mereka ada di sana dari awal berada di jalur yang benar:
Dalam statistik, yang disebut uji chi-square dapat digunakan untuk membandingkan data dengan model-model yang telah dilengkapi data diri. Namun, untuk ini, uji chi-square harus disesuaikan dengan dasarnya "menghukum" satu's ekstraksi parameter ketika menguji seberapa penting pertandingan ini.
Ini tidak mudah generalisasi untuk setup lainnya, sehingga secara umum pembelajaran teori dan praktek, satu membagi data menjadi beberapa kelompok. Misalnya, di mana salah satu bagian digunakan untuk mengoptimalkan parameter, satu, pada awalnya tak terlihat, bagian ini digunakan untuk mengoptimalkan generalisasi, dan terakhir, tak terlihat, bagian tidak pernah feed ke dalam model pembangunan dan digunakan untuk menguji seberapa baik dua tahap pertama bekerja. Ini disebut "cross-validasi".
Mungkin anda dapat menyarankan (atau hanya memperkenalkan) untuk kelompok anda seperti metodologi, dengan pemisahan data secara acak ke dalam komponen yang berbeda; satu anda membangun model, yang kemudian diuji dengan gaib data. Rincian tentang bagaimana untuk melakukan split akan tergantung pada domain anda. Dengan cara ini, anda memiliki keyakinan bahwa model prediksi. Untuk ini untuk menjadi sehat, anda perlu memastikan bahwa hal itu tidak menggunakan lengkap dataset dalam bentuk apapun (bahkan tidak melalui satu smart rekan yang diingat bahwa data parabola secara keseluruhan). Yang terbaik adalah untuk tidak pernah melihat yang gaib data sampai model yang lebih lengkap.
Adapun pasca-hypothesising, saya menemukan ini sering bahkan tidak akan diperlukan. Anda mungkin mulai dengan hipotesis, kemudian menemukan itu tidak sah, tetapi kemudian menemukan yang lain, fenomena menarik bukan. Ini disebut "penemuan" dan yang paling keren makalah hasil dari itu. Jika jurnal atas bidang anda tidak menerima gaya seperti itu, karena yang mereka inginkan standar "hipotesis-eksperimen-validasi" siklus, maka masalahnya terletak lebih dalam di komunitas anda dibandingkan dengan rekan-rekan anda.
Singkatnya: model pas keluar data anda dan membandingkan pertandingan ok jika anda memiliki cara untuk menghukum bahwa ekstraksi (seperti pada chi-square). Kegagalan itu, anda dapat melakukan "cross-validasi" untuk hasil suara. Akhirnya, alih-alih pos-hypothesising, saran saya adalah untuk berhipotesis, mengatakan, membatalkan hipotesis dan menunjukkan munculnya berbagai hipotesis.
Banyak jawaban yang baik sudah. Namun, dalam dunia akademis, it's selalu lebih baik jika anda dapat kembali posisi anda dengan baik yang diterbitkan referensi. Bahagia, pertanyaan dari p-hacking dan peniruan yang diangkat dan dibahas lebih banyak dan lebih sering dalam berbagai disiplin ilmu.
I'll mengatur ini sebagai CW post untuk mengumpulkan petunjuk untuk publikasi yang relevan dapat kita gunakan dalam diskusi dengan rekan penulis yang don't melihat masalah yang dipertanyakan statistik praktik. Semua orang, silahkan merasa bebas untuk mengedit dengan disiplin's relevan artikel atau makalah konferensi.
Psikologi
Lindsay, Stephen D. (2015). Replikasi dalam Ilmu Psikologi. Ilmu Psikologi, 26, 1827-1832. DOI:10.1177/0956797615616374.
Membuka Ilmu Kolaborasi (2015). Memperkirakan kemunculan ilmu psikologi. Ilmu, 349, 6251. DOI:10.1126/science.aac4716
Menjelaskan dengan tepat apa yang telah anda lakukan di atas kertas. Asalkan anda jujur, kertas akan dinilai oleh reviewer, editor dan pembaca.
Bahkan orang-orang yang melakukan p-value hacking akan memiliki waktu yang sulit menghapus jujur keterangan dari kertas. Jika mereka memberitahu anda untuk menghapus itu, tanyakan kepada mereka mengapa dan anda akan memiliki tangan atas dalam hasil diskusi.
Salah satu pilihan adalah untuk membuat 'konstruktif' poin. Jika anda co-penulis yang (banyak) digunakan untuk derajat yang berbeda dari p-hacking, mereka mungkin tidak akan terlalu senang untuk mendengar bahwa hasil mereka unpublishable karena mereka berdiri.
Jika anda mampu menawarkan solusi untuk mempublikasikan hasil sementara juga menghindari praktek-praktek buruk ini, maka beberapa akan objek. Cara terbaik mungkin akan mencoba melakukan analisis bayesian. Di sini, (dalam beberapa kasus) non-signifikan hasilnya juga akan ditafsirkan dan dengan demikian diterbitkan.
Saya harap anda don't pikiran, tapi saya ingin mengambil kesempatan ini untuk memberikan anda satu set yang berbeda dari saran dari apa yang anda minta - untuk menyarankan anda untuk tidak mengambil pendekatan ini untuk menanggulangi masalah ini pada saat ini dalam waktu.
Saya membuat asumsi bahwa anda ingin (saya) beberapa tingkat keberhasilan akademik - cukup untuk mendukung diri sendiri, dan (ii) untuk meningkatkan kualitas penelitian, dan manfaat sosial yang dihasilkan. Asumsi saya benar, saya don't pikir anda harus mengejar argumen ini (pada tahap ini).
Saya don't pikir anda harus mengejar argumen ini (pada tahap ini) jika anda menghargai karir akademik anda karena akan menyebabkan anda untuk membakar jembatan-jembatan penting dan menutup pintu. Misalnya, jika anda pengawas p-hacks dan anda mengekspos dan menghancurkan dia untuk itu, maka anda akan kehilangan dukungan utama anda dan secara dramatis mengurangi kemungkinan anda mampu untuk mengamankan karir di daerah ini.
Sebagai terkait dengan hal ini, (pada tahap ini) I don't benar-benar berpikir bahwa anda secara optimal ditempatkan untuk menantang pengaruh negatif dari p-hacking. Berikut adalah beberapa alasan mengapa saya berpikir ini. Pertama, sebagai terkait dengan apa yang saya katakan di atas, jika anda berada di tahap awal dari sebuah karir dalam sistem sosial, maka anda tidak dapat dengan mudah mempengaruhi perilaku orang-orang yang sudah mapan dalam karir, dan yang tidak tahu dan tidak menghormati anda. Kedua, anda tidak dapat sepenuhnya memahami mengapa sistem beroperasi seperti itu, atau tuas yang perlu ditarik untuk mengubah operasi itu, sampai anda lebih akrab dengan itu. Anda mungkin dapat membuat tingkat mikro perbedaan (misalnya, anda mengekspos beberapa orang yang bekerja bersama anda), tapi aku don't melihat bahwa sebagai mungkin akan sangat efektif, karena akan melumpuhkan anda untuk melakukannya.
Untuk meringkas pikiran saya dengan sebuah anekdot: bayangkan bahwa anda tumbuh di sebuah kota di mana semua guru yang korup dan tidak kompeten. Apakah anda pikir itu akan menjadi yang terbaik untuk memprotes mereka ketika berada di sekolah? Mungkin tidak, karena anda akan mencapai sangat sedikit, dan guru mungkin akan menggunakan kekuasaan mereka untuk mencegah anda dari lulus dan pada dasarnya merusak hidup anda. Secara bergantian, itu akan lebih baik untuk mentolerir kekurangan guru sampai anda keluar dari sistem (atau lebih tinggi) dan dalam posisi untuk benar-benar mengubah hal-hal? Saya akan berpikir begitu rupa, sehingga dalam hal ini anda mungkin berakhir dalam posisi otoritas, dan memiliki sumber daya yang tersedia untuk melakukan sesuatu untuk mengubah sistem pengajaran.
Tentu saja, semua ini hanya pendapat saya dan saya bisa melihat banyak cara di mana anda bisa berpendapat terhadap hal itu :)
28/12/2015: Menambahkan lebih banyak konten untuk menjelaskan dan mengatasi komentar.
Saya ingin menempatkan lebih banyak penekanan pada poin utama saya; untuk menarik pragmatisme dan menunggu waktu yang lebih baik untuk bertindak. Secara pribadi, saya berpikir bahwa ada waktu dan tempat untuk aktivisme, yang kadang-kadang yang terbaik adalah untuk menjaga anda menutup mulutnya dan menunggu sampai anda memiliki kesempatan yang lebih baik untuk melakukan sesuatu daripada untuk berbicara dan mendapatkan tembakan untuk apa-apa. Dengan demikian, dalam setiap kasus di mana aktivisme adalah pilihan, keputusan apakah akan terlibat di dalamnya harus bergantung pada berbagai pertimbangan, seperti tingkat keparahan yang tidak diinginkan hasil, risiko untuk individu dalam mencegah hal itu, kemampuan mereka untuk mencegah hal itu, dan kerangka moral mereka (misalnya, deontological atau utilitarian). Seperti kata pepatah, anda harus memilih pertempuran anda; setiap pertempuran akan mengambil korban dan beberapa tol mungkin tidak menjadi layak membayar untuk apa yang mereka mendapatkan anda.
Secara pribadi, saya merasa bahwa jika anda akan untuk mempublikasikan sesuatu yang mungkin bisa memusnahkan umat manusia atau berakhir dengan seseorang terbunuh maka dengan segala cara anda harus membuat pengorbanan pribadi untuk mencegah hal itu (jika anda dapat melakukan sesuatu). Di sisi lain, jika saat ini 'negatif' hasil yang muncul adalah tidak etis (oleh beberapa/sebagian besar penulis saat ini norma-norma) mengubah fokus dari kertas (yang 5 orang akan benar-benar membaca) untuk melihat salah satu hubungan yang signifikan (misalnya, usia dan korelasi untuk frekuensi bersepeda) daripada yang direncanakan sebelumnya hubungan (misalnya, jenis kelamin dan korelasi untuk frekuensi bersepeda) yang ternyata tidak signifikan, dan hasilnya lebih baik (i) anda akan dipecat dan makalah yang diterbitkan tanpa anda, atau (ii) tidak ada yang akan diterbitkan dan tidak ada-satu akan pernah mendapatkan keuntungan dari mengetahui tentang hubungan yang signifikan yang ditemukan, maka saya lebih yakin bahwa terlibat dalam aktivisme adalah bukan cara untuk pergi (pada tahap ini toh).
Dan ya, saya menerima bahwa argumen saya di sini adalah cacat penyederhanaan yang sangat kompleks kenyataan, tapi saya harap anda dapat memahami saya jenderal titik dan memberikan beberapa pemikiran untuk itu.